LLM为何现在还不能有创新的可能性?

1个回答

写回答

妍儿不抽烟

2025-10-25 17:25

+ 关注

人类
人类

让我思考了两天。感谢@袁岚峰。首先给出结论:目前还做不到。当下大语言模型(LLM)的基本原理并不具备任何创新的可能性。简而言之,LLM是一种在人类所描绘的概率分布范围内,人类约定的符号空间里,人类提出的计算命题约束之下,按照‘最大概率’原则进行被动选择的算法,在任何意义上都不存在创新。下面简单解释一下:其一,无法创造新的概率分布。我们先确定一点,创新是通过某个符号系统来表达的,例如由文字构成的一篇论文。现在,让我们把时间回溯到109年前,在爱因斯坦发现广义相对论的前一天,如果用当时的语料训练出的ChatGPT来做这样一个完形填空:重力场与以适当加速度运动的参考系是(…)。在当时的语料范围内,是不可能得出等价的这一正确答案的,因为就连爱因斯坦本人当时都还不知道。就算填对了正确答案,在当时人们的认知里,肯定会认为是ChatGPT出现了幻觉,或者是语料被污染了。至少要等到1919年爱丁顿进行实验验证并且被科学界广泛认可之后,相关语料才有可能让ChatGPT得出正确结论。有一种比较浅显的观点,创新是某种符号系统下一种符号全新的组合排序,是一种前所未有的符号关系和概率分布,而LLM输出的是人类的共识,从这个角度看,被动选择最大概率的下一个标记(Next token)反而使得LLM创新的可能性远远小于乱打字的猴子。这几乎是一个极小概率事件,近乎为零。其二,无法创造新的符号系统。我们先回顾一下前面提到的限定。符号体系是人类为了经济地对世界进行表征而创造的工具,例如用来映射真实的物理世界、概念或者信息等。同时,它也是一种便捷的计算工具,能让我们预测重达2000亿亿亿吨的太阳的运行轨迹。LLM提取的是已有符号系统的统计分布规律,暂时并不具备创造新的符号或者符号系统的机制。然而人类就不同了,莱布尼茨出于某种计算需求,创造了一个新的数学符号∫,并且定义了∫的运算规则;欧拉用符号i来表示虚数单位,这为薛定谔创造波函数提供了条件。一个有效的新符号和符号系统(这里指的是不能与现有的符号和符号系统有近乎完美的替代关系,例如英语和中文就不属于这种情况)意味着新的可能性。就像高赞回答里提到的矩阵设计法,多一个元素就能增加很多组合。再比如,24色颜料和18色颜料相比,前者扩大了创作空间。有一种很浅显的想法,创新不但基于已有的符号系统,甚至需要创造新的符号和符号系统。看起来,这是一个零概率事件。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号