Ilya Sutskever为何认为预训练将死?

1个回答

写回答

人无完人。

2025-10-29 01:25

+ 关注

OpenAI
OpenAI

尤其是他提到的预训将死。但其实,Ilya的重点并不在于预训练本身,而是更关注于超智的概念。这种表述非常巧妙,因为他并没有直接提及强化学习这个词。然而,我们都知道,在强化学习中,Agent是一个经典的概念。显然,Ilya正在从事一种基于深度神经网络的强化学习Agent的研究。那么,为什么Ilya没有明确提到强化学习?可能是因为这个词在当下已经不再时髦了。从历史角度看,爱养狗的巴甫洛夫和爱养猫的桑代克可以被视为强化学习的先驱,这是19世纪的事了。Sutton和Barto则是第二代强化学习的代表人物。如果按照这个逻辑,Ilya可以说是第三代强化学习的继承者。但这样的称呼听起来确实不太酷。另外,OpenAI以前就投入了大量的资源进行强化学习研究,第一代使用的是动物,第二代使用的是传统计算机,第三代则是基于深度神经网络。可以说,强化学习永远不会消失。接下来,让我们详细讨论几个关键问题: 1. 我们如何看待大语言模型?当前的大语言模型可以被形容为躺在摇篮里,吸着奶嘴,留着胡子,生活不能自理的硕士。这些模型虽然读取了几乎所有的书,但却缺乏自主性和独立行动能力。因此,你会觉得它们既强大又无用。在这种情况下,预训练意味着我们只是不断培养留着更长胡子,吸着奶嘴的博士,或者摇篮中的博士后。这一点,Bindu Reddy和A. Karpathy也提到了,只是他们的措辞有所不同。 2. 预训练将死是什么意思?众所周知,Ilya是Transformer型预训练模型的核心发起人,GPT系列模型的名字中就包含了Pre-trAIned一词。现在他自己宣布预训将死,这显得有些戏剧性。Ilya提到数据会枯竭,大家应该散场。然后,他又提到了一些强化学习的关键特征。 3. 强化学习才能走向超智这是我从Ilya创立SSI后的几个月逐渐领悟到的。今年夏天我一直在思考这个问题,并且在此简要总结一下:首先,预训练无法达到超智。预训练模型只能对已有数据进行建模,其泛化能力非常有限。如果预训练能够达到超智,那意味着超智本身就已经存在,这就产生了矛盾。泛化能力虽然是一个谜,但它通常只能向更接近一般化的情况泛化。其次,预训练也无法实现AGI(通用人工智能),更不用说ASI(超级智能)了。道理同上,如果预训练模型只能对已有数据进行建模,那么它们最多只能无限接近AGI,而无法真正实现它。AGI是对人类专家技能的一种复刻,而这种复刻不可能是完美的。Ilya提到了未来强化学习的一些关键特征: 1. 自主学习和自主探索替代二手数据收集是强化学习的一个重要特点。传统的机器学习依赖于大量的标记数据,而这些数据往往需要耗费大量时间和精力来收集和标注。相比之下,强化学习通过自我探索和反馈机制,能够在没有明确指导的情况下进行学习和改进。这种自主学习和探索的能力使得强化学习更加灵活和高效。 2. 实时决策与动态调整强化学习能够在实时环境中做出决策,并根据环境的变化进行动态调整。这意味着系统可以在不确定和复杂的情境下快速适应并作出最优选择。这种能力对于许多实际应用来说至关重要,例如自动驾驶、金融交易和医疗诊断等领域。 3. 持续学习与自我优化强化学习模型具有持续学习和自我优化的能力。通过不断的试错和反馈,模型可以逐步提升自己的性能,并在长期运行中保持稳定的表现。这种特性使得强化学习特别适合于那些需要长时间运行且环境不断变化的任务。 4. 跨领域应用与扩展性强化学习不仅适用于特定领域的任务,还可以跨多个领域进行应用和扩展。无论是游戏、机器人控制还是自然语言处理,强化学习都能提供有效的解决方案。这种跨领域的适用性使其成为实现通用人工智能的重要途径之一。综上所述,尽管当前的大语言模型已经取得了显著的进步,但它们仍然面临着诸多挑战和局限性。为了实现更高层次的人工智能,我们需要转向更加先进的技术手段,如强化学习。只有这样,我们才能够突破现有的瓶颈,迈向真正的超智时代。在未来的发展过程中,我们应该更加重视基础研究和技术创新,积极探索新的方法和技术路径。同时,我们也需要加强跨学科合作,促进不同领域的交流与融合,共同推动人工智能技术的发展和进步。只有这样,我们才能够迎接即将到来的智能化革命,创造更加美好的未来。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号