AI
可以确定的是，大规模预训练已面临数据墙的问题，几位
AI领域的领军人物都提到这一点。然而，我重新听了Ilya最近的一次20分钟演讲，发现很多人误解了他的本意。这值得我们进一步思考和探讨。他的演讲并未传递出悲观情绪，没有说此路不通，另寻他径。相反，他对所谓的推理时扩展定律充满信心，特别是像o1和o3这样的技术。这种技术结合了基础模型与强化学习训练的长思维链，显示出巨大的潜力和发展前景。演讲最后展望了超级智能，提及Agentic，这可能是指通过强化学习训练的长动作链系统。他指出：这样的Agent脱离了
人类的思考方式，难以被理解。显然，这里指的不是那些由人工预设规则硬编码的agent，比如当前常见的调用API构建的应用级agent。这种新型智能体展现出更为复杂和自主的行为模式。他可能真正想说的是，尽管预训练技术已接近瓶颈，但只要不断强化推理时的计算能力，就能够实现所谓的超级智能。换句话说，当前基础模型的单步推理能力和知识储备已经足够构建稳定可靠的超长思维链，而这种超长思维链将催生超级智能。当然，进一步提升基础模型的效果会更好，但这并不是唯一的选择。继续增强推理阶段的计算资源或许更为关键和直接。他的PPT中展示了一张图表，比较了三类动物脑容量随体型变化的趋势：非灵长类
哺乳动物、非人灵长类动物和
人类。结果显示，
人类的斜率明显最高。这张图意在类比，将非人灵长类动物视为预训练的扩展规律，而
人类则代表一种更为陡峭的扩展规律。合理推测，这暗示了推理时间的扩展趋势。o1和o3这类技术让我对智能有了新的认识，预训练大模型迅速给出答案，类似于人脑的先验直觉。这种单步直觉通过长链叠加，最终形成可解释的推理智能。
