OpenAI如何通过思维链长度压缩提升泛化智能密度？

OpenAI

请务必注意这个关键点。o3 mini很可能采用了思维链长度压缩技术，以提升其泛化智能的密度表现。强化学习过程提升了泛化智能密度的奖励，使得单位token中因果信息密度较高的中文使用频率提高。从我观察到的情况来看，o3 mini（medium）在主流基准测试中得分与r1相当，但其泛化智能密度显著高于r1，表现更优。这表明o3在实际应用中可能具备更强的适应能力。

主流基准测试得分，即核心性能表现，由三要素决定：知识、经验与泛化智能密度。这是关键所在。根据不同任务类型，三者比例会有波动。小型的mini模型在记忆能力上天生不如大型模型，因此在经验和知识方面也相对逊色。若要在基准测试中取得与大模型相当的成绩，只能依靠更高的泛化智能密度来弥补差距。o3 mini出现了令人惊讶的现象，其泛化智能密度与基准分数的偏离程度超出了答主的预期。重点在于，OpenAI是如何实现的。答主觉得泛化智能密度是实现AGI的核心。若OpenAI找到提升此密度的途径，或许能在AGI竞争中一举制胜。线索或许藏在OpenAI提供的信息里。

由此可见，o3 mini（medium）的计算量与响应速度反而比o1 mini更低。不过，依据kimi和DeepSeek的报告，若无长度反馈限制，思维链长度会随性能提升而自行增长。显然，从性能提升角度看，即便有其他计算效率优化，o3 mini的思维链在RL过程中也不能随意延长。o3 mini可能经过了有意的智能压缩，或者在强化学习过程中模型自行缩短了推理链，不过笔者觉得o3 mini的智能程度还未到此地步。这表明OpenAI或许已掌握泛化智能密度或相关概念。具体的训练方法难以确定，很可能仍是通过思维链的反复延长与压缩循环来实现的。这是一项十分重要的任务。答主觉得，若限制强化学习中思维链长度的循环范围，智能增长速度会超出对数线性关系，突破规模定律的限制。这表明智能提升可能有更大空间。有迹象表明，OpenAI可能故意宣扬推理训练的规模法则，误导人们认为训练过程中需不断追求正确率提升，从而面临计算量与数据消耗呈对数增长的负担。这或许是一种策略性迷惑。另一方面，我认为在大规模强化学习中，泛化智能密度的提升呈现非线性加速。模型越智能（泛化智能密度越高），反馈机制越倾向于强化泛化能力而非依赖经验。这种正向循环将显著提高泛化智能的增长速率。在o3mini上，肉眼可观察到这一现象初步显现，但尚未发生显著质变。预计在o4mini的某训练阶段，泛化智能密度提升速度可能会出现明显转折。此外，还存在一个问题需要关注。在相同强化学习数据量下，大型模型与小型模型相比，谁的泛化智能密度增长更快？小模型的经验更易丢失，是否会让奖励机制更倾向于提升其泛化智能密度，从而让小模型更快地变得聪明？（这里不考虑小基座模型泛化智能密度较低的因素）。然而，由于缺乏有效的泛化智能密度测量基准，目前难以明确回答这一问题。总体而言，o3mini的表现令人惊艳。思维链中大量出现中文，这对国内厂商来说是一个重要信号。鉴于后续发展可能加速或出现新情况，需尽快研究o3 mini的行为特征。有人说出现中文是抄袭，别太在意，只是玩笑。现在不是嘲讽的时候，进度可能加快，时间不能耽误。