长期CoT能否真正提升模型性能并实现伪AGI？

公司

众所周知，长期采用CoT能提升性能，不久后我们将看到其他公司的案例。这是最后的容易实现的目标，因为只需生成大量训练数据，包括动态合成针对性训练数据即可达成。OAI现在公布，或许是因为大家即将相继发布。当前的AI技术较为简单，无论哪家率先研发成功，其他机构很快也能实现，只是在等待首个公开者而已。这表明技术门槛并不高。比如，我去年7月展示过，2.9M参数的迷你RWKV-4结合长程CoT能准确完成各类复杂四则运算：训练数据合成存在覆盖不足的问题，数字不宜过长过多，可随意替换为其他随机数字。例如：AIn/RWKV-v4neo/math_demo">https://github.com/BlinkDL/RWKV-LM/tree/mAIn/RWKV-v4neo/math_demo 中的示例，可通过调整简化的数值进行灵活替代，以确保数据多样性与合理性。

RWKV这类RNN模型适合进行长时间的链式思考。它在生成过程中，显存占用与每字生成速度保持不变，特别适用于长期推理任务。这如同在状态潜空间中持续稳定地前进。数学和代码特别适合用这种方法提升，还可结合MCTS使用。模型能调用外部工具进行验证，实现自我纠错（目前该功能似乎未开放，可能OAI觉得对公众开放会让其优势过于明显）。我一直觉得，这种方法持续发展，就能实现伪AGI，替代超过99%的人类工作，因为多数时候人类并不需要真正智能。随后，随着水涨船高，人们习以为常，这将导致商品化。真正有趣的问题在于：是否有原创灵感、深刻洞察与超前理念，能否在无路之处开辟新径？还包括真实感悟与体验，因为这些缺乏明确的评判标准，更具探索价值。人类如何想到这些问题，现有大模型难以理解，就像拉马努金自称源于梦境一样。这些问题固然有解决办法，只是若知情者不说，不知情者或模型便难以想到。比如，写作既是最简单的，也是最难的。

这就好比什么？许多人总是喜欢吹捧OAI，就像对高赞回答盲目崇拜。很多东西，在外行眼里显得神奇，因为它们难以想象；在内行看来却极其简单，根本无需多费脑筋就能明白。遗憾的是，不懂的人即使做再多CoT也无济于事，因此CoT并非万能解决方案。