OpenAI下一代模型12月前推出，性能百倍提升的期待

OpenAI

Sam Altman已经出来辟谣了，12月是吃不到好丽友的。不过我觉得应该也不用等太久，Gemini 2的出现不会让OpenAI有太多藏着掖着的时间。当下OpenAI的技术正处于聊天机器人和自主智能体之间的阶段，他们将其称为Reasoners（推理者）。OpenAI的Orion模型就是一个推理者模型，从技术范式来讲，它应该算是ChatGPT 2.0，是能够进行高级推理的聊天机器人（Chatbot）。从目前的定位看，它主要用于科研辅助。在聊天机器人阶段，就拿GPT - 4来说，我们只能让ChatGPT来撰写论文，或者简单写一些本科水平的、比较初级的论文，它无法起到数据推理过程纠错思路启发这样的功能。虽然目前大家对它的期待值很高，但它也不是没有问题的。首先，作为面向科研辅助的模型，数据是最大的难题。现阶段的模型不太可能仅仅通过阅读公开论文库的文章，就掌握最前沿的技术概念，并且在推理过程中灵活运用。要是没有前沿的数据，那它就又只能达到本科水平了，因为本科学习的是通识性知识。其次，是底模的参数量问题。一个小模型需要大量的数据暴露才能吸收其中的有用信息，但是前沿领域的数据量不像网络小说那么多，有时候可能就只有一两篇文章，你觉得小模型能吸收这些知识吗？大模型虽然能一次性吸收大量罕见概念，但是成本要怎么控制？再者，就是专家的介入问题。ScaleAI的小王在今年夏天就一直在强调一件事，那就是高品质数据的缺乏。现在要进一步提升模型的能力，数据的生产和处理工作已经不是一个受过教育的肯尼亚青年就能搞定的了。那么去哪里找这么多愿意出力的专家？而且构建CoT（思维链）也需要大量专家来指导纠错。关于o1模型，现在大家普遍猜测Orion会集成o1的功能。我在使用o1的过程中，发现它的表达能力比较薄弱，对语境的理解能力也不强。不过它的推理性能确实好了很多，这是毋庸置疑的。我认为最重要的是，o1对模型内的数据检索能力更强了。Chatbot - 4oL的数据挖掘能力很强，但是经常会挖掘到一些过时的数据或者很多边缘数据，而有些数据它就挖掘不到。这让我很意外，我觉得这不该是CoT推理模型理论上应有的优势。但不管怎么说，o1对数据的利用效率已经有了肉眼可见的提升。模型一直存在数据吸收率的问题，不管模型能不能做到活学活用，数据利用能力的提升都是一个很大的进步，这也给微调和RAG（检索增强生成）领域带来了希望。通过一个小型的Orion来建立自己的微调和RAG，或许在科研方面会有很大的作为。