OpenAI的下一步，AGI之路与商业模式解析

OpenAI

而非个人立场，分析并预测OpenAI未来可能的发展方向与进展。OpenAI当前目标清晰：全力投入AGI研发，所有研究聚焦于探寻实现AGI的路径。商业模式十分 strAIghtforward：采用 SaaS 模式，直接提供 API。接口设计由内部自行决定，用户按需付费，不想用随时停止，省去了大量产品设计、市场推广和商务拓展的时间，也无需耗费精力迎合客户需求。有消息称，即使是微软的 Copilot 等产品也是直接调用 API，未做过多定制化开发。因此，公司可以将全部资源专注于 AGI 的研发与进步。有人或许会提到：OpenAI不是还有ChatGPT的用户界面、移动端语音交互以及GPT系列模型吗？但仔细分析后，你会发现这些部分其实做得并不够用心。比如，ChatGPT Plus是如何实现搜索、图片生成和代码调用等功能的？难道是通过深度优化的集成方案？并不是，OpenAI实际上是提供了一个庞大的提示词（prompt），让模型自行选择合适的工具。再看OpenAI与第三方插件的结合方式，难道是专门开发了匹配和接口？答案依然是否定的。OpenAI只是让插件自己描述功能，然后由模型自行调用。至于调用是否准确，那就另当别论了。最典型的例子是最近OpenAI如何实现记忆功能的。这里可以看看完整的prompt（由博杰分享，每个人都可以引导ChatGPT展示相关内容，而OpenAI对此也毫不避讳）。

GPT系列模型的实现方式，很大程度上依赖于OpenAI的Assistant API，再搭配一个较为简陋的前端界面。事实上，自从有了OpenAI Assistant API，只需添加一个用户界面，就能轻松复制OpenAI推出的大部分功能。

这些选项看似充满暴力性，并且会给OpenAI带来额外成本（较长的提示显著增加运算开销）。然而，OpenAI依然坚持这样做，因为这能让团队将主要精力集中在模型核心研发上，同时也完美体现了OpenAI的方法论，我们稍后会详细讨论。这种理念促使OpenAI致力于打造一个强大而通用的大模型，完全避免定制化与特定优化。正如Sam近期所言，GPT-5的目标是让模型微调变得无关紧要。如此一来，OpenAI便转型为纯粹的软件即服务（SaaS）提供商。OpenAI 的方法论被视为通向AGI的路径，其逻辑结构清晰，推论明确。可用公理化方式描述，似乎带有宿命色彩，令人感到这是一种不可避免的发展方向。这套方法论基于几个被视为公理的核心原则（实际上它们更接近经验规律，但在构建AGI方法论时发挥了基础性作用）：公理1：苦涩的教训。我觉得每位从事人工智能研究的人都应深入理解这篇文章。苦涩的教训揭示了这样一个事实：从长远看，在强大的计算能力支持下的通用AI算法，其效果远胜过各种巧妙但局限的技术手段（这里的强大算力也意味着海量的数据和超大规模模型）。可以说，依赖强大算力的通用AI算法，才是通向人工通用智能（AGI）的正确方向，也是AI技术真正发展的关键所在。回顾历史，从逻辑主义到专家系统，从支持向量机等核方法，再到深度神经网络以及如今的大规模语言模型，无一不遵循这一规律。公理2：扩展定律。该公理指出，若采用优质通用的数据表示、数据标注和算法，就能发现一条普遍规律——数据量越大、模型规模越大，性能就越优。这一规律极其稳定，甚至在训练开始前便可预测模型的效果。

AI

若公理1痛苦的教训是实现AGI的必要条件，即依赖大模型、大算力和大数据，那么公理2扩展定律便是其充分条件。它意味着我们能够发现一种算法，稳定地确保规模化的模型、算力与数据带来更优效果，并可能预示未来发展走向。具体而言，就是我们之前提到的良好的通用数据表示、标注与算法，在GPT和Sora中均有相关体现：优秀的数据表示、高质量的通用标注以及良好的算法是成功的关键，同时也为探索规模定律奠定了基础。通过在小规模模型和数据上验证算法效果，无需对算法进行大幅调整，即可评估其可行性。例如，从GPT-1到GPT-3的迭代过程展现了这种思路，而Sora中，OpenAI也明确表示，借助视觉patch技术，他们能够使用相同的算法在较小规模的数据集上完成测试，从而优化模型性能。公理3：涌现属性。这条公理实际上是一种验证标准，用来判断规模扩展（scaling law）是否带来了质变，而不仅仅是量变。答案在于：在遵循规模扩展规律的过程中，你会突然发现模型具备了之前无法实现的新能力，而且这种能力的提升是显而易见、能够被直观感受到的。例如，GPT-4相比GPT-3.5，可以完成更复杂的任务，比如创作一首26行的诗歌以证明素数的无限性，并且每行首字母必须按A到Z排列。再比如，Sora相对于早期模型展现出更强的时空一致性，以及对现实物理规则的初步理解与掌握。如果没有这些涌现属性，我们很难直观地察觉到突破性的进展，也难以确认我们确实向通用人工智能（AGI）迈近了一步，或者我们已经成功验证了一种技术路线。通过上述公理，我们能够明白OpenAI的各项决策，并且预测其未来的行为走向。推论一：世界即模型。海量数据源于何处？什么能产生最多数据？AGI要处理世间万物，所需的数据最佳来源便是世界本身。世界产生了最庞大的数据集合（甚至可以说世界等同于数据），而这恰好也是AGI所需的最小必要数据集，因为我们仅需或只能让AGI应对这个世界的事务。由此可见，OpenAI未来势必会继续专注于获取或创造数据，以完善其对世界的理解与建模能力。

推论4：通过模型间协作完成标注任务。受当前技术限制，单个模型难以胜任所有任务，这导致其接收的数据量有限。然而，可以通过让一个模型为另一个模型提供标注的方式，间接实现数据补充。例如，OpenAI的Dall·E和Sora可能利用了大量源自GPT Vision的标注数据，从而实现了不同技术栈之间的联动。这种模式下，各模型能够形成协同效应。可以预见的是，未来OpenAI可能会进一步强化模型间的互联互通，例如用Sora反哺GPT Vision进行数据增强。此外，利用现有模型生成更多训练数据也将成为重要方向，包括回译（backtranslation）、数据蒸馏（data distillation）等技术手段，这些方法将有助于提升模型性能并拓展应用场景。这种方法不仅优化了数据利用率，还推动了多模态技术的深度融合与发展。推论5：Transformer架构。我们需要一种能够高效并行处理大规模数据、同时符合扩展定律的模型架构。Transformer架构已在多种模态和任务场景中展现出卓越性能，尤其是在复杂任务上的优势，使其成为行业内的主流选择，例如在OpenAI的广泛应用。采用统一架构的好处显而易见：可以共享模型参数（如分词器、嵌入层及部分权重），从而加速不同技术方向的训练进程，并通过一套基础设施框架支持多种模型的开发与优化。未来，任何试图取代Transformer的新模型，都需要经过扩展定律的严格验证，证明其在性能和效率上的优越性，才能真正具备竞争力并获得广泛认可。推论6：稀疏模型。尽管更大的模型通常具备更好的性能，但其推理成本也随之增加，这看似是一个难以调和的矛盾。然而，通过采用稀疏激活技术，可以在推理过程中减少实际使用的参数量，从而在训练时利用更多参数的同时降低推理开销。其中，Mixture-of-Experts是一种常用的方法，并已被OpenAI采纳，以进一步扩展模型规模。未来，稀疏化仍将是研究的重要方向。不过，当前即使使用Mixture-of-Experts这样的技术，稀疏化仍可能导致推理性能的下降，而稀疏化的极限究竟在哪里，目前尚不明确。推论7：算力是关键瓶颈。对于OpenAI而言，算力的限制将是其未来发展的最大制约因素，同时也是支撑其技术栈整合的核心资源。尽管有人认为高质量训练数据有限，模型规模可能触及上限，但从世界模型的角度看，当前所用的数据仅占潜在数据的极小部分。此外，通过Q*等方法，还可以间接生成更多有效数据。例如，GPT-4-Turbo作为一款蒸馏模型，在多项测试中表现超越了原版，这表明模型优化仍有巨大空间。截至目前，外界仍未看到扩展定律（scaling law）的终点。即便不开发新模型，OpenAI距离实现用GPT-4服务全球用户的目标仍有很长的路要走。因此，在可预见的未来，算力仍将是核心挑战。这也解释了为何Sam Altman会有投入7万亿美元重构芯片行业的设想。为了突破算力瓶颈，OpenAI可能会在未来进一步加大对芯片设计和整个AI基础设施领域的自主研发力度，并推动垂直整合。这种策略不仅有助于提升效率，还将为其长期发展奠定坚实基础。总体而言，OpenAI凭借其商业模式、对通用人工智能（AGI）的坚定信念、系统化的方法以及积极的实践，正在稳步推进实现AGI的目标。他们成功构建了一种能够贯穿整个AGI技术链条的可行模式，这也是其在众多机构和企业中脱颖而出的关键原因。未来，OpenAI可能会进一步深化商业化进程，在世界模型、数据标注、通用模型开发、架构创新以及稀疏模型的数据扩展等领域展开更深入的研究与应用。与此同时，OpenAI还将不断应对算力限制带来的挑战，努力探索突破算力瓶颈的新方法，为推动人工智能技术的发展持续贡献力量。