GPT - 4o有哪些特性？推理决策能力如何？

OpenAI

今天没什么心思科研，简单快速答一下。GPT - 4o是一个全量多模态模型，能混合语音、视频和文字输入，响应几乎实时。看视频时其响应速度很好，基本可实现实时交流。

除此之外，还有如下这些特性：

（3）超便宜：在API方面速度更快且便宜50%。看PR文，我更关注其没说的内容，而非说了什么。准度偏左，生成偏右，此次OpenAI（援引一张旧图）朝着右侧有了巨大的跃进。

互联网

这里我想提出一个（或许是）非共识的观点：基于当前互联网数据开展的LLM训练，scaling law或许近乎失效了。

（基于使用人类真实世界收集数据训练的大模型这一前提）原则上，网络规模足够强大的大型语言模型（LLM），其能力是所收集数据智力水平的平均值，所以它失效之处其实是我们要求其超越人类之处。引入更多模态的数据却没有显著指标提升，这或许表明这个点可能已经到来，或者即将很快到来。要是这样的话，那接下来的步骤就应该是如何获取高质量数据了。近期大家开始探讨的合成数据可能会变得越来越重要。在这个方向上，俞扬老师团队（@俞扬）深入钻研的世界模型和强化学习，也许是达成这个目标的一种颇具潜力的方式，也期待俞老师能分享一些看法。另外，产品或许会变得更关键，因为有产品才会有用户交互，有用户才会产生真实数据，而依据真实数据反馈，才能获取高质量数据或者提升数据质量。在这一点上，我认为kimi、字节跳动已经做出了具有前瞻性的布局。之前和kimi的 @Flood Sung 也持有相似的看法，期待他的解答。我觉得获取、探索、搜索、生成、构造高质量数据或许将是下一步要做的事。直接说几点看法：总的来讲，生成类应用的想象力将进一步拓展。资本考察商业模式时，对大型语言模型（llm）成本打平的时间容忍度会提升，互联网时代烧钱占据心智的策略可能重现且或许再次奏效。决策类和生产力类产品在本轮暂时未受影响。写到这儿，我又记起了这张图。