OpenAI为何能在AI领域取得突破性进展？

电信

应该是信念，加上管理层敢于支持技术人员大胆创新，同时确保方向不偏离。其实，深度学习或神经网络的基础相当薄弱，其依据不过是显微镜下观察到的神经细胞结构而已。

于是，有人开始遐想：这东西是怎么构成大脑、支撑我们思考的？他们推测，每个神经细胞的触手会传递强弱不同的电信号。其中短的称为树突，长的称为轴突。人们认为树突负责接收信号，而轴突则用于输出信号……树突接收信号x、y、z，这些信号在神经细胞内整合或计算，类似求解多项式ax+by+cz，结果传递给轴突。随后，轴突将这一结果传导至下一个神经细胞，完成信号的接力传递过程。这种机制构成了神经网络的基本信息处理方式。最终，输入信号经过大量神经元的处理，形成一个输出结果，这可能决定了我们会做出什么动作。当动作成功达成目标时，会产生一个奖励信号，增强神经元对产生该结果的相关树突的信任；反之，则会降低这种信任。经过这样的反复训练，神经细胞组成的网络会越来越精确。这只是一个看似合理却无据可依的猜测，甚至后来神经细胞研究否定了部分基础假设。例如，据此构建的单层神经网络无法实现异或逻辑，而单一神经元却可以完成异或操作。如果你是投资人，会放心让这些不靠谱的人继续随意挥霍吗？他们花的可是你的钱啊！神经网络研究从50年代起历经波折，即便谷歌用它攻克围棋，业界依然迷茫，无人知晓未来方向。在众多AI公司中，OpenAI当时显得最愚笨，成果最少。当时的其他企业，像谷歌，其围棋、翻译曾一时无两、全球领先；还有其他公司，在图像生成、识别、文字生图、游戏AI、AI阅片（医疗影像）、蛋白质折叠等领域……各种各样的事物或现象都很精彩。然而，OpenAI这个自称旨在防止AI被大企业垄断的机构，却始终未能拿出实际成果。我清晰记得，在网络上有人介绍OpenAI时，戏谑道：它认为只要神经网络足够庞大，就能解决所有问题……哈哈，别说别人了，我当时就觉得，这个所谓的避免AI被大公司垄断的团队……难道真是这些公司里最不靠谱的？直到某一天，ChatGPT诞生了。OpenAI逐渐变成了CloseAI，这家垄断人工智能的大公司，竟然正是它自己，真是讽刺。说实话，不只是我这样的外行，甚至其他AI公司，就连OpenAI自身，也无法确定他们选择的这条路是否可行，何时能成功。人脑复杂程度超乎想象：超过1000亿个神经元，每个神经元有十几个突触，神经细胞还能实现异或功能……相比之下，当时再疯狂的GPT-3，也仅仅有1750亿个参数，每个参数大致相当于人脑神经元的一个突触。更令人担忧的是，有些研究似乎暗示，单纯堆砌数量可能并无成效：

过去谷歌等公司专注于研究特定任务的专用模型，领先于OpenAI……多年来，后PC时代和次级贷泡沫冲击，令欧美经济持续低迷，全球安全也面临严峻挑战。按理说，在这种情况下，应该集中资源办大事。比如，直接砍掉明显方向错误的OpenAI的GPT项目。看看其他公司，各个创新不断、百花齐放，唯有它烧钱最多——大模型一次训练就要花费上百万元美元，还不计大量采购A100和搭建软硬件平台的成本，但成果却寥寥无几……这种废物，不除掉还怎么公平？我欣赏外国人敢于冒险、敢于尝试的精神。众多AI公司各显神通，某公司却在角落里悄悄烧钱——那就随它烧吧。烧着烧着，意外地，成果出来了！训练大模型并非仅靠购买大量A100和投入海量数据就能实现，其中另有关键所在。其中蕴含着巨大的优化潜力。例如，硬件方面如何优化以确保最大通信带宽；软件层面怎样将计算本地化，非必要时避免数据通过nvlink传输；以及如何精简操作，削减不必要的或影响较小的计算开销，诸如此类的问题值得深入探索。多年以来，OpenAI虽默默无闻，却从未停滞不前。OpenAI可不是找一堆人，每天喝着咖啡看着显卡冷却液冒泡那么簡單……并非如此。这些人每天都忙碌不已，虽然未必每天、每周或每月都能推出新技术或优化方案，但每几个月实践一次新想法却是必然的。这些想法或许能立即见效，也可能适得其反，甚至在某些情况下有正面效果，而在另一些情境下却产生负面影响……这些都需要深入研究，然后将其固化并实现自动化……日积月累，积累的各类独特技术，逐渐构筑起它的核心壁垒。不，我不是说这些技术很难，让谷歌学不会、微软搞不定——说不定我都看得懂。这些方案大多看似普通，或许仅需高中数学基础就能明白。然而，要掌握这些技术，你或许得投入五年以上的时间，历经无数次试错，填补一个个坑，才能真正解决模型扩展带来的诸多新挑战，达到游刃有余的境界。你嘲笑它傻气持续五年、七年，但当它成功时，你与它至少已相差五年。神经网络具有通用性，只要解决性能与优化问题，就像OpenAI做到的那样，就能掌握整个AGI技术体系。这是一条清晰的路径，关键在于执行力与资源投入。在弥补这五年差距之前，你只能被它全面碾压。