GPT-5性能提升有限?AI真的进入瓶颈期了吗

AI

1个回答

写回答

18638697585

2025-09-26 17:35

+ 关注

OpenAI
OpenAI

这篇报道的基调存在偏差。说OpenAI的下一代主力模型Orion(即GPT-5)相比GPT-4的提升不如GPT-4相较于GPT-3的大,因此就认定性能提升有限,这种观点过于片面,忽略了实际进步与技术难度的积累。从GPT-3到GPT-4的进步,如同从小学生表达不流畅提升到本科生水平。即使未来AI模型达到诺奖级别,其相对进步幅度也不及从3到4的跨越那么显著。一个严重问题是,现有评测难以展现模型能力的提升。像MMLU,多数已达到90%准确率,很难区分模型进步的差异。

近期AI瓶颈论调盛行,我需强调几个关键问题:马斯克迅速组建了一个拥有10万张H100卡的集群,这让数据中心行业的其他玩家大吃一惊,因为大多数企业仅能达到3万张卡的规模。像微软这样的大型公司,由于内部流程繁琐,建设一个数据中心需耗时三年,还常因环保等问题受阻。而OpenAI目前只能处于等待状态。从算力角度看,并无飞跃提升,怎能说明扩展法则已到极限?当前可获取的公开数据资源约15T token,基本已全面采集。按照Scaling Law理论,算力、模型参数与训练数据需同步扩展。这正是当前遇到瓶颈之处,也是多数报道提及的问题所在。进一步突破需寻找更多元的数据来源与优化方法。除了公开的Common Crawl数据外,私域数据、合成数据以及更精细的数据清洗仍有很大潜力可挖。例如,OpenAI的O1模型通过思维链进行推理生成的合成数据,会被再次用于训练,从而实现自我迭代式的性能提升。这种方法如同左脚踩右脚般不断进步。Agent开始操作电脑,Claude已提供一种范式,未来Google和OpenAI也将陆续推出类似技术。通用电脑操作能力的实现,让Agent全面接管成为可能,其意义或许超越了模型本身性能提升的重要性。

举报有用(4)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号