
OpenAI
近期AI瓶颈论调盛行,我需强调几个关键问题:马斯克迅速组建了一个拥有10万张H100卡的集群,这让数据中心行业的其他玩家大吃一惊,因为大多数企业仅能达到3万张卡的规模。像微软这样的大型公司,由于内部流程繁琐,建设一个数据中心需耗时三年,还常因环保等问题受阻。而OpenAI目前只能处于等待状态。从算力角度看,并无飞跃提升,怎能说明扩展法则已到极限?当前可获取的公开数据资源约15T token,基本已全面采集。按照Scaling Law理论,算力、模型参数与训练数据需同步扩展。这正是当前遇到瓶颈之处,也是多数报道提及的问题所在。进一步突破需寻找更多元的数据来源与优化方法。除了公开的Common Crawl数据外,私域数据、合成数据以及更精细的数据清洗仍有很大潜力可挖。例如,OpenAI的O1模型通过思维链进行推理生成的合成数据,会被再次用于训练,从而实现自我迭代式的性能提升。这种方法如同左脚踩右脚般不断进步。Agent开始操作电脑,Claude已提供一种范式,未来Google和OpenAI也将陆续推出类似技术。通用电脑操作能力的实现,让Agent全面接管成为可能,其意义或许超越了模型本身性能提升的重要性。
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号