
OpenAI
并非完全没有可能,但需要一项足够扎实的工作来证明其价值并推动发展。举几个例子来说。扩散模型其实早就存在了,但在图像生成领域,很长一段时间里GAN一直占据主导地位。直到
OpenAI推出GLIDE和DALLE2,以及后来开源的Stable Diffusion,扩散模型才真正崭露头角,迅速成为主流,而GAN则逐渐退居二线。如今,如果有人问起图像生成该选择哪种架构,几乎所有人都会推荐使用扩散模型,而非GAN。再看自然语言处理领域,GPT-1虽然率先问世,但很快被
谷歌的BERT超越,BERT一度成为行业的明星模型。然而,随着
OpenAI陆续发布GPT-2、GPT-3,再到如今的
ChatGPT,基于纯解码器架构的GPT重新赢得广泛认可,而BERT则慢慢淡出了人们的视野。因此,我认为未来一定会有某种新型架构超越GPT的地位,但这需要一个极具影响力的研究成果来引领潮流。例如,过去大家普遍使用经典的DDPM,而现在SOTA的SD3采用了Rectified Flow技术,可以预见,基于这项技术的研究将逐渐受到更多关注。至于RWKV和Mamba,尽管它们取得了一些进展,但在我个人看来,这些成果尚未达到令人眼前一亮的程度,所以我暂时选择继续观望。