
Meta
说实话,大模型的开源和其他类型的开源存在差异。其一,大模型开源时,鲜少有开源训练集以及整个训练流程的情况。多数时候只是将推断代码与模型最终的检查点进行开源。其二,大模型开源并非普通玩家能够涉足。规模达百亿以上的模型,基本上得需要两张以上的GPU卡才能够运行。有多少个人玩家具备这样的条件?反观扩散模型(diffusion)的开源,模型较小,玩家能够使用单卡自行训练Lora,所以其开源社区才会极为活跃。开源真正受益的是一些中小规模的厂商。对于是否能够像扩散模型开源那样激活开源社区并形成良性循环,我持怀疑态度。不同厂商开源的目的不尽相同。拿
Meta来说,它不像
谷歌、
亚马逊、
微软那样拥有自己的云服务,大量GPU卡闲置是一种极大的浪费,开源就成了它无奈之举,毕竟要争夺生态位。至于其他云厂商为何也跟着开源,或许是因为
Meta开源而被迫做出的反应,如同囚徒困境一般。