关于模型参数和数据规模的Scaling Law，是否在CV和NLP领域都存在极限？

计算机

这件事和计算机视觉领域曾经遇到的情况如出一辙。难道CV领域没有规模定律吗？让我们回顾一下历史，看看当时发生了什么。在模型方面，假设从一个包含10k参数的VIT模型起步，逐步扩展到100k、1M、10M参数，分别训练这些模型，并将它们在ImageNet上的表现绘制成曲线，你会看到一条近乎完美的增长趋势。然而，在数据方面也是如此，从10k样本开始，逐步增加到100k、1M、10M样本，再训练对应的模型，同样能得到一条表现稳步提升的曲线。但实际上，当VIT使用了1亿个训练样本后，其在ImageNet上的性能提升便显得极为有限。即便采用10亿样本，效果也几乎不再有显著改善。这当然与ImageNet本身的局限性有关。再看CLIP，它采用纯无监督对比学习方法，并通过线性探针测试零样本能力，结果发现即便使用LAION-5B中的全部50亿数据，性能也难以进一步突破。相比之下，语言建模确实是一个更复杂的问题，需要更大规模的数据和模型支持。然而目前来看，即使模型参数达到4000亿（400B），训练数据量达到15万亿，其潜力似乎也接近上限，这与CV领域中VIT使用1亿数据时的情况颇为相似。为了实现通用人工智能（AGI）的进一步发展，我们需要探索新的路径。这是一个挑战，同时也充满机遇！