达能
最初都选择了Q-Former作为多模态语言模型（MLLM）的连接器。其中，InternVL-1.0甚至尝试将Q-Former的参数规模从1亿提升到了70亿，但经过多次实验后，最终还是转向了以简单多层感知机（MLP）作为连接器的技术路线。很多人从有损压缩的角度批评Q-Former，认为这是其被取代的主要原因。然而，我认为这并不是问题的核心所在。从模型设计的角度来看，最核心的原因在于：相比基于MLP的设计方案（如LLaVA-1.5），BLIP-2中使用的Q-Former参数量更大、收敛速度更慢，在相同设置下无法达到LLaVA-1.5那样的优异性能。更重要的是，在数据量和计算资源充足的情况下，Q-Former也未能展现出明显的性能优势。以BLIP-2为例，Q-Former会将任意长度的视觉token序列转换为固定的32个token。部分研究者因此认为，这种方式引入了有损压缩，导致其被MLP所取代。然而值得注意的是，Qwen-VL在类似的结构中，将分辨率为448×448的图像转译成256个token，显著降低了信息损失率。即便如此，仍然存在一定的有损压缩问题。但在同样的分辨率下，InternVL-1.2通过MLP+PixelShuffle的方案同样得到了256个视觉token，并且两个模型都取得了非常优秀的性能。而Qwen-VL的性能并未明显优于InternVL-1.2。这说明，即使引入了有损压缩，模型依然可以表现出良好的性能。如果我们将Q-Former被取代的原因归结为有损压缩，那么在Qwen-VL与InternVL-1.2的对比中，基于MLP的方案也同样面临这一问题。因此，有损压缩并不能充分解释为什么Q-Former最终被弃用。尽管许多人不愿意将Q-Former的功劳归于BLIP系列，而是更多地将其称为Attention Pooling，但我个人认为，MLP和Q-Former之间的竞争本质上就是LLaVA系列与BLIP系列的竞争。大家选择MLP方案，实际上是在追随LLaVA的工作方向。那么，为什么现在更多人倾向于追随LLaVA系列而非BLIP系列？主要原因可能包括以下几点：第一，性能表现上的差距。正如前面提到的，虽然Q-Former在理论上具备更强的表
达能力，但在实际应用中，其性能并不优于基于MLP的设计。例如，LLaVA-1.5在多个任务上展现了更优的表现，尤其是在大规模数据和计算资源支持下，MLP方案能够更快地收敛并达到更高的精度。第二，计算效率和资源利用率。Q-Former的参数量较大，导致训练和推理成本更高。相比之下，MLP结构更加轻量化，计算效率更高，更适合当前工业界对高性能和低延迟的需求。此外，MLP方案更容易扩展到更大的模型规模，而不会显著增加计算开销。第三，代码实现和社区支持。LLaVA系列提供了更清晰、易用的开源代码，降低了开发者使用和修改的门槛。相比之下，BLIP系列虽然也有开源版本，但其复杂的设计使得新手难以快速上手。随着社区生态的发展，越来越多的研究者和工程师选择加入LLaVA阵营，形成了正向反馈循环。第四，灵活性和可扩展性。MLP作为一种通用的连接器，能够更好地适配不同的视觉编码器和语言模型架构。而Q-Former的设计相对固定，难以灵活调整以适应多样化的应用场景。这一点对于需要快速迭代和试验的项目尤为重要。综上所述，虽然Q-Former在理论上有其独特的优势，但从实际效果、计算效率、社区支持以及灵活性等多个角度来看，MLP方案显然更具吸引力。这也是为什么当前更多研究者和开发者选择追随LLaVA系列而不是BLIP系列的原因。当然，未来技术的发展可能会带来新的突破，我们也期待看到更多创新的解决方案出现。
