LLM与VLM结合的多模态整合有何挑战？

搜索引擎

简单来讲更倾向于具身智能。在这个领域，大家每天都在探索怎样让现有的搜索引擎更智能、更高效。近期来聊聊我对LLM和VLM的一些探索与应用。最近，不少同学下定决心转向大模型，朝着MLE（机器学习工程师）求职方向发展。我一贯的教育理念是鼓励大家向深度学习方向探索。当下，大模型岗位面试和其他技术岗位面试存在差异，它会涉及深度学习、自然语言处理等专业知识。之前，我还针对保Offer班里OpenAI的机器学习岗位做了一系列更新。

我在开发工作里，一直都察觉到像GPT - 4、BERT这样的大语言模型在自然语言处理上有着极大潜力。而CLIP、DALL - E这类视觉语言模型，在图像识别与生成方面也表现出非凡能力。当下搜索领域急需解决的问题是：怎样把这些厉害的语言模型和视觉模型整合起来，让它们协同作业，以处理更为复杂的多模态任务？

我觉得，以LLM和VLM为核心各有长处。不过我认为只有将二者相结合，针对任务的泛化性才足够强，这对具身智能而言，应用价值也更大。

同学

我们目前使用较多的嵌入ChatGPT的DALL - E模型，把图像生成任务当作序列到序列（Sequence - to - Sequence）问题，借助Transformer模型来达成。其训练涵盖数据预处理、Transformer模型训练以及图像生成这几个环节。DALL - E模型能依据输入的文字描述生成对应的图像，在图像生成任务方面能力很强，许多应用和研究都利用它来开发人机交互产品了。

LLMs为核心和图像为核心的多模态整合方法虽各有长处，但我觉得它们在诸多方面并不矛盾，而是能相互补充，构建出更完备的智能体。借助联合训练与设计交互机制，就能将LLMs和VLMs的优势充分施展，达成更高效、智能的多模态模型。今年，在ICLR 2024的论文LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine - grAIned Descriptors里，提出了一种名为DVDet的方法，它将LLMs和VLMs相结合。此方法借助若干关键技术达成了多模态整合。

文章提及的CCP主要由三部分构成。

我同样将其总结为如下三个部分。文章整体采用联合训练的方式，同时对大型语言模型（LLMs）和视觉语言模型（VLMs）加以训练，让模型具备处理多模态数据的能力，以实现更好的泛化性。通过设计交互模块构建交互机制，使LLMs和VLMs动态交流、更新信息来提升整体性能。

把LLMs和VLMs相结合后，模型在多模态任务方面的性能有了显著提升。实验显示，联合训练与交互机制可有效提升模型在复杂任务（像开放词汇目标检测、视觉问答和图像生成等）上的表现。具体的实验数据与结果分析体现出DVDet在COCO和LVIS基准上表现优异，在未知目标检测中的提升尤为显著。

回顾生命进化历程，它是怎样逐步迈向复杂与智能的？最初单细胞生物仅能对简单环境变化有所感知和回应，而后生物体渐渐进化出更复杂的感官系统，可同时处理多种信息。就像我们大脑能同时处理视觉、听觉、嗅觉等多种感官信息一样，AI智能体的发展也朝着多模态整合的方向发展。

有趣的是，这两条进化路径并不矛盾，还能相互补充，构建出更完备的智能体。借助联合训练、设计交互机制，我们能将LLMs和VLMs的优势完全发挥出来，就如同自然界的基因重组一般，打造出更高效、智能的多模态模型。