
AI
不过,多模态大模型也并非十全十美。在应对复杂视觉语言任务时,它们常常出现幻觉情况,也就是在回答里加入图片没有的内容。这些错误往往要细致审查才会被发现,这说明模型虽能看,却不总是能理解。多模态模型中思维链的应用
比如说,在下面这张图里,我们对图片I0提出问题:黑衣男子面前的柱子上写着什么?要是多模态模型输出的仅仅是一整张图片,那它就很难准确聚焦,会输出图片中没有的禁止吸烟,这时候这个大模型就出现幻觉了。而作者提供的方法是,让大模型先针对图像和问题开展一系列操作,例如先找到黑衣男子和他面前的柱子,接着把柱子上的文字部分提取出来并且放大,如此对着正确的视觉焦点再去回答问题,就能得出正确答案快速存款了。

ChatGPT
由于有大量数据的支持,并且论文所用的基座模型CogVLM本就是非常强大的多模态大模型,所以本文提出的CogCoM在很多数据集上都取得了极佳的效果。操作链的正确性很难自动评估,目前我们能看到的成果主要是操作链对部分图文理解任务的提升,标示的在多个图文问答数据集上的提升。
关于作者团队的介绍。这篇论文是由国内的智谱AI团队撰写的。在大模型领域,智谱AI对大家来说应该并不陌生。在ChatGPT广受瞩目之前,智谱AI就推出了GLM - 130B,这是一个具备千亿参数的中英双语大模型。这一举措既彰显出其技术能力,也表明其致力于推动全球AI研究的决心。ChatGPT流行起来后,智谱AI快速做出回应,开发出ChatGLM模型,并且一直在对其更新,为大模型社区贡献颇多,ChatGLM和ChatGLM2系列模型的使用者众多。大模型有哪些更多研究方向?除多模态大模型外,基于大模型的智能体(AI Agent)亦是近期学术研究的热点。对大模型进行定制,赋予其使用工具的能力,就能让它完成特定任务。智能体技术让大模型不再只是信息处理工具,而成为能执行具体任务的助手。仍以上文提到的智谱AI这个论文作者为例,其通用大模型应用智谱清言中,已有许多智能体落地可用。
这些智能体可执行从计算亲戚关系到小学语文教学等各种各样的任务。以往,要实现这些功能往往得靠专业软件开发团队单独编程,如今定制智能体,非专业用户也能轻松配置和使用,就像每人都有自己的软件外包团队,只要说出需求,AI助理就能帮忙实现功能。个人觉得,从研究视角而言,大模型的智能体技术至少有如下研究方向:探索这些研究方向,不但能让智能体执行单一任务更高效,还可使其更好适应复杂多变的现实世界环境。在AI Agent领域,像智谱AI这样的国内大模型企业,已有诸多前沿研究成果,也在实际应用方面积极努力,读者可深入阅读或体验。总结过往,展望未来。本文列举了大模型技术在2024年及之后可能的若干研究方向,其中多模态大模型与基于大模型的智能体技术尤为突出。近两年来,大模型技术快速发展并融入日常生活。在此背景下,像CogCoM这类创新模型在解决多模态幻觉问题、提高模型逻辑推理能力方面展现出的前瞻性思考极具参考意义。当下,大模型的能力日益强大,其影响不仅体现在科技领域,在社会和经济方面也颇为深远。这既得益于像智谱AI这种专注技术、务实的团队,也离不开众多研究者的努力。展望未来,随着相关技术不断成熟创新,一个更加智能化的世界值得期待,大模型技术会持续作为第四次科技革命的核心力量,引领我们迈向全新的技术时代。2024年肯定不是大模型研究的终点,一场跨时代变革需长期研究。我坚信,新时代已开启,我们的未来会更美好。
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号