vivo大模型入手机，手机厂商AI战事如何？

手机

山雨将至。大模型入驻手机，是我今年听到最多的事情了。在国内，vivo手机并非首个将这个故事变为现实展示给大众的。不过要是深入探究第一个这么做的国产手机头部巨头的技术路线，就会发现它依靠的并非LLM（大语言模型），而是NLP（自然语言处理）。我无意比较LLM和NLP谁优谁劣，只是想指出一个事实：LLM是NLP的分支，它与NLP的不同之处在于，在零样本、少样本时，只要选择合适的prompt就能完成许多传统NLP任务。短期的情况我不清楚，但从长远看，LLM必定是通向通用人工智能的重要基石。这表明，入局者未来如何，实际上取决于各自背后的基础大模型。在切入话题前，考虑到一些小白读者的阅读体验，像那些对在端侧（像手机、笔记本电脑）运行生成式AI（如与ChatGPT聊天、进行模型训练）完全不懂或者没概念的朋友，我打算先简单介绍一下。我们平常所说的跑AI实际上包含AI训练和推理这两部分。那些广为人知的大模型都是事先在服务器集群上完成训练的。模型训练好以后，进行部署就能使用了。就像你与ChatGPT聊天或者在Midjourney绘图时，整个对话或者绘图的过程，就是在服务器集群上进行推理。大家可千万不要把AI训练和推理弄混了。近期刷屏亮相的vivo自研大模型vivoLM，在背后的基础大模型方面表现出色。在C - Eval大模型测试平台上，vivoLM取得了第一名的成绩，其C - Eval排名还领先于阿里云的通义千问。需明确，C - Eval是当前业内公认的权威中文大模型基准测试，重点考查大模型在中文方面的综合知识储备与语言理解能力。

从日前曝光信息可知，vivo下代OriginOS的手机助手Jovi会融入自研大模型部分能力，用其写文章摘要、做脑图、绘图都已实现。我感觉国内手机厂商在大模型赛道上呈现出十年磨剑、厚积薄发的状态。一个早早投入应用，一个刚亮相就霸榜刷屏，二者都备受关注。这表明手机厂商已投身于这场来势汹汹的大模型生成式AI的中场战事之中。手机厂商纷纷积极拥抱大模型，咱们普通用户能从中看到啥有用的东西？现在至少可以确定一点，那就是把大模型应用到各手机系统中，使大模型能力完全融入手机助手。让手机助手成为无处不在的系统级枢纽，全面接管手机系统日常管理，提高手机智能化水平，重点先解决人工智障问题。关于人工智障，你唤起手机语音助手后肯定不止一次遇到过吧。我听不懂、正给您跳转浏览器、这个技能我还没学会……若构想中由大模型能力加持的手机助手是智能体，那现在的语音助手就是个智能与智障同在的矛盾体。它看似聪明，却常不懂人话，动不动就跳转浏览器找外援，复杂点的内容更是理解不了。不止如此，手机系统和APP日益臃肿，这同样是很智障的表现。屏幕前的你，点餐、打车、导航时，是否得在桌面上到处翻APP，接着在一级、二级、三级乃至更深层级的菜单里，逐个寻找入口？这根本就不智能。更深层的原因是，手机系统无法理解你。真正聪慧的手机系统、手机助手，就该如目前曝光的OriginOS4中的新Jovi那般，具备自然语义理解能力。它能洞悉指令背后复杂的操作意图，不但提供答案与选项，还直接服务周全，从而削减操作流程的时间成本。例如，我一次性输入美食类型、人数、价格范围等内容时，理想中的手机系统要能迅速理解，然后借助手机里的点餐软件，找出我心仪的餐厅，省却筛选的烦恼。同理，旅游攻略、出行攻略等也应如此。

再比如，我的相册里有几万张照片，当我想找某张照片时，只要描述照片内容就能筛选出来，不管它在哪个文件夹藏着，都能迅速定位。对于文献、报道关键信息的提取能力，还有辅助创作能力等，应是你必备而我可以不用的功能。

vivo

不只是vivo的Jovi，有爆料指出苹果也在为Siri开发代号为Bobcat的AI新功能。而且传言新项目的技术框架是Siri Natural Language Generation。要是这是真的，那Siri与生成式AI技术必然会融合在一起。显然，不管国内国外，安卓还是苹果，大模型在手机系统中的前景和路线图都是有目共睹的。总体而言，对普通用户来讲，从现有的手机系统和大模型结合的实例可明显看出，大模型能力的融入，解决了用户养成语音助手使用习惯的一大难题，即僵硬对话、交流不自然的问题。简单来说，大模型可使手机系统从有趣变得实用，还可能变成一种习惯，让手机系统真正理解我们，对提升智能手机易用性效果显著。

与之相比，ChatGPT之类的大模型应用，大多侧重于创意文案创作、信息整合、问答聊天和文章摘要等方面。而手机助手的定位是智能私人助理，其应用更为广泛，涵盖设备控制、提供个性化咨询服务以及提高日常办公效率等。手机厂商所做的大模型融合不同于OpenAI的ChatGPT这类生成式AI聊天机器人。大模型融合必然会成为终端厂商的系统级能力，涵盖语音对话、图文识别、服务建议，甚至全面掌控手机系统，这才是高效且体验最佳的方式，绝非ChatGPT单纯的SDK调用所能比的。而且，将大模型用于手机助手，想到这点并不困难。可是，要如何实现？我先给手机跑大模型祛魅，其实这事儿没那么难。要是你一直留意大模型这个圈子，应该知道有个开源通用方案叫MLC - LLM。借助这个方案，任何语言模型都能被部署到各类硬件后端与本机应用程序上，它还为大家提供了一个框架，用于优化自身用例中的模型性能。

这个基于Vicuna - 7B - V1.1的东西，它的效果比不上GPT4。不过其在iphone上的安装包仅3GB。除了基本不具备连续对话能力等缺陷外，单纯运行是没问题的。要是你感兴趣，可以用自己的iphone运行试试，亲自去验证一下，手机SoC的性能来支撑大模型是完全足够的。

但要是提高标准，让其管控手机系统、辅助手机使用，答案就是：不行。OpenAI那种千亿级模型参数，运转成本非手机所能承受。即便采用剪枝、蒸馏、量化等方式缩小模型再放入手机，能效能否成正比？一部整机功耗仅几瓦的手机，要应用这种技术，技术层面的挑战该如何应对？从vivo的例子里，我们也许能找到更多问题的一些答案。vivo若要在手机系统中应用大模型，至少得做两件事。一是将大模型优化成适合手机使用的版本，二是在算力和功耗方面实现可行。以vivo为例，其大模型是一个矩阵，有参数为10亿、70亿、660亿、1300亿、1750亿量级的五个AI大模型。这些大模型会采用云端与本地相结合的方式，从而满足不同需求。当然，让手机用上大模型远非我寥寥数语说得那么简单，背后存在很多技术和产业方面的挑战。不过话又说回来，尽管有困难，可从vivo近期的举动来看，这恰恰证实了此事的可行性，而且大模型应用于手机助手确实能让能力有诸多重大变化。

你瞧，看vivo周边在线接单给网友返回的图，能发现大家写生成提示词的水平挺高的，返回的图都很好看。

OriginOS4集成的大模型，其对话、聊天等能力至少已能提供类似Stable Diffusion的工具。Stable Diffusion现在很热门，输入提示语就能生成图片。目前展示的都是文生图（text - to - image），不过图生图（image - to - image）的推理流程并不复杂，应用起来应该没有太大问题。现在还不知道OriginOS4的大模型能力是否能提供更多计算机视觉（CV）应用，像对象语义分割、超分（super resolution）等。但要是进一步增强模型，将来用于辅助手机影像后期编辑之类的，应该很值得期待。对于大型语言模型（LLM）来说，能反映硬件算力的维度主要有first latency（首个token生成的时间，通常以毫秒为单位，可简单理解为发出指令后模型过多久才开始响应工作）和after latency（后续的平均token生成速率，单位为毫秒/个token，例如模型回复时打字、炼图的速度）。要知道，LLM推理过程中有许多不可控变量。手机系统枢纽若要完全接管手机，怎样把这些不可控变量转化为可控定量，这是更值得关注的问题，因为它们是决定用户体验的关键因素。所以，我现在也很关注OriginOS4在这些细节方面的指标，还有vivo解决这些问题的方式。目前得到的消息零零散散且不确定，据说要视场景而定。

当下在移动端旗舰SOC上对大模型进行极致性能优化时，DRAM带宽是主要限制因素。每预测一个Token，模型至少要从DRAM加载一次，模型计算强度远低于旗舰处理器。由此可知，出词性能上限约等于DRAM有效带宽除以模型体积。拿某未发布旗舰SoC的LPDDR5X来说，其峰值能到68GB/s，有效带宽通常是带宽峰值的70 - 80%。7B模型经int4量化后约为3.5GB（LLaMA和Bloom参数量不同，量化后体积或许有差别），这样一来，推理性能大致为0.7×68÷3.5≈13.6 Token/s，不过这个上限一般是很难达到的。除Matmul算子外，其他算子也存在耗时情况，耗时占比约为5% - 10%。这样算下来差不多能达到12Token/s。要是再加上Medusa Heads或者Speculative Decoding的话，推理性能就有可能提升1 - 2倍，达到20Token/s也是有可能的。实际上，题主问的问题在一定程度上已经过时了。实际上，大模型正在彻底变革智能手机系统。只要你嗅觉够灵敏，当苹果在A17 Pro中加入大量晶体管以提升AI本地计算性能时，当听闻未来主流SoC将增强本地模型运算能力来支撑复杂场景时，当国产手机头部大厂提出第四次技术革命关键在于大模型和AI场景之类的观点时，就该发觉，手机上的大模型之战早就打响很久了。有的已先行动，有的正跃跃欲试，局势变幻莫测，暗流在涌动。结果表明，向来后发制人的vivo此次并不慢。这无疑是一场没有悬念的硬仗。唯一不确定的是谁能在这场硬仗里带来实质性突破的玩法、产品和技术。 期待。