大模型时代应用如何改变生活？

科大讯飞

大模型时代的某些应用，已经对我的生活产生改变了。以前做会议纪要很辛苦，就算能通过飞书、科大讯飞语音转文字，还是要多花1到2个小时，把口语化表述转化为内容精炼、排版好看的纪要。但现在有了AI纪要助理，和传统语音转文字相比，效果好了许多，基本不用再辛苦地码字写纪要了。

纪要助理产出初稿后简单检查一下就行，1小时录音如今半小时就能整理完，工作时间被大大压缩。再如，一些基于大模型开发的PDF阅读工具也很实用。它能通过对话快速筛选关键信息，有问必答，还能综合多篇文档资料一并研究。研报、论文，他都有能力阅读。

实际上，大模型阅读中文研报时，优势并不太显著，像ChatNote这类工具在英文场景下优势最为突出。你给它一份20页的英文投行研究报告，或者300页的美股公司年报，它都能用中文回答你想了解的问题。翻译与关键信息检索一次性完成。大模型在不少领域正改变着我们的生活。在我看来，vivo即将发布的OriginOS4，大模型登上手机是件很自然的事。而且，现在应用商店里通义千问、文心一言的APP都能不限量下载了，不过我仍觉得手机厂商自研大模型是很有意义的事。

AI

手机厂商做大型模型有何意义？关键在于其具备两大独特优势：算力边缘化与数据全面化。首先要清楚，想让类似GPT3.5这种有着1750亿参数的大模型在手机上完整运行，目前这要求还是有些过高了。手机算力的确不足，要知道ChatGPT即便在PC本地也无法部署。不过，从当前产品发展趋势来看，有一个事实很清晰，即边缘终端的AI算力已开始加速、跨越式地发展了。像苹果的A17 Pro，较上一代A16芯片而言，其AI算力从16Tops猛增至35Tops，提升了一倍还多。相较而言，CPU与GPU性能分别仅常规提升10%和20%，由此可见苹果对提升AI算力有多重视。估计后续的M3 Mac处理器，其AI部分也会有很大提升。

硬件虽不断努力升级，可功耗限制摆在那里。当前在手机、电脑上能本地运行的大模型，大多是10 - 100亿级别的，像清华的chatGLM - 6B，就是可本地部署、有60亿参数的大模型。如今的手机大模型，最佳方案是本地与云端相结合的双重方案。本地部署确保体验有下限，云端部署能带来体验上限。简单的工作交给手机SoC，复杂的工作则交给云端服务器，这就是通俗的说法。在手机SoC方面，vivo目前进展较快，它与联发科合作，达成了10亿和70亿参数大模型的本地部署。天玑9300发布会即将到来，届时或许就能知晓70亿参数大模型本地部署的具体实现方式了。

当然，vivo在大模型方面的布局不止如此。其背后采用的是一套非常全面的方案，vivo共有5个大模型，参数分别为10亿、70亿、660亿、1300亿、1750亿不等。vivo把这五者统称为大模型矩阵，其中最常使用的是70亿和1750亿这两个大模型。vivo即将在手机上本地部署的70亿大模型vivoLM - 7B，其在C - Eval测试里平均得分74.3分，于9月时在模型榜单上可排到第五名。

前几日榜单更新，vivoLM成绩再获提升，平均得分达到82.3分，在C - Eval榜单中目前位居第一名。

在此引用一篇文章，简单给大家介绍下C - Eval榜单。C - Eval由上海交通大学、清华大学和爱丁堡大学共同打造。它构建了一个中文知识与推理型测试集，涵盖人文、社科、理工和其他专业四大方向，包含52个学科（如微积分、线代等），涉及中学到大学研究生及职业考试，共13948道题目。简单来说，C - Eval就像是大模型用以比较能力、迭代进步的高考题库。再谈谈终端部署大模型这件事。长远而言，终端算力持续发展，大模型本地部署的占比必然会不断提高，本地边缘部署在我眼里是不可逆转的趋势。

长远而言，终端完全部署或许是最佳方案，但当前算力还达不到这种要求。这种向终端发展的趋势表明，在大模型方面，手机厂商相比互联网厂商更具优势。主要有以下好处：终端部署可实现更低时延、更好保护数据隐私安全，从而带来更好的体验。云端算力虽强，可若其数据传不到手机，体验怎保证？对大模型而言，时延控制是非常重要的体验。或许是网络不佳，又或许是排队人数过多，不管怎样，云端总会从各个方面限制大模型的对话体验。用过ChatGPT的朋友都清楚，GPT白天使用体验较好，晚上容易卡顿，毕竟太平洋彼岸的人在他们的白天使用，而这是我们的晚上。云端的数据安全怎么都不如本地部署让人安心。在隐私保护日益受重视的当下，终端部署更安全，也更符合需求。其次成本更低，终端部署可大幅减轻厂商云端算力成本压力。当下，大模型的服务器运行成本约为1分钟5000元。vivo研发团队称，vivo在中国大陆有3亿用户，若每个用户每天使用大模型10次，那一天的运算成本就接近3000万，仅服务器一年就要花费100亿。这个数字大得如同天文数字，厂商要承担的成本可不低。若大模型日后以终端部署为主，那云端服务器的成本问题就不再是个事儿了。最后是更为全面的数据接口，前两点容易理解，第三点我要多讲几句。众所周知，大模型由数据训练而成，其表现如何，一方面取决于模型预训练和微调的成果，而这主要由厂商来决定。GPT4.0能领先，是因为OpenAI在这方面确实处于所有人之前。但模型的附加数据库，在实际体验中决定了模型能达到何种程度。在这方面，手机厂商对大模型的赋能，强于互联网厂商的APP。举个简单例子来讲道理，语音助手谁都能做，可为啥大家仍用手机系统自带的Siri、小艺、小爱或者Jovi？没别的原因，就是功能很全。你能让Jovi定闹钟、设日程，还能让它开启家里的智能家居。阿里很明白这点，其推广语音助手时，也是借助硬件达成的，这个硬件是名为天猫精灵的音箱。大模型时代这一逻辑依然不变，对系统和硬件的掌控力会让大模型有更多应用场景，这是手机厂商的固有优势。手机厂商对AI的探索由来已久，在大模型走红之前就已开始，只是人们早已司空见惯。像照片的夜景、人像模式，本质上都是凭借AI算法达成更佳影像效果的。如今，更强大的AI即大模型已经出现。我当下最直接的想法是，那些在云端部署且能力出众的大模型应用，也会在手机上大量涌现。大模型可在手机读文档，至少手机端上传后能电脑同步处理。做纪要大模型在手机上就能完成。电话会结束后，直接把录音导入大模型，由它和云端自行处理，无需繁琐地先把录音上传到电脑，再传到网页，最后漫长等待才能下载。路径优化能降低大模型使用门槛，提升用户使用意愿。这是我最看好手机厂商给大模型生态带来的贡献。很期待下个月的vivo开发者大会，还有具备大模型能力的OriginOS4。