手机端侧跑大模型，苹果会舍得花钱吗？

手机

不会，不过其他手机厂商确实能从中获取竞争优势。OVHM均有在手机上搭载大模型的规划。这个计划包含云端和手机端侧的大模型。公开信息显示，OVM均有1B/7B规模的模型。

在int4量化级别时，7B模型的内存占用可压缩到3.5G。当前手机算力与LPDDR5x带宽，大概能支持每秒10 - 12个token的速度。安卓现在大多8G内存起步，12G是主流配置，就这种情况而言，7G的模型起码能运行，要是用1B的模型也基本能满足需求。

毕竟大家不会在手机上写代码，使用1B的模型就能让手机语音助手从人工智障变为人工智能，效果挺显著。手机端运行大模型可减少云端算力消耗并增强隐私保护。不管怎样，当下算力成本颇高。若所有请求都要让云端运行几十B级别的模型，以手机的请求频率，恐怕哪家都承受不了这样的算力消耗速度。毕竟短期内手机大模型落地还是以语音助手领域为主。各家都朝着社科人文领域优化自家的1b/7b模型，STEM方面能做小学题就行。国内主要榜单也以人文社科为主，都不考查代码。

安卓

更难的部分或许可交给云端处理，手机用来判断题目难度。如此一来，可能仅有十分之一甚至二十分之一的任务需要云端几十B乃至几百B的模型来解决，这也大大减少了算力消耗，主要目的还是降低成本，毕竟OpenAI的token批发价不低。但果子的问题恰恰就在这儿。毕竟苹果内存相对较小，各位苹果用户过去几年应常看到微信启动画面，这就是内存不足导致杀后台了。

在后台加载3.5G的内容，就啥也干不了啦，何况还有大量使用4G/6G内存的存量用户。而若在云端运行，云的速度不太稳定。

当然了，要是苹果肯花钱，在云端构建一个几十B甚至上百B规模的大模型，也能用，无非是多些花费罢了。库克有成本控制能力，他会这么做吗？