为什么说端侧大模型是未来趋势？

手机

本地运行的端侧大模型必将成为标配。大模型本质上是超大应用，把数据放本地运行让人安心，还是传到云端处理再返回结果更值得信任？这是一个值得思考的问题。你的手机或电脑语音助手，是否能像真人一样与你对话？是否能真正成为你的私人助理，帮你管理设备？本地化大模型已实现这一目标，或许我们很快就能摆脱键盘和鼠标了。本地部署大模型有助于保障信息安全，减少对网络的依赖，提升响应效率，同时降低运营成本。

端侧部署大模型的主要难题在于本地硬件条件的限制。目前普遍认为，基础大模型的参数量至少需要达到60亿规模，也就是6×10^9级别。若采用当前主流的int 8量化部署，模型本身就需要6GB空间，再加必备的辅助与缓存空间，通常总共需8GB以上的内存或显存。即使未来采用INT4，也需6GB。这个量级的模型无法使用时再加载，通常必须常驻内存。从这个角度而言，未来手机安卓旗舰可能以24GB为起点，并标配端侧大模型。Intel的Meteor Lake架构酷睿Ultra与AI PC概念，加上32GB配置，表现也相当不错。苹果的内存价格高得离谱，一万多元的 MacBook Pro 14仅8GB，想运行大模型几乎不可能。2023年8月18日上午，英特尔于大湾区举办技术分享会，展示其在AIGC领域的最新成果与进展。

传统观念中，运行像ChatGPT这样的大语言模型需依赖大显存显卡，但这场交流会彻底改变了这一认知。为使12、13代酷睿平台流畅运行大语言模型，英特尔打造了BigDL-LLM库，优化体验。这个库能够优化和支持多种大语言模型，涵盖可在本地运行的开源模型，如LLaMA与LLaMA2、ChatGLM及ChatGLM2等多款大型语言模型，为它们提供高效运行和性能提升的解决方案。

电脑

此库可在配备16GB内存的英特尔轻薄本上运行，支持高达16B参数的大语言模型。这就是大势所趋，明白了吗？目前来看，并非所有硬件都支持本地大模型。但下一代新品大多可轻松运行6到7亿参数规模的大模型。