2024年AI PC时代，本地运行6-7B大模型有意义吗？

AI

这非常有意义。我预测一下，未来PC标配可能是运行大语言模型于本地。之所以这样认为，主要基于三点原因：个性化、高性能与高安全特性。先谈个性化。从AI大模型兴起至今，大众对它的态度与接纳程度持续演变。我相信，多数人初次接触时都被其震撼，但实际体验后，如今仍将其融入日常使用的人究竟还有多少？从大模型的角度而言，单纯提供模型已不再是厂商竞争的核心，关键在于如何更有效地协助每个用户解决其特定问题。看看OpenAI最近的发布会，应用商店和多种定制版ChatGPT模型相继推出，核心目的正是依据不同用户的使用场景与需求，进行深度量身定制。一招鲜吃遍天的时代已过，唯有不断根据自身需求进化的人工智能才有意义，才是未来趋势。要实现定制化与个性化，需让大模型更贴近用户，而我们日常使用的PC正是理想平台。若将大模型直接部署在PC上，使其随时学习用户习惯，自动分析投入各项工作的时长，并针对性地优化效率，这必将显著提升用户的工作与学习效能。或许有人会问，这种定制化与个性化是否需要重新训练模型？其实未必。AI能够基于基础模型自行学习与优化。我们常说的AI越用越聪明、越用越懂你，正是源于这一原理。再说高性能，很容易理解：一方面免除网络传输延迟与不便；另一方面运行更稳定，无需与其他用户争夺云端算力资源。想象一下，乘坐飞机翱翔天际时，打开电脑就能流畅地与大模型互动，完全无需网络连接，体验极为顺滑。更关键的是，本地运行的大模型能够无缝融入其他PC应用。例如，在编辑word文档、制作PPT或处理excel表格时，可同时借助本地大模型优化文字内容、生成所需图片或完成复杂的数据计算等操作，这必将大幅提升工作效率。实事求是地讲，当前PC已集成不少AI功能，大多仍处于初级与被动阶段，像会议降噪或视频背景虚化等。而借助大模型，可实现更智能甚至主动的AI应用。这不仅得益于模型算法的演进，PC处理器芯片的AI算力同样关键。接下来我们会进一步深入探讨。安全性是众多企业和用户关注的核心问题。尽管大模型技术备受瞩目，但许多大型企业并未全面采用，甚至在试用后暂停使用。原因在于，部分机密数据可能在不经意间被输入到大模型中，并在其他场景下泄露，带来严重风险。云端大模型如同一个接受多方数据训练的系统，所有用户的资料都成为其训练素材，而这些信息可能会在其他地方意外暴露，从而引发安全隐忧。将大模型部署于本地PC运行，可有效规避诸多安全性风险。传统PC处理器无法满足个性化、高性能与高安全需求，尤其算力不足。这将成为各大芯片厂商未来重点突破的方向。图灵奖得主大卫·帕特森曾表示，如今是计算机体系结构的黄金时代。其核心原因在于人工智能等新兴应用与场景不断涌现，为芯片架构设计提供了更多优化方向。同时，这种变化也促使PC处理器芯片的设计从传统的单一同构模式，逐步演进为融合大小核及多加速器的异构架构。以英特尔新推出的Meteor Lake处理器为例，其重要架构革新在于首次把人工智能加速引擎NPU融入PC处理器，大幅增强了PC的AI运算能力。NPU的加入也象征着英特尔构建XPU战略的关键进展。NPU架构包含两个神经网络计算引擎，每个引擎配有众多乘加MAC阵列、专用激活函数加速器，以及用于量化、转换、融合与数据存取的硬件模块，实现高效处理。

MAC阵列支持矩阵乘法与卷积运算，兼容INT8和FP16数据类型，每个引擎每周期可完成2048次MAC运算。

在存储设计上，两个神经网络引擎共用Scratchpad存储器与DMA，通过图形编译器优化DMA任务调度，提升数据传输与缓存效率。相比CPU，NPU对卷积神经网络进行了专门优化，擅长处理复杂模型与运算。作为针对AI任务设计的处理器，NPU能在运行中实现低功耗表现。

大众

Meteor Lake不仅拥有强劲的NPU算力，还集成了GPU的AI加速功能。例如，它支持DP4A指令，每个周期可进行64次INT8运算，同时实现32位累加等操作，大幅提升处理效率。

高性能AI系统需软件支持。Meteor Lake为开发者构建了完整的AI软件栈，包含AI API、编译器与算子库、驱动程序等，实现从高层到底层硬件的全面映射与支持，充分释放硬件潜力。

这种统一的高性能AI堆栈，可以让各类应用充分共享同一套软件开发体系。例如，Teams等音视频通信软件能够借助其中的OpenVINO推理引擎，通过NPU增强音视频的AI性能；而类似Adobe的创意设计软件，则可利用DirectML API，调动GPU资源以强化AI运算能力，从而实现更高效的开发与运行体验。从操作系统角度来看，它可作为中间层，屏蔽底层硬件细节，同时为软件开发者提供算力管理与资源调度的能力。芯片算力的利用率很大程度上依赖于操作系统的针对性优化。英特尔正与微软合作，持续优化NPU在Windows系统中的调度效率，以充分释放NPU性能。未来，在Windows中将能够查看NPU的使用状态，并评估AI算力的使用效率，从而更好地支持开发与应用需求。Meteor Lake在制造工艺上亮点十足，不仅实现了架构与软硬件的协同优化，还作为首款采用Intel 4工艺量产的CPU，同时运用了Foveros 3D封装技术。单从工艺角度，就已实现性能显著提升和功耗降低，为NPU集成及AI算力增强提供了关键技术支持。要让AI真正应用于PC，芯片只是第一步，生态同样关键。拥有生态优势才能制胜，比如绿厂的CUDA、华子领先的鸿蒙系统、OpenAI的大模型平台，都体现了这一理念。蓝厂也意识到AI PC生态中的重要机遇并积极布局。尽管各大芯片厂商纷纷开始在芯片中集成人工智能能力，但AI PC生态仍处于初步发展阶段。这不仅涉及面向开发者的软件生态建设，也涵盖为用户提供成熟的软件产品，显然需要软硬件企业共同推动。然而，总得有领头者。今年十月份，蓝色厂商推出了AI PC加速计划，将联合超100家独立软件开发商，集成300多项AI加速功能，为超过1亿台PC赋予AI特性，进一步促进生态系统的完善与普及。

在生态发展的推动下，无论是大语言模型，还是个性化推荐、大数据分析以及安全性增强等传统AI能力，都有望成为未来PC的标准配置。对于普通用户而言，这将显著提升我们的效率。例如，我们可以借助PC中的AI功能辅助进行创意和设计工作，像音乐创作、图片生成这类以往依赖大量云端资源的任务，今后都能在本地PC上轻松实现。此外，PC还能依据我们的使用习惯和兴趣偏好，智能推荐电影、音乐或游戏内容，让用户体验更加个性化与便捷。总结目前AI主要集中在云计算领域，但实际上PC端蕴含更多机遇，这是普通人每天都会用到的设备。作为PC的开创者，英特尔对未来的「PC」有了新理解，已从个人计算机（Personal Computer）转变为个性化计算（Personal Computing）。借助芯片与生态的结合，降低了算力成本，使AI能够融入各类场景。可以预见，AI与PC的融合将是未来几年PC行业发展的核心趋势，也将为普通用户带来显著的效率提升和全新体验。 以上。