本地大模型能在Macbook上跑通吗？

手机

题主提到的本地大模型需根据具体情境分析。如果是像GPT-3这样的千亿参数模型，本地设备几乎无法运行。如果是百亿参数规模的模型，比如 llama13B，配块 3090 显卡，再加几块内存，还是可以跑起来的。7B（70亿参数）级别的模型，手机运行可能吃力，但MacBook完全可以胜任。三月份下载了llama-7b模型进行测试，其模型文件约为13GB，能在M1 MacBook Pro上顺利运行，具体配置见附图。

以下是测试结果：回复速度较慢，每令牌耗时375.01毫秒，总计53秒。答案尚可，但似有抄袭嫌疑，部分内容（图中高亮处）像是直接搬运而来，缺乏原创性。

总体而言，笔记本达成此效果不错。未来一两年，LLM的热门趋势可能是本地化乃至移动端部署。如果读者有兴趣，可参照在M1 Mac上使用LLaMA的方法自行复现。虽然尚未测试最新 llama2-7b 模型，但预计不会有问题，且其回答质量定会比笔者测试时更优。想大致了解不同模型对应的内存使用情况，可以阅读这篇文章，作者提供了粗略的估算结果。

移动

说实话，7B模型能力有限，即便本地运行正常，回答也难令人满意，尤其是用惯ChatGPT之后。 若要在移动端获得性能优良的大模型体验，除了通过API调用，目前尚无更佳解决方案。