从事AI相关任务选mac有何参考要点？

AI

在进行AI或大模型相关工作时，若要选择mac该怎么做？可以参考reddit上的一篇回答，其网址为https://www.reddit.com/r/LocalLLaMA/comments/1gons5b/choosing_mac_mini_m4_for_local_llama_models/。

有几个要点需要考虑。CPU、GPU、NE的速度与核心数量，我觉得这是最不重要的因素，毕竟其他方面有更大的改进余地。内存带宽速度是最为关键的因素，往往会成为性能瓶颈，在有大量快速核心（如M4那样）而内存访问速度受限的情况下更是如此。不知什么原因，Apple对M3的带宽限制很大。M1速度已经较快，M2则更胜一筹。现在，M4似乎又步入正轨了。

内存容量方面，要记得给操作系统预留8GB来保障稳定运行。据我的经验，若有x GB的随机存取内存（RAM），能以可接受的量化等级运行一个参数为y B的模型，其中y = 4*(x - 8)/3（大致为三分之一多些）。

Apple

我建议购买至少64GB内存的二手或翻新款Mac Studio M2 Max。想要了解Apple Silicon M系列上llama.cpp性能的更多详情？可以查看这个链接：https://github.com/ggerganov/llama.cpp/discussions/4167。