4060TI 16G运行大模型的表现如何？

阿里

拿ollama试跑各种大模型，所以在这方面我确实有发言权。这么讲，16G显存运行所有小于32B（不含32B）的大语言模型都毫无压力。经实测，32B的阿里通义千问大模型刚好能运行，能跑起来，但提问频繁或问题复杂时就会显存不足。以下为已跑模型，单模型运行毫无压力。

千问2大模型刚推出，实测显存仅占用5个多G。它能0压力运行，显存大小很关键，还可同时运行SD绘图。 。

若想测试4060TI的速度，可在下文提到的免费工具中测试，该工具里的lobe - chat模型推理是用此显卡运行的。4060TI显卡画这类图毫无压力，大概1分钟就能出图。

结论为：最强开源模型的支持度取决于模型参数大小。显存大小非常非常重要，若条件允许，可购买显存更大的4090。魔改2080TI的22G显存版没试用过，要小心风险。