微软
下面依据你潜在的使用需求展开分析，这里只探讨8b及以下的模型。要是想用中文，支持得最好的无疑是Qwen2 - 7b。并且经我自己测试，Qwen2的各项能力都相当不错，基本上不逊色于国外的大模型。不过，4060ti 16G大概只能运行它的量化版本，也就是压缩版，像Q8或者Q6 - K之类的。如果不介意使用英文，Llama3 - 8b无疑是当下最流行的。另外，前段时间刚更新的
微软的phi3也很好，它的体积更小（仅有约4b），速度更快。同样，16g的4060ti只能运行Llama3的量化版本。Phi3模型小很多，所以你可以运行它的fp16版甚至原始模型。如果除了聊天之外，你还期望大模型能与你系统中的其他工具/应用程序进行交互，那就需要支持工具调用的大模型，例如经过微调的Qwen2，同样也是量化版本。此外，你还需要一个框架软件在本地运行。如果要运行量化版，当前比较流行的有llama.cpp、ollama（在llamacpp的基础上包装了UI等）、lmstudio等。其中ollama和lmstudio的界面（UI）要好很多，而它们的内核都是llama.cpp。要是运行完整版模型，比如phi3，推荐使用vllm，只需用pip install命令就能安装好。
