Meta
通义千问在很多跑分测试里排名很靠前。要是用4090的话，能体验Qwen2 7B版本；要是不在意速度，在内存里跑Qwen2 70B版本也不错。2024年4月19日，本地模型要更新了。最先推出的会是Llama3 8B版，接下来就等着13B/33B GPTQ版发布了。
Meta公司于今日发布新闻稿称，将推出下一代大语言模型Llama 3，有80亿和700亿参数这两个版本，且宣称其为最强大的开源大语言模型。2024年3月29日。对于4090来说，最适配的大语言模型是30/33/34B参数且4bit量化的GPTQ模型，13B参数8bit量化的GPTQ模型次之。挑选模型时参数量是关键因素，像llama2的13B参数模型跑分就低于llama1的33B参数模型，而且同一模型的33B 4bit版本大概率比13B 8bit版本更强。开源大模型大多基于llama，通常各模型有跑分，可据此挑选。国外模型中文能力往往较差，不如国内大厂。所以进行英文交流优先选国外模型，中文交流则优先考虑国产模型。我正在使用下面这些，是从跑分、评测和评论里选出来较好的，以后会持续更新，毕竟这几个很快就会过时。
对于最新算法而言，大模型不再必须在显存中运行，内存甚至虚拟内存都可用于运行它，不过速度会慢几个数量级。4090能运行70B原版llama玩玩，但不适合日常使用。
