英伟达
关键问题在于成本。对于企业而言，这涉及盈利能力；而对于消费者，则是花费资金购买算力是否划算。其实，并没有必要将讨论范围局限在6-7B规模的模型上。目前，经过4位量化处理后的13B、14B模型已经展现出令人惊艳的性能。就个人部署经验来看，国产的千问13B表现出色。而基于Mistral 7B的优秀表现推测，Mistral 13B很可能已经达到甚至超越了GPT-3.5的水平。经过Int4量化的13B模型，仅需大约13GB显存即可运行，这意味着当前市面上的RTX 4060 Ti 16GB显卡完全可以满足需求。有传言称，GPT-3.5-turbo实际上是一个20B参数规模的模型。因此，作为消费者，如果需要一张用于本地大模型计算的显卡，理想配置应至少具备24GB显存，能够支持13-20B规模模型的运行，同时推理速度达到或超过20 token/s。
英伟达正在开发针对大模型推理的加速框架，或许未来像3060 Ti这样中端显卡也能满足上述要求。假设这类显卡售价约为3000元人民币，对非游戏玩家的普通消费者来说，核心问题是：花3000元买一张显卡是否值得？粗略估算，显卡两年内可能贬值约50%，即每年折旧约750元。以文心一言4.0为例，其性能与GPT-3.5-turbo相当，而文心会员订阅费用为50元/月，全年总计600元。考虑到独享本地算力和数据隐私的优势，在当前国内大模型智能水平下，本地部署显然更具性价比。但如果选择按量计费的服务？例如百川大模型每千token收费仅0.02元（这一价格还有很大下降空间），那么750元可以处理约3700万token。按照ShareGPT平台统计的平均对话长度337 token计算，相当于每天完成约150次问答互动，这已远超普通用户日常需求。并且这种方案还允许使用更大、效果更好的模型。因此，对于普通用户而言，采用按token计费的产品显然比自行购置显卡更经济实惠。然而，对于注重数据隐私的企业来说，本地部署大模型依然具有很高的性价比。那么，显卡厂商能否从中获利？如果传统游戏显卡能够盈利，那么专门面向大模型计算的消费级显卡同样可以实现盈利。而且，消费级大模型计算卡的需求量可能会高于游戏显卡，因为它的应用场景更加广泛。还有一个重要角色不容忽视——机器人。为机器人配备大模型计算卡，可以显著缩短首次响应时间，从而实现接近
人类的自然对话能力、更强大的任务规划能力和多模态语义理解能力。可以说，有无大模型加持的机器人完全是两个层次的存在。这里的机器人概念可以广义理解，包括但不限于智能
汽车等设备。因此，这一领域的想象空间非常广阔。
