为何说6 - 7B大语言模型最有意义?

1个回答

写回答

18810892158

2025-10-27 18:05

+ 关注

微软
微软

个人觉得30B以上无意义,6 - 7B才最具意义。30B以上的硬件要求,普通用户大多难以承受,而6 - 7B是大多数消费者能接受的。7B的大语言模型量化到4bit时,推理只要6GB显存和6GB内存,2060显卡就能很好运行。下面给出一张Llama社区8bit和4bit量化后模型的硬件需求:

通常,显存12G以下,甚至8G显存的显卡消费者都愿意购买。消费者愿意使用,这就表明7B和13B(尤其是7B)的本地大语言模型受众广泛。受众广泛意味着会有庞大社区群体,从而能孕育出优秀的7B本地化开源社区。优质开源社区总能孕育出最好的产品。社区大佬们总能玩出花来,永远值得相信。个人觉得,近两年7B大语言模型本地化是最有意义的。除非老黄把中高端显卡价格一降再降,可这一点我怎么也不敢相信。顺带,很多人大概会认为7B与30B以上模型性能差距非常大。但实际上,参数并非就是全部。今年6月,微软在textbooks are all you need一文中阐述了数据至上的观点,用高质量数据库训练出的2.7B模型,能够比得上甚至超过13B的Llama2。

要是有个不错的数据库,7B模型性能应该不会太差,只是有点担心4bit量化会不会太影响性能。感觉可以期待一下。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号