如何使用AutoAWQ对大模型进行量化操作？

先准备好你的大模型权重文件再根据AutoAWQ的教程写个量化脚本配置好量化精度之类的参数跑起来等着量化完成就行啦