微软BitNet b1.58，重新定义隐私与安全的新里程碑？

微软

包括量化那些事之 FP8 与 LLM-FP4、量化那些事之 AWQ以及量化那些事之 QARepVGG，正好可以将这些内容结合起来一起学习。这篇文章的主要作者来自微软和中国科学院大学，但并不是 ZeroQuant 团队的人马。事实上，在去年的 2023 年 9 月，他们还发表过一篇同系列的论文BitNet: Scaling 1-bit Transformers for Large Language Models，两者的区别在于 BitNet 将参数从二值化（-1、1）扩展为三值化（-1、0、1），因此被称为 1.5 比特。其实，1-bit 的概念并不是新鲜事物。早在卷积神经网络（CNN）时代，就已经有不少关于极低比特量化的研究工作。例如，Yoshua Bengio 在 2016 年提出的Quantized Neural Networks: TrAIning Neural Networks with Low Precision Weights and Activations，直接尝试使用 1-bit 权重和激活函数进行训练。此外，旷视科技的 DoReFa-Net 也给我留下了深刻印象。DoReFa 是音调中的 1、2、4 的谐音，分别对应 1-bit 权重、2-bit 激活（或 4-bit）、6-bit 梯度（或 4-bit），旨在通过这种设计减少完全采用 1-bit 带来的性能损失。值得一提的是，这些工作同样发表于 2016 年——也许很多人没有意识到，这一年已经是八年前了。然而，尽管这些早期的研究颇具创新性，但在 CNN 时代，极低比特的量化方法并没有取得预期的成功。无论是算法层面还是硬件芯片的设计，行业最终还是以 int8 为主流解决方案。回到这篇新论文，1-bit LLMs的文章篇幅并不长，单栏正文仅有五页半，而之前的 BitNet 论文则相对更详细一些。除此之外，该研究还提供了官方解读，帮助读者更好地理解其核心思想。计划在 3 月 1 日补充对论文细节的进一步分析和解读。