微软发布BitNet v2框架，实现1 bit LLM的原生4 bit激活值量化，以充分利用新一代GPU（如GB200）的4 bit计算能力，减少内存带宽并提升计算效率。此前，微软的BitNet b1.58将权重量化至1.58-bit，但激活值仍为8-bit，无法充分发挥硬件潜力。此次研究针对注意力层和前馈网络层的输入激活值分布接近高斯分布的特点，引入H-BitLinear模块，在激活量化前应用Hadamard变换，重塑中间状态分布，显著减少异常值，使4 bit量化成为可能。

BitNet v2的H-BitLinear模块应用于注意力层的Wo权重矩阵及前馈网络层的Wdown权重矩阵，这两个位置是激活值异常值最集中的地方。通过Hadamard变换，中间状态分布更接近高斯分布，从而大幅减少异常值数量。实验显示，BitNet v2在8 bit激活下优于BitNet b1.58，7B规模模型的平均准确率提升0.61%；降至4 bit激活时，困惑度与BitNet a4.8相当，下游任务表现更优。此外，BitNet v2可从8 bit激活版本微调而来，性能损失可忽略不计。消融实验表明，Hadamard变换对低bit激活至关重要，无旋转变换会导致模型发散。相关研究细节可查阅论文链接：https://arxiv.org/pdf/2504.18415。