微软近日开源了名为 `bitnet.cpp` 的1比特大语言模型（LLM）推理框架，该框架可在CPU上直接运行，无需GPU即可在本地设备上处理具有1000亿参数的大型AI模型。据称，使用该框架可实现6.17倍速度提升，同时能耗降低高达82.2%。传统大语言模型需依赖庞大GPU基础设施及高能耗，限制了小型企业和个人用户的使用。`bitnet.cpp` 通过降低硬件需求，使更多用户能以较低成本使用AI技术。目前，该框架已支持ARM和x86架构，并计划扩展至NPU、GPU和移动设备。测试显示，ARM CPU上加速比为1.37x至5.07x，x86 CPU上为2.37x至6.17x，能耗减少55.4%至82.2%。`bitnet.cpp` 的推出有望改变LLM的计算方式，减少对硬件的依赖，促进本地LLM的应用，提升用户隐私保护。该框架已在GitHub上发布。此次开源事件发生于10月18日。