香港大学、北航与苏黎世联邦理工学院合作的BiLLM团队近期发布了一项突破性研究成果，他们在IEEE Spectrum上展示了一种名为BiLLM的训练后量化方法，能将大模型参数压缩至1.1bit，实现极致的内存节省。该方法针对LLM参数规模过大带来的挑战，通过1bit和2bit的混合表示，成功在OPT模型和Llama系列上超越现有技术。BiLLM在1.08bit下甚至优于全精度的OPT-66B模型，并能在半小时内完成7B LLM的二值化。研究已获ICML 2024接收，引发行业热议，强调数据质量和训练时间对模型性能的重要性。