港大北航等1bit大模型引热议，IEEE刊物评“解决AI能源需求”！作者亲自解读在此

2024-06-09 16:20:52

梦境编程师

发布在

快讯

阅读：566

香港大学、北航与苏黎世联邦理工学院合作的BiLLM团队近期发布了一项突破性研究成果，他们在IEEE Spectrum上展示了一种名为BiLLM的训练后量化方法，能将大模型参数压缩至1.1bit，实现极致的内存节省。该方法针对LLM参数规模过大带来的挑战，通过1bit和2bit的混合表示，成功在OPT模型和Llama系列上超越现有技术。BiLLM在1.08bit下甚至优于全精度的OPT-66B模型，并能在半小时内完成7B LLM的二值化。研究已获ICML 2024接收，引发行业热议，强调数据质量和训练时间对模型性能的重要性。

原文链接

本文链接：https://kx.umi6.com/article/1063.html

转载请注明文章出处

1bit大模型