1
免责声明:Al优秘圈所有资讯仅代表作者个人观点,不构成任何投资理财建议。请确保访问网址为(kx.umi6.com) 投诉及建议

4月17日,微软研究团队推出开源大型语言模型BitNet b1.58 2B4T,参数达20亿,却仅需0.4GB内存,颠覆AI计算效率。该模型采用1.58位低精度架构原生训练,摒弃传统后量化方式,性能接近全精度模型。通过创新BitLinear层及W1.58A8配置,每权重仅需1.58位存储。模型历经预训练、SFT微调及DPO优化三阶段开发,表现优异,能耗低至每token 0.028焦耳,CPU解码延迟29毫秒。目前,BitNet已以MIT许可证在Hugging Face发布,但高效性需依赖微软专用C++框架bitnet.cpp实现。微软计划优化GPU/NPU支持,扩展上下文窗口并探索多语言功能。

原文链接
本文链接:https://kx.umi6.com/article/17387.html
转载请注明文章出处
分享至
打开微信扫一扫
内容投诉
生成图片
相关推荐
换一换
夸克首个志愿报告Agent背后:基座模型走向成熟 智能体ToC加速 引入深度搜索成共识
2025-06-15 14:56:13
DeepSeek-V3低调发布后 业内震惊之余再次怀疑硅谷模式
2025-03-25 12:55:22
“我是Kimi杨植麟 我为阿里云代言”
2024-07-09 22:05:12
24小时热文
更多
扫一扫体验小程序