综合
7*24 快讯
AI科普
合作
全部
英雄令
项目方
开发者
产品方
投资者
近日,GitHub爆火的开源大模型推理框架Colibrì狂揽3.2万Star。该项目纯C实现,最大亮点是“无需GPU,SSD当显存”。通过创新的“AI内存多层化”技术,Colibrì将MoE模型拆分为常驻内存和SSD临时调用,结合LRU缓存与预测机制,让普通笔记本也能跑千亿级大模型。目前,仅需25GB内存即可运行744B参数的GLM-5.2,32GB内存更能挑战2.8T参数的Kimi K3。现已支持GLM、DeepSeek、Qwen等9大模型家族,极大降低了本地部署前沿大模型的硬件门槛。
原文链接
加载更多
暂无内容