Zyphra于8月27日发布新AI模型Zamba2-mini，拥有12亿参数，在4bit量化下内存占用仅700MB，成为端侧小语言模型中的佼佼者。这款模型在推理任务中的表现尤为出色，首次令牌时间较前代模型缩短一半，内存占用减少27%，性能超越了包括谷歌Gemma-2B、Huggingface的SmolLM-1.7B、苹果的OpenELM-1.1B和微软的Phi-1.5在内的大模型。Zamba2-mini通过优化架构，结合不同神经网络设计的优势，实现了高质量输出与高效运行的平衡。相较于前代产品，Zamba2-mini在共享注意力层的集成和旋转位置嵌入的引入上实现了性能提升。此模型在预训练时使用了包含三万亿个token的海量数据集，并经过严格过滤和处理，最终在1000亿个高质量tokens上完成退火训练。Zyphra已承诺将其作为Apache 2.0许可下的开源模型提供给公众使用。