12月16日，无问芯穹宣布开源全球首款端侧全模态理解模型Megrez-3B-Omni，该模型能处理图像、音频、文本三种模态数据。在图像理解方面，它在多个主流测试集中表现优异；在文本理解方面，它在多个权威测试集中达到最优精度；在语音理解方面，支持中英语音输入及复杂多轮对话。此外，其单模态版本Megrez-3B-Instruct在推理速度上比同类模型快300%。相关资源已上传至Github、HuggingFace等平台。

全球首个端侧全模态理解开源模型来了！这个模型名为Megrez-3B-Omni，具有多项优势。它能轻松处理图片、音频、文本三种模态数据，且体积轻巧，速度飞快。 在图像理解方面，Megrez-3B-Omni作为3B模型，其综合性能表现超过34B的大模型。它在多个主流测试集上精度最高，能够准确理解和分析图...