5月26日，谷歌推出开源框架LMEval，旨在解决AI模型评测难题。LMEval为大语言模型和多模态模型提供标准化评测工具，统一API、数据格式和基准设置，大幅简化跨模型比较流程。它兼容Google、OpenAI、Anthropic等多个平台接口，支持文本、图像、代码等多领域基准测试，并能识别模型规避策略。此外，LMEval具备增量评估功能，采用多线程引擎优化效率，降低评测成本与时间。谷歌还推出可视化工具LMEvalboard，用雷达图直观展示模型表现差异。测试结果存储于本地SQLite数据库，兼顾隐私与便捷性。