首个奖励模型评分基准！清华复旦港科大联合攻克AI评委“偏科” 模型胡乱论证“1+1=3”，评测系统却浑然不觉甚至疯狂打Call？是时候给奖励模型打个分了！ 来自清华大学、复旦大学和香港科技大学的研究团队，联合发布基准测试RM-BENCH，对大语言模型的“认知敏锐度”发出挑战。 RM-BENCH首次系...

院士领衔万字综述：全面梳理多模态LLM对齐算法 从应用场景到评估基准，这篇研究系统回顾了多模态大型语言模型（MLLM）对齐算法的关键进展。MLLM旨在处理复杂多模态数据，如图像、视频和音频，但仍面临真实性、安全性及推理能力等挑战。 文章探讨了对齐算法的四大核心问题：应用场景、数据集构建、评估方法...

OpenAI推出SWE-Lancer基准测试，评估AI模型在软件工程中的表现。该基准包含1488个来自Upwork的真实任务，总报酬约100万美元。结果显示，AI模型在管理任务上的表现优于IC SWE任务。Claude 3.5 Sonnet表现最佳，总收入超过40万美元。然而，AI仍无法全面替代人类程序员，尤其在处理复杂需求、创新思维及法律合规方面。AI增强型程序员将是未来趋势，掌握最新AI工具成为核心技能。