在8月2日，lmsys官方宣布，DeepMind研发的Gemini 1.5 Pro实验版在Chatbot Arena排名中登顶，超越了GPT 4o和Claude-3.5，夺得了第一的位置。这是Gemini 1.5 Pro在综合表现上的卓越表现，不仅在数学、指令遵循、编码等领域取得前三名的好成绩，而且...

【即时新闻】在8月14日的激烈角逐中，谷歌的Gemini 1.5 Pro模型凭借1297分的成绩在LMSYS的聊天机器人竞技场中夺得了第一。然而，这一优势并未持续太久，OpenAI迅速反击，其最新发布的chatgpt-4o-latest模型以1314分的高分重新夺回了榜首位置。这场技术较量凸显了两大科技巨头在人工智能领域的竞争态势。新模型在编码、指令遵循、硬提示、长提问和多轮对话等多个项目上均表现出色，展现了其在人工智能领域的强大实力。此战不仅展示了模型在复杂任务上的处理能力，也为未来人工智能技术的发展提供了宝贵参考。

谷歌AI Studio产品总监Logan Kilpatrick于8月2日在X平台上宣布推出实验版Gemini 1.5 Pro AI模型，并邀请用户参与测试。这款新模型在LMSYS的聊天机器人竞技场比赛中表现出色，无论是在文本还是多模态领域，Gemini 1.5 Pro的ELO评分为1300分，超越了OpenAI的GPT-4（ELO：1286分）和Anthropic的Claude-3.5 Sonnet（ELO：1271分）。这一成绩标志着Gemini团队制造出的最强大、最智能的模型，暗示着人工智能领域的格局可能即将发生转变。Gemini 1.5 Pro的成功不仅代表了AI技术的进步，也为行业带来了新的竞争态势。

谷歌新模型Gemini 1.5 Pro在lmsys竞技场首次夺冠，击败了GPT-4o，成为双冠王，总榜评分高达1300以上，并在视觉排行榜上领先。Gemini团队对此表示庆祝，称此模型为他们制作过的最强大、最聪明的版本。Reddit用户对Gemini 1.5 Pro给予正面评价，期待其功能不被削减。然而，Gemini 1.5 Pro在编码和特定挑战上表现不佳，受到部分网友批评。此外，谷歌推出了Gemini 2系列中的20亿参数模型Gemma 2（2B），并在竞技场排行榜上超越了所有GPT-3.5模型，甚至超越了Mixtral-8x7b。专家们对竞技场的排名权威性提出了质疑，强调MMLU等其他评估方式的重要性。Gemini 1.5 Pro的胜利引发讨论，关于匿名投票排名的可靠性，以及是否应停止使用此类排行榜。

经过一周激烈的竞争，谷歌新模型Gemini 1.5 Pro(0801)在lmsys竞技场击败了GPT-4o，成为新的冠军。此次胜利不仅是总榜上的第一，也在视觉排行榜上独占鳌头，获得超过1200名匿名投票者的认可。Gemini团队的Simon Tokumine对此表示祝贺，强调这是他们制作的最强大、最...

在最新的AI竞赛中，Gemini视频推理模型在Video-MME基准测试中大幅领先，首次全面评估大模型的视频理解能力。Google首席科学家Jeff Dean连续转发Video-MME消息，肯定了这项由中科大等高校合作推出的全人工标注高质量数据集。Video-MME测试涵盖了不同时长、模态和类型的视频，从11秒至1小时，评估模型在长视频理解上的表现。Gemini 1.5 Pro表现出色，尤其在加字幕的长视频中超越开源模型。然而，所有模型在长视频处理上仍有提升空间，暗示未来研究将聚焦于多模态长上下文理解和高质量长视频数据集的建设。

谷歌在2024 I/O开发者大会上展示了Gemini 1.5 Pro的强大性能，其上下文窗口扩展至200万个tokens，与OpenAI GPT-4在LMSYS Org的Arena Elo基准测试中表现出色。特别是在中文领域，Gemini 1.5 Pro在"hard prompts"类别中接近顶级水平。这个最新进展表明，谷歌的模型在语言生成能力上取得显著进步，挑战了现有技术格局。#谷歌Gemini1.5Pro #I/O2024 #AI竞技场