为什么AI多轮对话总是那么傻？ AI多轮对话是当前最复杂的挑战之一，因为大多数互联网产品设计都是一问一答模式，用户也习惯于新开窗口避免信息干扰。但模型在多轮对话中容易遗忘上下文，比如GPT-4在7轮医疗问诊中遗忘率达37%，12轮后更是高达68%。此外，代词容易被错误关联，导致对话混乱。人们聊天时话题频繁切换，而模型难以跟上节奏。 要提升多轮对话体验，必须进行SOP（标准操作流程）设计，明确AI的目标和任务。例如，当有粉丝提问“如何开启AI副业，月入10万？”时，AI需要有清晰的观点并展开论证，而不是泛泛而谈。通过设定目标、构建证据链、嵌入自我对抗辩论等方式，可以增强对话的逻辑性和说服力。 最终，AI多轮对话的关键在于：明确目标、设计方法论、形成SOP，并通过持续优化提示词来提升效果。

正文：Meta近日发布了Multi-IF基准，涵盖8种语言、4501个三轮对话任务，旨在评估大语言模型（LLMs）在多轮对话和多语言环境下的指令遵循能力。实验结果显示，多数模型在多轮对话中准确率显著下降，最佳模型o1-preview在三轮对话中的准确率从87.7%降至70.7%。此外，非拉丁文字语言如中文、俄语和印地语的准确率明显低于英语。该基准通过多轮扩展和多语言适配，揭示了当前LLMs在处理复杂多轮和多语言指令任务时面临的挑战，为未来模型改进提供了重要参考。论文链接为，数据集下载链接为。

摘要： 谷歌于10月1日在X平台上宣布，其Gemini应用已面向所有安卓用户推出安卓版Gemini Live，旨在通过AI技术开启全民语音聊天新时代。此服务在Pixel 9系列手机发布时首次亮相，提供流畅的移动对话体验，与OpenAI ChatGPT的Advanced Voice模式相抗衡。Gemini Live采用增强型语音引擎，能进行更连贯、情感丰富的多轮对话。目前，仅支持美国英语版本，用户可选择不同的口音，如英国的“Capella”。测试反馈显示，Gemini Live在持续对话能力上优于其他文本助手。这一创新标志着人工智能在语音交互领域的新突破，正引领全民进入语音聊天时代。

新型开源数据集MMDU（Multi-Turn Multi-Image Dialog Understanding）近日发布，让AI聊天更接近现实。这个数据集支持多轮对话（最多27轮）和同时输入20张图像，评估模型在处理长上下文和复杂交互场景中的能力。MMDU通过18k文本+图像tokens，提供了开放式评估，挑战现有LVLMs在多图多轮对话中的表现。研究团队已将其成果置于HuggingFace 6月18日Daily Papers榜首，引发全球关注。通过与GPT-4o结合，MMDU有望缩小开源与闭源模型的差距，并提升LVLMs在长文本理解和图文对话任务中的性能。