研究实锤：别让大模型「想」太多，OpenAI o1准确率竟下降36.3%

2024-11-08 11:19:08

未来笔触

发布在

快讯

阅读：681

正文：研究显示，在某些任务中，思维链（CoT）提示反而会降低大模型的准确率。普林斯顿大学和纽约大学的研究团队通过心理学实验发现，CoT 在隐性统计学习、面部识别和含例外模式的数据分类任务中，使多种SOTA模型准确率显著下降。例如，OpenAI o1模型在隐性统计学习任务中准确率下降了36.3%。研究还发现，CoT 在解释逻辑不一致任务中表现不佳，但在空间直觉任务中影响较小。该研究通过六个任务场景，验证了CoT在不同任务中的表现差异，并指出未来需要更多跨学科合作来改进大模型的提示策略。这项研究为未来优化大模型提供了新思路，同时也揭示了人类与模型在推理过程中的相似性和差异性。研究强调，CoT 提示并非在所有任务中都有效，需根据具体任务类型选择合适的提示策略。

原文链接

本文链接：https://kx.umi6.com/article/8455.html

转载请注明文章出处

准确率