近日，微软研究院发布研究显示，目前最先进的AI编程助手在调试软件漏洞方面的表现令人失望。研究测试了包括Claude 3.7 Sonnet和o3-mini在内的多款AI模型，它们在SWE-bench Lite基准测试中的成功率普遍低于50%，其中Claude 3.7 Sonnet的成功率最高，仅为48.4%。研究人员指出，数据稀缺是主要原因，特别是缺乏人类调试过程的详细数据。尽管AI编程助手已在谷歌和Meta等公司广泛应用，但其在理解工具使用及逻辑推理上的不足仍需改进。该研究提醒开发者谨慎依赖AI完成复杂编程任务。此前，微软联合创始人比尔·盖茨等人也质疑AI完全取代编程工作的可能性。研究发表于近期，揭示了AI辅助编程技术面临的持续挑战。