标题：ChatGPT 编码能力分析

最新研究揭示了人工智能在代码生成方面的表现。《IEEE 软件工程学报》刊发的研究报告，对 OpenAI 的 ChatGPT 生成的代码进行了全面评估。结果显示，ChatGPT 在功能性代码生成上取得了显著成功，成功率范围从 0.66% 到 89%，具体取决于任务难度和编程语言等因素。

尽管 AI 生成的代码有时能超越人类创作，但也暴露出潜在的安全风险。格拉斯哥大学讲师 Yutian Tang 指出，AI 代码生成虽能提升生产力与自动化开发效率，但需深入了解其优势与限制。

Tang 团队使用 GPT-3.5 测试了五种编程语言（C、C++、Java、JavaScript 和 Python）解决 LeetCode 平台上的 728 个编码问题。整体来看，ChatGPT 表现优异，尤其在解决 2021 年前的问题时，成功率高达 89%、71% 和 40% 不等。

然而，对于 2021 年后的问题，ChatGPT 生成功能正确代码的能力有所下降，特别是在简单、困难级别问题上，成功率分别降至 52% 和 0.66%。Tang 认为，这是由于训练数据集中的问题重复性较高。

值得注意的是，针对相同 LeetCode 问题，ChatGPT 生成的代码通常比 50% 的人类解决方案更高效，内存消耗更低。研究还探讨了 ChatGPT 收到反馈后修复编码错误的能力，尽管在编译错误修复上表现出色，但在纠正自身错误方面仍有不足。

研究发现，AI 生成的代码存在漏洞，如未进行空值测试，但大多数漏洞易于修复。生成的 C 语言代码最为复杂，紧随其后的是 C++ 和 Python，复杂度接近人类编写代码。

Tang 建议，开发者应提供更多信息帮助 ChatGPT 更好地理解问题，或预防潜在漏洞。例如，在处理复杂问题时，开发者应尽可能提供相关知识，并在提示中提醒 ChatGPT 注意可能的漏洞。

综上所述，尽管 ChatGPT 在代码生成领域展现出强大潜力，但仍存在局限性和改进空间，尤其是对于新问题的解决能力。