ChatGPT如何在2024年彻底改变客户服务

“ChatGPT在2021年前能更好地解决算法问题的一个合理假设是，这些问题在训练数据集中经常出现。” ——格拉斯哥大学汤玉田

总体而言，ChatGPT在不同编程语言中的问题解决能力相当不错，特别是在解决2021年前LeetCode上已有的编程问题时。例如，它能够生成功能性代码，针对简单、中等和困难问题的成功率分别约为89%、71%和40%。

“然而，当涉及到2021年后的算法问题时，ChatGPT生成功能性正确代码的能力受到影响。即使是简单级别的问题，它有时也无法理解问题的含义，”汤玉田指出。

例如，ChatGPT在生成“简单”编程问题的功能性代码方面的能力在2021年后从89%下降到52%。其为“困难”问题生成功能性代码的能力也从40%下降到0.66%。

“ChatGPT在2021年前能更好地解决算法问题的一个合理假设是，这些问题在训练数据集中经常出现，”汤玉田说。

本质上，随着编程的发展，ChatGPT尚未接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到的问题。这可以解释为什么它在解决较旧的编程问题上比新问题更好。

“ChatGPT可能生成错误代码，因为它不理解算法问题的含义。” ——格拉斯哥大学汤玉田

有趣的是，ChatGPT能够生成运行时间和内存开销比至少50%的人类解决方案更小的代码。

研究人员还探讨了ChatGPT在收到LeetCode反馈后修复其自身代码错误的能力。他们随机选择了50个编码场景，这些场景中ChatGPT最初生成了错误代码，因为它没有理解内容或当前的问题。

虽然ChatGPT在修复编译错误方面表现良好，但它通常不擅长纠正自身错误。

“ChatGPT可能生成错误代码，因为它不理解算法问题的含义，因此，简单的错误反馈信息是不够的，”汤玉田解释道。

研究人员还发现，ChatGPT生成的代码确实存在相当多的漏洞，例如缺少空值测试，但其中许多问题容易修复。结果还显示，生成的C语言代码最复杂，其次是C++和Python，这些代码的复杂性与人类编写的代码相似。

汤玉田表示，基于这些结果，使用ChatGPT的开发人员需要提供额外的信息，以帮助ChatGPT更好地理解问题或避免漏洞。

“例如，遇到更复杂的编程问题时，开发人员可以尽可能提供相关知识，并在提示中告诉ChatGPT要注意哪些潜在漏洞，”汤玉田说。

新闻来源：Spectrum.ieee           作者：MICHELLE HAMPSON

编辑：Audrey