研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

作者：故渊

2024-05-25 08:20

生成式 AI 已经成为开发利器，可以辅助开发者快速生成相关代码，让开发者从“敲代码”逐渐过渡到“审代码”，不过最新报告指出 ChatGPT 所回答的编程问题内容错误率高达 52%。来自普渡大学的研究小组于 5 月初出席计算机-人交互大会，并提交了一份报告，检查了 ChatGPT 回答的 517 个 Stack Overflow 问题，发现错误率高达 52%。调查结果显示，人类程序员在 35% 的情况下更喜欢 ChatGPT 的答案，认为其提供的内容更全面，且有清晰的语言风格；更糟糕的是，在 39% 的情况下，人类程

生成式 AI 已经成为开发利器，可以辅助开发者快速生成相关代码，让开发者从“敲代码”逐渐过渡到“审代码”，不过最新报告指出 ChatGPT 所回答的编程问题内容错误率高达 52%。

来自普渡大学的研究小组于 5 月初出席计算机-人交互大会，并提交了一份报告，检查了 ChatGPT 回答的 517 个 Stack Overflow 问题，发现错误率高达 52%。

研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

研究称 ChatGPT 回答的编程问题错误率 52%，但 39% 人类程序员没看出来

调查结果显示，人类程序员在 35% 的情况下更喜欢 ChatGPT 的答案，认为其提供的内容更全面，且有清晰的语言风格；更糟糕的是，在 39% 的情况下，人类程序员并没有发现 ChatGPT 的错误答案。

虽然这只是对 ChatGPT 功能的一个方面进行的研究，但它确实表明，生成式人工智能机器人仍然容易犯很多错误，而人类可能无法发现这些错误。

IT之家附上参考地址：

Is Stack Overflow Obsolete? An Empirical Study of the Characteristics of ChatGPT Answers to Stack Overflow Questions

ChatGPT Answers Programming Questions Incorrectly 52% of the Time: Study

相关标签：

ChatGPT 生成式 Stack Overflow 52%

相关资讯

ChatGPT 5天用户破百万，却突遭Stack Overflow封禁

ChatGPT 5天用户破百万，却突遭Stack Overflow封禁

要问最近 AI 圈哪个模型最火爆，你不得不把 OpenAI 推出的 ChatGPT 排在前面。自从发布以来，这个对话模型可谓是出尽风头，很多人更是对其产生了一百个新玩法，让它写个代码、修改修改 bug、开发个小游戏、解答一下物理知识、去参加一场考试…… 仿佛没有它不会的。

写在Stack Overflow封禁ChatGPT之后，人工智能的危机时刻

写在Stack Overflow封禁ChatGPT之后，人工智能的危机时刻

在人工智能领域，不可思议的事情正在悄然发生，有好有坏。每个人都在谈论 chatGPT (OpenAI)、Dall-E 2 和 Lensa 这样的系统，它们生成的文本和图像看起来既自然又不费力。

对标ChatGPT，Stack Overflow推出了自己的生成式AI工具

对标ChatGPT，Stack Overflow推出了自己的生成式AI工具

该来的还是要来，全球最大的的程序员问答网站 Stack Overflow 在 AI 领域也终于有了动作。

资讯热榜

罗永浩 Jarvis 初创项目“J1 Assistant AI 助理”上线，利用语音与大模型互动 SK 海力士宣布参展 CES 2025，将展示 122TB 企业级固态硬盘等产品阿里云与黑芝麻智能完成大模型车载芯片级适配突破非视距条件依赖！大规模区域、低成本的UWB-LiDAR标定与单次定位框架清华大学推 AutoDroid-V2：AI 离线在线协同，优化移动端自动化 GUI 控制斯坦福AI科研神器开源，一键成文GPT-4o mini加持！科研写作彻底解放双手类 Mac Mini 大小的个人 AI 超算：英伟达 Project Digits 发布，起价 3000 美元啥玩意值8499元？马斯克在线打call，国产AI威震天秒售罄

标签云