「上周三才上线的 ChatGPT,短短几天它的用户已经突破 100 万大关!」OpenAI 的 CEO Sam Altman 表达。
就连马斯克都忍不住好奇的问了一句:「你们每次谈天的平均成本是多少?」
「每次谈天的平均费用能够只有个位数,我们试着找出更精确的方法以及正在尝试如何优化它。」Sam Altman 回覆道。
由于 ChatGPT 在解决各种课题上的能力过于优秀,很多用户都表达 ChatGPT 可以取代 Google 等搜索引擎和 Stack Overflow 等编程问答社区了。
不过,虽然许多用户对 ChatGPT 的功能印象深刻,但其他人也注意到它一直倾向于生成似是而非的差错谜底。例如,要求 ChatGPT 写一个公众人物的列传,它能够会很自信地插入不精确的列传数据。再比如要求它解释如何为特定功能编写软件程序,它同样可以生成可信但最终不精确的代码。
图源:https://twitter.com/CT_Bergstrom/status/1598212037901160448
ChatGPT 随时都有能够出错情况也促使 Stack Overflow 做出了一些反应。前两天还有人信誓旦旦的表达 ChatGPT 可以取代 Stack Overflow 了,令人没想到的是,今天 Stack Overflow 反手就把 ChatGPT 给封杀了。
这是怎么回事,原来在试用了一段时间后,人们很快发现,虽然 ChatGPT 以接近人类的方式回覆提示,但它给出的谜底能够存在缺陷。OpenAI 也提到这一点,ChatGPT 有时会给出看似合理但不精确或荒谬的谜底。
对于这一课题,Sam Altman 也表达:「我们正在试图阻止 ChatGPT 随机编造,现阶段让其与当前技术保持平衡是很棘手的。随着时间的推移,我们会根据用户反应来改进它,相信 ChatGPT 会变得更好。」
关于 Stack Overflow 为何禁用 ChatGPT,官方表达:「主要课题在于,虽然 ChatGPT 产生的谜底差错率很高,但我们很难看出来它哪里错了。」这会造成课题回覆鱼目混珠的情况。
接下来,Stack Overflow 将制定关于应用此工具和其他类似工具的具体要求。
Stack Overflow 宣布暂时封禁 ChatGPT 是因为它生成的谜底精确率太低,公布由 ChatGPT 创建的谜底对网站和查询精确谜底的用户来说是非常有害的。
虽然 ChatGPT 生成的谜底有很高的差错率,但这些谜底通常看起来不错,而且生成谜底的操作简略容易,许多人同意尝试应用 ChatGPT 创建谜底,但却没有专业知识或不同意在公布之前验证谜底是否精确。
最近几天,由于应用 ChatGPT 生成谜底迅速简略,所以 Stack Overflow 上涌现了大量该模型生成的谜底。这些谜底通常需要具备一些专业知识的人详细阅读才能确定谜底实际上是差错的。这种情况让 Stack Overflow 的质量管理遭到冲击。
对于 Stack Overflow 封禁 ChatGPT,网友们纷纷表达了自己的看法。
有人表达赞成,认为 AI 短时间内根本不能够生成完全精确的谜底:
有人表达课题出在 Stack Overflow 用户在公布谜底之前,没有认真检查和测试 ChatGPT 生成的代码,他们只是用 ChatGPT 快速生成谜底并公布,导致谜底中出现严重差错,甚至编程语言都是错乱的。
有趣的是,Stack Overflow 宣布封禁 ChatGPT 之后,有网友「询问」ChatGPT:「为什么 Stack Overflow 禁止用 AI 生成谜底?」
ChatGPT 的回覆非常诚实:「因为 AI 生成的谜底不总是精确或相关的,能够会导致 Stack Overflow 上混淆差错谜底,误导在寻求关心的用户。」并且还表态:「Stack Overflow 禁止用 AI 生成谜底是合理的。」
然后该网友又追问 ChatGPT:「为什么 Stack Overflow 禁止用 AI 生成谜底?」即使这只是个假设情况,但 ChatGPT 还是对答如流:
在 Stack Overflow 上禁止 AI 生成的谜底有一些潜在的好处。一方面,人工智能能够会为用户的课题提供更精确和详细的谜底。这对于人类大师能够难以回覆的复杂技术课题特别有用。此外,AI 生成谜底可以关心减少人类大师的工作量,使他们能够专注于更重要的任务。
然而,应用 AI 生成谜底也有一些潜在的缺点需要考虑。例如,AI 生成的谜底能够并不总是精确或有关心的,而且人们能够担心用于生成谜底的算法存在偏见。用户能够也对应用 AI 生成谜底有顾虑,更同意从人类大师那里得到谜底。
总的来说,是否禁止 AI 在 Stack Overflow 上生成谜底是一个复杂的决定,需要社区仔细考虑。
综合上面回覆,我们发现 ChatGPT 颇有自知之明,对 Stack Overflow 禁用 AI 生成谜底的课题也阐述得有理有据。这说明从语言模型的角度讲,ChatGPT 已经非常成熟,但生成知识型内容并不是一件简略的事。
类似地,上个月 Meta 的模型 Galactica 上线仅两天后就火速下架,因为该模型生成的知识型内容存在严重差错。现在 ChatGPT 被 Stack Overflow 禁用再度证明构建「知识型模型」是一个巨大的挑战。
ChatGPT 的研究团队此前表达将根据用户反应持续改进模型,但生成差错谜底的现状表明,让语言模型生成精确的知识内容还有很长的路要走。
参考链接:
https://www.zdnet.com/article/stack-overflow-temporarily-bans-answers-from-openais-chatgpt-chatbot/
https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned