零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

ChatGPT:我不是不会,就是不想干活。现阶段,ChatGPT 已经成为很多人的得力助手,写文档、编代码、生成图片…… 但看似无所不能的 ChatGPT,也有其勤快的一面。不知大家是否还记得去年年底 GPT-4 开始变「懒」的事实,比如对于用户提出的要求,ChatGPT 的响应会变得非常缓慢且敷衍,甚至还会单方面中断对话;又比如用户要求 ChatGPT 编辑一段代码,它会建议用户自己去写。当时,OpenAI 给出的解释是模型行为是不可预测的,他们也在研究如何修复。一种看似无解的成绩,现在另一种解释似乎正在被广大网

ChatGPT:我不是不会,就是不想干活。

现阶段,ChatGPT 已经成为很多人的得力助手,写文档、编代码、生成图片…… 但看似无所不能的 ChatGPT,也有其勤快的一面。

不知大家是否还记得去年年底 GPT-4 开始变「懒」的事实,比如对于用户提出的要求,ChatGPT 的响应会变得非常缓慢且敷衍,甚至还会单方面中断对话;又比如用户要求 ChatGPT 编辑一段代码,它会建议用户自己去写。

当时,OpenAI 给出的解释是模型行为是不可预测的,他们也在研究如何修复。

一种看似无解的成绩,现在另一种解释似乎正在被广大网友接受。

最近,X 上一则推文爆火,该推文(来自 Dylan Patel)意味「ChatGPT 零碎 prompt 中有 1700 个 token?如果你想知道为什么 ChatGPT 与 6 个月前的机能相比会变得如此糟糕,那是因为零碎 prompt。看看(prompt 中)这么多垃圾。『变懒』确实有 prompt 的原因。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

                                  图源:https://twitter.com/dylan522p/status/1755086111397863777

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

零碎 prompt 地址:https://pastebin.com/vnxJ7kQk

随后 Dylan Patel 意味,如果读者不相信的话,可以自己试试:

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

这条消息迅速在各大 AI 社区传播开来,讨论量居高不下:

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

有网友意味:「几个月前在 ChatGPT 机能下降时,我就建议过:非常长且写得不好的零碎 prompt 更改和增加导致了大多数成绩。这些 prompt 中内置了服务退化(比如无论如何只渲染一张图像),并且还有许多模糊的指令,即使是人类也很难始终如一地遵循,比如它产生的任何内容都不应该冒犯任何人。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

「根据我的测试,零碎 prompt 越长,分配给用户精确任务的资源就越少。」另一位网友说道。

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

还有人意味:「没有证据表明较长的零碎 prompt 会影响输入质量,我不知道为什么每个人都认为他们比 OpenAI 更了解自己。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

从公开的角度讲,有网友意味反对秘密注入 prompt,因为「这种行为对人类视角的多样性缺乏同理心。这些东西太重要了,不能以东西所有者在不披露的情况下预先调整结果的方式使用。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

有人反驳道:「如果你想访问底层模型,可以使用 OpenAI 的 API。我不明白这有什么成绩。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

还有网友意味:「至少 OpenAI 注入的 prompt 似乎有效,我不介意那些让输入不那么刻板的 prompt—— 如果它们有效的话。」并举例说明谷歌的 Bard(Gemini Pro 版本)存在相关成绩。

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

有人从商用 GPT 的角度指出:「这难道不是人工智能企业塑造其 GPT 的基本方式吗?如果不给 GPT 一些恰当的指令,能否保证负责任地运行 GPT 模型?保密对于商业公司来说不是很合理吗?他们如何调整其 LLM 是有价值的知识产权。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

最后,还有网友继续抱怨「昨天我在编辑 Python 代码中遇到了这个成绩,它完成了代码的 90%,然后说最后一段逻辑太复杂了,但告诉我如何去做…… 之后我开始了一个新的聊天,给了它自己写的 Python 代码,并说这个代码不完备 —— 你可以将它所需的行增加完备吗…… 然后 ChatGPT 就毫无成绩地增加了代码。从这可以看出,ChatGPT 绝对是勤快的。」

零碎Prompt长达1700个token,ChatGPT变「懒」的原因找到了?

看来,ChatGPT 的勤快成绩还需要时间解决。

参考链接:

https://news.ycombinator.com/item?id=39289350

ChatGPT system prompt is 1700 tokens?!?!? If you were wondering why ChatGPT is so bad versus 6 months ago, its because of the system prompt.
byu/n3cr0ph4g1st inOpenAI

给TA打赏
共{{data.count}}人
人已打赏
应用

开源大模型正在重塑企业AI利用,16个案例看看它们如何落地

2024-2-8 16:48:00

应用

斯坦福最强家务机器人ALOHA 2来了,成本不到20万,联手googleDeepMind,完全开源

2024-2-8 17:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索