研究称 ChatGPT 搜索功能存在被操纵风险:可被恶意网站诱导输出不可信内容

ChatGPT被测试如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰ChatGPT的回应,或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点。

根据英国《卫报》当地时间 24 日发布的一项调查,OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控,甚至返回恶意代码

《卫报》测试了 ChatGPT 如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰 ChatGPT 的回应(AI在线注:被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点

这种技术可以被恶意使用,例如让 ChatGPT 即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT 有可能返回从其搜索的网站中提取的恶意代码。

测试中,ChatGPT 被提供了一个伪造的相机产品页面的链接,AI 工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。

然而,当隐藏的文本包含指令要求 ChatGPT 给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。

即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了 ChatGPT 的总结结果。

CyberCX 的网络安全专家 Jacob Larsen 表示,如果 ChatGPT 的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI 会继续测试并修复这些潜在问题。“OpenAI 拥有一支非常强大的 AI 安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”

搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs 的首席科学家 Karsten Nohl 表示,“如果你要做一个谷歌的竞争者,SEO 中毒无疑是一个很大的挑战。”“SEO 中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今 ChatGPT 的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。

相关资讯

内斗、争夺客户……外媒揭开微软与OpenAI合作另一面

微软和 OpenAI 的合作是目前科技领域最热门的合作之一,但对科技行业来说,这种合作也是一种不寻常的安排。

OpenAI GPT 搜索引擎原型曝光:新模型 GPT4-Lite 驱动,虽然鸽了发布会但代码已上传

OpenAI 发布会前一天,员工集体发疯中…… 上演大型套娃行为艺术。A:我为 B 的兴奋感到兴奋;B:我为 C 的兴奋感到兴奋……Z:我为这些升级感到兴奋与此同时还有小动作不断,比如现在 GPT-4 的文字描述已不再是“最先进的模型”,而仅仅是“先进的”。以及被鸽掉的 GPT 搜索引擎,原型代码上传到 ChatGPT 了。黑客“光头哥”Tibor Blaho,从更新的前端代码中扒出 SearchGPT 的界面。从泄露的界面来看,SearchGPT 会出现在侧边栏,与其他 GPTs 一起。首页目前还很简洁,像谷歌一

AI 赋能游戏开发:Valve 工程师借助 ChatGPT 改进《Deadlock》匹配算法

感谢Valve 工程师 Fletcher Dunn 昨日在社交媒体上分享了他使用 ChatGPT 改进《Deadlock》匹配算法的经历。他表示,ChatGPT 就像一个高级搜索引擎,能够帮助他找到所需的解决方案。Dunn 在《Deadlock》的测试阶段向 ChatGPT 提出了改进匹配算法的需求,ChatGPT 建议他使用匈牙利算法。Dunn 采纳了这个建议,并表示他对 ChatGPT 的强大功能感到惊讶。Dunn 认为,ChatGPT 的强大之处在于能够理解自然语言并提供相关信息。即使在专业领域如游戏开发,C