Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

感谢今年 2 月,谷歌宣布与 Reddit 达成一项新协议,Reddit 数据将用于训练谷歌的 AI 模型,并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称,这笔交易的金额约为 6000 万美元。从那时起,Reddit 在谷歌搜索中的展示次数也大幅增加。而最新消息称,Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为,并指出 Reddit 已更新其 robots.txt 文件(AI在线注:网站与爬虫的协议文件),阻止所有机器人抓取网站的任何内容。AI在线查询 Re

感谢今年 2 月,谷歌宣布与 Reddit 达成一项新协议,Reddit 数据将用于训练谷歌的 AI 模型,并在谷歌搜索结果中着重显示 Reddit 结果。彭博社报道称,这笔交易的金额约为 6000 万美元。从那时起,Reddit 在谷歌搜索中的展示次数也大幅增加。

而最新消息称,Reddit 已禁止其他搜索引擎检索其网站内容。外媒 404 Media 最先报道了此行为,并指出 Reddit 已更新其 robots.txt 文件(AI在线注:网站与爬虫的协议文件),阻止所有机器人抓取网站的任何内容。

AI在线查询 Reddit 网站的 robots.txt 文件获悉,该平台称“Reddit 相信开放的互联网,但不相信滥用公共内容。”其“Disallow”选项设置为“/”,也就是禁止检索网站根目录下的所有文件。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

该文件在今年 6 月首次更新,Reddit 解释说,这一更改是由于“抓取 Reddit 内容的商业实体明显增多并且内容被滥用”。

外媒 9To5Google 则称,Bing、DuckDuckGo、Mojeek 和 Qwant 等搜索引擎都受到了影响,使用“site:reddit.com”搜索内容时,要么不显示最新内容,要么不显示完整的网站结果。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

不过AI在线最新测试,Bing、DuckDuckGo 已重新显示“site:reddit.com”搜索内容

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

Reddit 发言人 Tim Rathschmidt 在给 The Verge 的一份声明中表示:“这与我们最近与谷歌的合作完全无关。我们一直在与多个搜索引擎进行讨论,但无法与所有人达成协议,因为有些人无法或不愿意就他们使用 Reddit 内容(包括他们对 AI 训练的使用)作出可执行的承诺。”

给TA打赏
共{{data.count}}人
人已打赏
应用

精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B

2024-7-25 10:20:00

应用

MAIA 新系统亮相:洞悉 AI 模型内在机制,审查其安全性

2024-7-25 11:12:50

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索