无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。

这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:

“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”

“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24 小时内访问我们的服务器 100 万次吗?你不仅在不付费的情况下获取我们的内容,还占用了我们的 devops 资源,一点都不酷!”

“如果你想要跟我们谈谈内容许可和商业用途的话,我们就在这呢。”

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

iFixit 的使用条款政策声明,“未经公司事先明确的书面许可,严格禁止复制、复制或分发”网站上的任何内容,特别包括“用于训练机器学习或 AI 模型”。

Wiens 此后表示,iFixit 已经在其 robots.txt 文件中添加了“爬行延迟”扩展。

然而,iFixit 并非唯一的受害者。Read the Docs 联合创始人 Eric Holscher 和 Freelancer.com CEO Matt Barrie 在 Wiens 的帖子中表示,他们的网站也曾被 Anthropic 的爬虫频繁抓取。

这些行为并非 ClaudeBot 的“初犯”。早在今年 4 月,Linux Mint 网站论坛就将一次网站故障归因于 ClaudeBot 的抓取活动造成的压力。

给TA打赏
共{{data.count}}人
人已打赏
应用

蔚来发布“中国首个”智能驾驶世界模型 NWM:0.1 秒内推演出 216 种可能发生的场景

2024-7-27 16:33:32

应用

贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

2024-7-27 23:08:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索