24 小时抓取百万次,Anthropic AI 公司被指过度抓取网站数据

金融时报(FT)发布博文,指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”,但通过 ClaudeBot 机器人过度抓取网站数据,用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法,但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示,ClaudeBot 在四小时内访问了 350 万次,被迫对其进行屏蔽。批评者指出,Anthropic 无视网站的 robots.txt 协议,强行获取数据,与其宣称的“负责任的 AI”理念相悖

金融时报(FT)发布博文,指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”,但通过 ClaudeBot 机器人过度抓取网站数据,用于训练 Claude 大语言模型。

尽管使用网络爬虫抓取数据是人工智能行业普遍做法,但 Anthropic 因其激进程度而受到批评。

自由职业者网站 Freelancer 也表示,ClaudeBot 在四小时内访问了 350 万次,被迫对其进行屏蔽。批评者指出,Anthropic 无视网站的 robots.txt 协议,强行获取数据,与其宣称的“负责任的 AI”理念相悖。

24 小时抓取百万次,Anthropic AI 公司被指过度抓取网站数据

维修团队 iFixit 首席执行官 Kyle Wiens 于 7 月 24 日发布推文,AI在线翻译如下:

@AnthropicAI,我知道你渴望获取数据,且 Claude 模型也非常聪明,但真的有必要 24 小时内访问我们的服务器 100 万次吗?

这些流量没有向我们付费,且占用了我们开发资源,这真的不太厚道。

我们的服务条款中已经明确禁止通过这种方式使用我们的内容,但你悄悄 @AnthropicAI 是怎么做的。

如果 @AnthropicAI 想要就我们内容的商业使用许可进行交流,我们愿意沟通。

相关资讯

无视网站反 AI 抓取政策,Anthropic 爬虫机器人惹多个网站所有者不满

据 The Verge 当地时间 26 日报道,Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内,就访问了 iFixit 网站近百万次,此举违反了该网站的使用条款。这一显得有些疯狂的举动,引起 iFixit 的 CEO Kyle Wiens 直接在 X(推特)上开怼,AI在线附大意如下:“如果这些请求(指访问)中的任何一个访问了我们的使用条款,那么它会告诉你我们的内容被明确禁止使用。别问我,去问 Claude!”“我知道你渴望获得数据,Claude 也真的很聪明!但是,你真的有必要在 24

英国 CMA 关注科技巨头和新兴 AI 创企间合作,启动反竞争预审查

英国竞争与市场管理局 CMA 近日表示,其正在关注科技巨头和新兴 AI 创企间的合作,已开始向这些合作是否符合英国合并法规、是否会削弱英国 AI 市场竞争向第三方征求意见。具体来说,CMA 本次的意见征求针对微软和 Mistral AI 的合作、亚马逊和 Anthropic 的合作以及微软同 Inflection AI 的复杂关系:Mistral AI 在三月向微软出售了价值 1640 万美元(当前约 1.19 亿元人民币)的股份,其也成为继 openAI 后第二家在微软 Azure 云服务上提供商用大语言模型的公

Anthropic 修改服务政策:允许第三方将自家 Claude 等 AI 模型用于“未成年人产品”中

Anthropic 上周更新自家服务政策,宣布将从 6 月 6 日开始将开放未成年人使用自家 AI 模型服务,同时在条款中更明确地禁止将相关 AI 用于“侵犯用户隐私”等目的。IT之家注意到,Anthropic 做的第一件事就是将他们的 EULA 措辞从“建议使用政策”(Acceptable Use Policy)改名为“使用政策”(Use Policy),相对强硬地声明了用户的责任。此外,Anthropic 宣布虽然他们禁止 18 岁以下用户使用自家 Claude 系列 AI 模型,但该公司宣称由于他们注意到了