ClaudeBot
24 小时抓取百万次，Anthropic AI 公司被指过度抓取网站数据
金融时报（FT）发布博文，指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”，但通过 ClaudeBot 机器人过度抓取网站数据，用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法，但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示，ClaudeBot 在四小时内访问了 350 万次，被迫对其进行屏蔽。批评者指出，Anthropic 无视网站的 robots.txt 协议，强行获取数据，与其宣称的“负责任的 AI”理念相悖
无视网站反 AI 抓取政策，Anthropic 爬虫机器人惹多个网站所有者不满
据 The Verge 当地时间 26 日报道，Anthropic 公司使用的 ClaudeBot 在短短 24 小时之内，就访问了 iFixit 网站近百万次，此举违反了该网站的使用条款。这一显得有些疯狂的举动，引起 iFixit 的 CEO Kyle Wiens 直接在 X（推特）上开怼，AI在线附大意如下：“如果这些请求（指访问）中的任何一个访问了我们的使用条款，那么它会告诉你我们的内容被明确禁止使用。别问我，去问 Claude！”“我知道你渴望获得数据，Claude 也真的很聪明！但是，你真的有必要在 24
- 1