获取数据

24 小时抓取百万次,Anthropic AI 公司被指过度抓取网站数据

金融时报(FT)发布博文,指出 AI 公司 Anthropic 虽然声称“要负责任地开发 AI”,但通过 ClaudeBot 机器人过度抓取网站数据,用于训练 Claude 大语言模型。尽管使用网络爬虫抓取数据是人工智能行业普遍做法,但 Anthropic 因其激进程度而受到批评。自由职业者网站 Freelancer 也表示,ClaudeBot 在四小时内访问了 350 万次,被迫对其进行屏蔽。批评者指出,Anthropic 无视网站的 robots.txt 协议,强行获取数据,与其宣称的“负责任的 AI”理念相悖
  • 1