txt - AI在线

「AI 数据荒」雪上加霜，MIT 发现网页数据的公开共享正走向衰落

人工智能系统依靠充足、高质量的训练数据来获得高性能，但 MIT 等机构最近的一项研究发现，曾经免费提供的数据在多个方面变得越来越难获取。随着 GenAI 产品开发和研究变得越来越广泛，训练数据的抓取许可也越来越成为受关注的话题。最近，吴恩达在网站 The Batch 上提及了一篇有关数据许可的研究，其结果似乎让本就迫近的「AI 数据荒」雪上加霜。研究人员发现，C4、RefineWeb、Dolma 等开源数据集所爬取的各种网站正在快速在收紧他们的许可协议，曾经触手可及的开放数据越来越难以获取。这不仅会影响商用 AI