AI在线 AI在线

刷榜

大模型走捷径「刷榜」？数据污染问题值得重视

大模型走捷径「刷榜」？数据污染问题值得重视
我直接看答案。生成式 AI 元年，大家的工作节奏快了一大截。特别是，今年大家都在努力卷大模型：最近国内外科技巨头、创业公司都在轮番推出大模型，发布会一开，个个都是重大突破，每一家都是刷新了重要 Benchmark 榜单，要么排第一，要么第一梯队。在兴奋于技术进展速度之快后，很多人发现似乎也有些不对味：为什么排行榜第一人人有份？这是个什么机制？于是乎，「刷榜」这个问题也开始备受关注。近日，我们关注到朋友圈和知乎社区对大模型「刷榜」这一问题的讨论越来越多。特别是，知乎一篇帖子：如何评价天工大模型技术报告中指出很多大模型
11/9/2023 3:18:00 PM
机器之心
  • 1