AI在线 AI在线

Scale AI

AI无法攻克的235道谜题！让o1、Gemini 2.0 Flash Thinking集体挂零

AI无法攻克的235道谜题！让o1、Gemini 2.0 Flash Thinking集体挂零
Scale AI 等提出的新基准再次暴露了大语言模型的弱点。 又又又一个超高难度的推理基准测试向 AI 发出了挑战！ 大语言模型的进展伴随着评估基准的不断进步，各种难度、覆盖不同学科的评估基准被用来测试这些模型的各项能力。
2/17/2025 1:28:00 PM
机器之心
英伟达梦想，富士康模式：Alexander Wang如何用24万数字游民打造数据标注王国

英伟达梦想，富士康模式：Alexander Wang如何用24万数字游民打造数据标注王国
这位世界上最年轻的白手起家的亿万富翁，曾在首次登上福布斯排行榜后迅速跌落，但几年后就重新夺回了这一头衔。 给 Alexander Wang 带来这个极具传奇性的名号的，是他的数据工厂—— Scale AI。 最近，Scale AI 实现了将近 10 亿美元的年化收入，同比增长了足足 4 倍。
10/10/2024 10:25:00 AM
刘洁
Scaling Law瓶颈，Cursor编程为什么这么强？团队参与新研究掏出秘密武器

Scaling Law瓶颈，Cursor编程为什么这么强？团队参与新研究掏出秘密武器
近段时间，AI 编程工具 Cursor 的风头可说是一时无两，其表现卓越、性能强大。近日，Cursor 一位重要研究者参与的一篇相关论文发布了，其中提出了一种方法，可通过搜索自然语言的规划来提升 Claude 3.5 Sonnet 等 LLM 的代码生成能力。具体来说，他们提出的方法名为 PlanSearch（规划搜索）。主导团队是 Scale AI，本文一作为 Scale AI 研究者 Evan Wang。二作 Federico Cassano 现已加入如今炙手可热的 AI 编程工具公司 Cursor。他曾参与创
9/11/2024 2:46:00 PM
机器之心
终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名

终于有人调查了小模型过拟合：三分之二都有数据污染，微软Phi-3、Mixtral 8x22B被点名
当前最火的大模型，竟然三分之二都存在过拟合问题？刚刚出炉的一项研究，让领域内的许多研究者有点意外。提高大型语言模型的推理能力是当前研究的最重要方向之一，而在这类任务中，近期发布的很多小模型看起来表现不错，比如微软 Phi-3、Mistral 8x22B 等等。但随后，研究者们指出当前大模型研究领域存在一个关键问题：很多研究未能正确地对现有 LLM 的能力进行基准测试。这是因为目前的大多数研究都采用 GSM8k、MATH、MBPP、HumanEval、SWEBench 等测试集作为基准。由于模型是基于从互联网抓取的大
5/4/2024 11:05:00 AM
机器之心
  • 1