OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务

科技媒体 The Decoder 昨日(9 月 19 日)发布博文,报道称在聊天机器人竞技场(Chatbot Arena)上,OpenAI 的新人工智能模型 o1-preview 和 o1-mini 问鼎榜首。聊天机器人竞技场简介聊天机器人竞技场是一个比较人工智能模型的平台,它利用 6000 多个社区评分对新的 OpenAI 系统进行了评估。结果结果显示,o1-preview 和 o1-mini 尤其在数学任务、复杂提示和编程方面表现出色。Lmsys 提供的数学模型优势图表清楚地显示,o1-preview 和 o1

科技媒体 The Decoder 昨日(9 月 19 日)发布博文,报道称在聊天机器人竞技场(Chatbot Arena)上,OpenAI 的新人工智能模型 o1-preview 和 o1-mini 问鼎榜首。

聊天机器人竞技场简介

聊天机器人竞技场是一个比较人工智能模型的平台,它利用 6000 多个社区评分对新的 OpenAI 系统进行了评估。

结果

结果显示,o1-preview 和 o1-mini 尤其在数学任务、复杂提示和编程方面表现出色。

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务

Lmsys 提供的数学模型优势图表清楚地显示,o1-preview 和 o1-mini 的得分超过 1360 分,远高于其他模型的表现。AI在线附上相关截图如下:

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务

O1 的目标是为人工智能推理设定一个通用新标准,即在回答前“思考”" 更长时间。

然而,O1 模型并非在所有方面都优于 GPT-4o。许多任务并不需要复杂的逻辑推理,有时 GPT-4o 的反应更快。

注意事项

o1-preview 和 o1-mini 的票数远低于 GPT-4o 或 Anthropic's Claude 3.5 等成熟模型,每个模型都只有不到 3000 条评论,这样小的样本量可能无法准确代表实际结果,限制结果的意义。

相关资讯

4o-mini只有8B,o1也才300B!微软论文意外曝光GPT核心机密

微软又把OpenAI的机密泄露了? ? 在论文中明晃晃写着:o1-preview约300B参数,GPT-4o约200B,GPT-4o-mini约8B……英伟达2024年初发布B200时,就摊牌了GPT-4是1.8T MoE也就是1800B,这里微软的数字更精确,为1.76T。

OpenAI o1 全方位 SOTA 登顶 lmsys 排行榜:数学能力碾压 Claude 和谷歌 Gemini 模型,o1-mini 并列第一

o1 模型发布 1 周,lmsys 的 6k 投票就将 o1-preview 送上了排行榜榜首。同时,为了满足大家对模型「IOI 金牌水平」的好奇心,OpenAI 放出了 o1 测评时提交的所有代码。万众瞩目的最新模型 OpenAI o1,终于迎来了 lmsys 竞技场的测评结果。不出意外,o1-preview 在各种领域绝对登顶,超过了最新版的 GPT-4o,在数学、困难提示和编码领域表现出色;而 o1-mini 虽然名字中自带「mini」,但也和最新版的 GPT-4o 并列综合排名第二,困难提示、编码、数学

o1 规划能力首测:已超越语言模型范畴,preview 终于赢 mini 一回

o1-preview 终于赢过了 mini 一次!亚利桑那州立大学的最新研究表明,o1-preview 在规划任务上,表现显著优于 o1-mini。相比于传统模型的优势更是碾压级别,在超难任务上的准确率比 Llama3.1-405B 高了 11 倍。要知道之前,OpenAI 自己人也发了一张图,显示 preview 论性能比不过满血版,论经济性又不如 mini,处于一个十分尴尬的地位。作者在推文中表示,尽管存在可保证性和成本问题,但仅针对 CoT 而言,o1 已经超越了大模型的“近似检索”性质,提升到了“近似推理”