LeetCode
280页PDF,全方位评估OpenAI o1,Leetcode刷题准确率竟这么高
OpenAI 的 o1-preview 模型已经发布两周了,网上也有了很多零星的测评。不过,大部分测评都侧重于某一个方面,对于 o1-preview 的系统评估目前还比较匮乏。在一篇长达 280 页的论文中,来自加拿大阿尔伯塔大学等机构的研究者报告了他们对 o1-preview 的系统评估结果,非常具有参考价值。论文标题:Evaluation of OpenAI o1: Opportunities and Challenges of AGI论文链接:,这项综合研究评估了 o1-preview 在各种复杂推理任务中的
面壁智能发布 Eurux-8x22B 开源大模型:代码性能超越 Llama3-70B
感谢面壁智能发布开源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO,主打推理能力。官方测试中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 编程真题)与 TheoremQA (IT之家注:美国大学水准的 STEM 题目)测试上超越了 Llama3-70B,在 LeetCode 测试上超越闭源的 GPT-3.5-Turbo。▲ 官方测试结果据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtr
- 1