感谢面壁智能发布开源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO,主打推理能力。官方测试中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 编程真题)与 TheoremQA (IT之家注:美国大学水准的 STEM 题目)测试上超越了 Llama3-70B,在 LeetCode 测试上超越闭源的 GPT-3.5-Turbo。▲ 官方测试结果据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtr
感谢面壁智能发布开源大模型 Eurux-8x22B,包括 Eurux-8x22B-NCA 与 Eurux-8x22B-KTO,主打推理能力。
官方测试中,Eurux-8x22B 在 LeetCode(180 道 LeetCode 编程真题)与 TheoremQA (IT之家注:美国大学水准的 STEM 题目)测试上超越了 Llama3-70B,在 LeetCode 测试上超越闭源的 GPT-3.5-Turbo。
![官方测试结果](https://cdn.sailfox.cc/aiol/2024/0705/i1562/d4565d855caa43a68c49f685f08fcd48.png)
▲ 官方测试结果
据介绍,Eurux-8x22B 模型激活参数 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型对齐而来,在 UltraInteract 对齐数据集上训练而成。
![官方测试数据](https://cdn.sailfox.cc/aiol/2024/0705/i1562/631d0d43bbc04f228c4006f3580ffbe7.png)
▲ 官方测试数据
UltraInteract 是专门设计用于提升大模型推理能力的大规模、高质量的对齐数据集,包含了覆盖数学、代码和逻辑推理问题的 12 个开源数据集的 86K 条指令和 220K 偏好对,共有五十万条左右数据。
![UltraInteract 过程](https://cdn.sailfox.cc/aiol/2024/0705/i1562/3e4fc6f729ad410d90685f746b141dc2.png)
![UltraInteract 示例](https://cdn.sailfox.cc/aiol/2024/0705/i1562/e50ba810646c464eb97c663443931728.png)