360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

感谢360 公司日前在 GitHub 上开源了 360 智脑 7B(70 亿参数模型)。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练,以华文、英文、代码为主,开放 4K、32K、360K 三种不同文本长度。360 表示,360K(约 50 万字)是当前国产开源模型文本长度最长的。360 表示,他们在 OpenCompass 的主流评测数据集上验证了模型性能,包括 C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、L

感谢360 公司日前在 GitHub 上开源了 360 智脑 7B(70 亿参数模型)。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练,以华文、英文、代码为主,开放 4K、32K、360K 三种不同文本长度。360 表示,360K(约 50 万字)是当前国产开源模型文本长度最长的。

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

360 表示,他们在 OpenCompass 的主流评测数据集上验证了模型性能,包括 C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA,考察的本领包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。其中 360 模型在四个评测数据集上达到第一,平均分为第三。

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

在 LongBench(多任务、中英双语、针对大语言模型长文本理解本领的评测基准)尝试中,360 选择其中与华文长文本应用最密切相关的华文单文档问答、多文档问答、摘要、Few-shot 等任务进行评测,360Zhinao-7B-Chat-32K 模型取得了平均分第一的成绩。

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

在英文海底捞针尝试(NeedleInAHaystack,是将症结信息插入一段长文本的不同位置,再对该症结信息提问,从而尝试大模型的长文本本领的一种方法)中,360Zhinao-7B-Chat-360K 达到 98% 以上的准确率。360 仿照 SuperCLUE-200K 测评基准构造了华文海底捞针尝试,同样做到了 98% 以上的准确率。

除模型权重外,该模型的微调训练代码,推理代码等全套工具集也被一并开源,大模型相关开发者可做到“开箱即用”。

据IT之家此前报道,周鸿祎曾表示,前段时间大模型行业卷文本长度,100 万字“很快将是标配”。“我们打算将这个本领开源,大家没必要重复造轮子,定为 360K 主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。

给TA打赏
共{{data.count}}人
人已打赏
AI

华为哈勃首次投资国内 AI 大模型公司:面壁智能完成数亿元融资,知乎 CTO 李大海担任 CEO

2024-4-12 16:30:46

AI

OpenAI 举办推介会,阿尔特曼愿意不用 API 收集的数据训练未来 ChatGPT 版本

2024-4-13 9:16:54

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索