中国电信发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T

中国电信人工智能研究院(TeleAI)和智源研究院联合发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T,该模型与百亿级的 52B 版本,千亿级的 102B 版本共同构成 Tele-FLM 系列模型。TeleAI 和智源研究院基于模型生长和损失预测等技术,Tele-FLM 系列模型仅使用了业界普通训练方案 9% 的算力资源,基于 112 台 A800 服务器,用 4 个月完成 3 个模型总计 2.3T tokens 的训练。模型训练全程做到了零调整零重试,算力能效高且模型收敛性和稳定性好,Tele-FLM

中国电信人工智能研究院(TeleAI)和智源研究院联合发布全球首个单体稠密万亿参数语义模型 Tele-FLM-1T,该模型与百亿级的 52B 版本,千亿级的 102B 版本共同构成 Tele-FLM 系列模型。

TeleAI 和智源研究院基于模型生长和损失预测等技术,Tele-FLM 系列模型仅使用了业界普通训练方案 9% 的算力资源,基于 112 台 A800 服务器,用 4 个月完成 3 个模型总计 2.3T tokens 的训练。模型训练全程做到了零调整零重试,算力能效高且模型收敛性和稳定性好,Tele-FLM-1T 版本即将开源

目前,TeleFLM 系列模型已经全面开源了 52B 版本,核心技术 (生长技术、最优超参预测)、训练细节 (loss 曲线、最优超参、数据配比和 Grad Norm 等) 均开源,开源模型下载量过万,积累超 40 万用户。

此外,中国电信在某市民生诉求场景项目上,通过引入 TeleChat-52B 模型能力,整体应用效果提升 40%,达到行业领先水平。

IT之家附 Tele-FLM-52B 版本开源地址:https://huggingface.co/CofeAI/Tele-FLM

Tele-FLM-Chat 试用 (纯模型单轮对话版) 地址:https://modelscope.cn/studios/FLM/ChatFLM

相关资讯

27亿参数的「野生版」GPT-3开源,GitHub项目2.9K Star量

OpenAI 著名的语言模型 GPT-3 可以懂数学、翻译文字,还能写论文拿到及格成绩,这样的 AI 什么时候才能开源呢?现在已有了一个差不多的项目。

首个中文版ChatGPT来了:大模型的中国元“Yuan”

ChatGPT 到底有多火?它已成为史上最快传播的应用,发布两个月后就有了 1 亿用户。实现同样的用户量,TikTok 需要近九个月,而 Instagram 用了两年多。

还在为玩不了ChatGPT苦恼?这十几个开源平替也能体验智能对话

本文将为大家盘点一下 ChatGPT 的开源平替项目。