开源

中国电信开源 TeleChat-12B 星辰语义大模型,年内开源千亿级参数大模型

感谢中国电信已开源 120 亿参数 TeleChat-12B 星辰语义大模型,还表示将于年内开源千亿级参数大模型。相较 1 月开源的 7B 版本,12 版版本在内容、性能和应用等方面整体效果提升 30%,其中多轮推理、安全问题等领域提升超 40%。据介绍,TeleChat-12B 将 7B 版本 1.5T 训练数据提升至 3T,优化数据清洗、标注策略,持续构建专项任务 SFT (监督微调) 数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问

百度李彦宏称开源 AI 模型会越来越落后

感谢百度创始人、董事长兼 CEO 李彦宏今日在 Create 2024 百度 AI 开发者大会上表示,开源模型会越来越落后。李彦宏介绍,因为基础模型文心 4.0 可以根据需要,兼顾效果、响应速度、推理成本等各种考虑,剪裁出适合各种场景的更小尺寸模型,并且支持精调和 post pretrain。这样通过降维剪裁出来的模型,比直接用开源模型调出来的模型,同等尺寸下,效果明显更好;同等效果下,成本明显更低,“所以开源模型会越来越落后”。李彦宏还发布了文心大模型 4.0 的工具版,文心大模型的算法训练效率号称提升到了原来的

360 智脑 7B 参数大模型开源,支持 50 万字长文本输入

感谢360 公司日前在 GitHub 上开源了 360 智脑 7B(70 亿参数模型)。360 智脑大模型采用 3.4 万亿 Tokens 的语料库训练,以中文、英文、代码为主,开放 4K、32K、360K 三种不同文本长度。360 表示,360K(约 50 万字)是当前国产开源模型文本长度最长的。360 表示,他们在 OpenCompass 的主流评测数据集上验证了模型性能,包括 C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、L

10 秒总结 YouTube 视频,原阿里首席 AI 科学家贾扬清打造浏览器插件 Elmo

原阿里首席 AI 科学家贾扬清在 X(推特)上分享了插件 Elmo,该插件能在 10 秒内总结 Google Next 主题演讲,生成一句话概括、摘要、主要观点。该插件由贾扬清去年创办的 AI 公司 Lepton AI 打造。贾扬清表示,Elmo 采用了数据公司 Databricks 推出的开源大模型 DBRX。据悉,DBRX 具有 1320 亿个参数,采用 MoE 架构,在性能上超过了 GPT-3.5 和其他一些开源模型。经过IT之家的测试,时长达 1 小时 22 分的苹果 2023 秋季发布会,Elmo 仅用时

阿里通义千问开源 320 亿参数模型,已实现 7 款大语言模型全开源

感谢4 月 7 日,阿里云通义千问开源 320 亿参数模型 Qwen1.5-32B。IT之家注意到,通义千问此前已开源 5 亿、18 亿、40 亿、70 亿、140 亿和 720 亿参数 6 款大语言模型。此次开源的 320 亿参数模型,将在性能、效率和内存占用之间实现更理想的平衡。例如,相比通义千问 14B 开源模型,32B 在智能体场景下能力更强;相比通义千问 72B 开源模型,32B 的推理成本更低。通义千问团队希望 32B 开源模型能为企业和开发者提供更高性价比的模型选择。目前,通义千问共开源了 7 款大语

通义千问开源320亿参数模型,已实现7款大语言模型全开源

4月7日消息,阿里云通义千问开源320亿参数模型Qwen1.5-32B,可最大限度兼顾性能、效率和内存占用的平衡,为企业和开发者提供更高性价比的模型选择。目前,通义千问共开源了7款大语言模型,在海内外开源社区累计下载量突破300万。通义千问此前已开源5亿、18亿、40亿、70亿、140亿和720亿参数的6款大语言模型并均已升级至1.5版本,其中,几款小尺寸模型可便捷地在端侧部署,720亿参数模型则拥有业界领先的性能,多次登上HuggingFace等模型榜单。此次开源的320亿参数模型,将在性能、效率和内存占用之间实

元象首个MoE大模型开源:4.2B激活参数,效果堪比13B模型

元象发布XVERSE-MoE-A4.2B大模型 , 采用业界最前沿的混合专家模型架构 (Mixture of Experts),激活参数4.2B,效果即可媲美13B模型。该模型全开源,无条件免费商用,让海量中小企业、研究者和开发者可在元象高性能“全家桶”中按需选用,推动低成本部署。GPT3、Llama与XVERSE等主流大模型发展遵循规模理论(Scaling Law), 在模型训练和推理的过程中,单次前向、反向计算时,所有参数都被激活,这被称为稠密激活 (densely activated)。 当 模型规模增大时,

Databricks 推出 1320 亿参数大语言模型 DBRX,号称“现阶段最强开源 AI”

Databricks 近日在推出了一款通用大语言模型 DBRX,号称是“目前最强开源 AI”,据称在各种基准测试中都超越了“市面上所有的开源模型”。IT之家从官方新闻稿中得知,DBRX 是一个基于 Transformer 的大语言模型,采用 MoE(Mixture of Experts)架构,具备 1320 亿个参数,并在 12T Token 的源数据上进行预训练。研究人员对这款模型进行测试,相较于市场上已有的 LLaMA2-70B、Mixtral、Grok-1 等开源模型,DBRX 在语言理解(MMLU)、程式设

周鸿祎自称“开源信徒”:宣布将开源 360 智脑 7B 模型,支持 50 万字长文本输入

感谢360 创始人周鸿祎近日透露即将开源 360 智脑 7B(70 亿参数模型),支持 360k(50 万字)长文本输入。周鸿祎表示,前段时间大模型行业卷文本长度,100 万字“很快将是标配”。“我们打算将这个能力开源,大家没必要重复造轮子,定为 360k 主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。据介绍,360 智脑长文本能力已入驻大模型产品“360AI 浏览器”。周鸿祎还谈到了小模型的优势:其认为小模型速度快、用户体验也好,单机单卡就能跑,具备更高的性价比。目前,360AI 浏览器已向用户免

开源大模型王座再易主,1320亿参数DBRX上线,基础、微调模型都有

「太狂野了」。这是迄今为止最强大的开源大语言模型,超越了 Llama 2、Mistral 和马斯克刚刚开源的 Grok-1。本周三,大数据人工智能公司 Databricks 开源了通用大模型 DBRX,这是一款拥有 1320 亿参数的混合专家模型(MoE)。DBRX 的基础(DBRX Base)和微调(DBRX Instruct)版本已经在 GitHub 和 Hugging Face 上发布,可用于研究和商业用途。人们可以自行在公共、自定义或其他专有数据上运行和调整它们,也可以通过 API 的形式使用。基础版::

号称全球最强开源 AI 模型,DBRX 登场:1320 亿参数,语言理解、编程能力等均超 GPT-3.5

初创公司 Databricks 近日发布公告,推出了开源 AI 模型 DBRX,声称是迄今为止全球最强大的开源大型语言模型,比 Meta 的 Llama 2 更为强大。DBRX 采用 transformer 架构,包含 1320 亿参数,共 16 个专家网络组成,每次推理使用其中的 4 个专家网络,激活 360 亿参数。Databricks 在公司博客文章中介绍,在语言理解、编程、数学和逻辑方面,对比 Meta 公司的 Llama 2-70B、法国 Mistral AI 公司的 Mixtral 以及马斯克旗下 xA

2024全球开发者先锋大会首日顺利召开

3月23日,“2024全球开发者先锋大会”(GDC)在上海徐汇盛大开幕。大会以“模速空间——开发者的模力之源”为主题,促进全球范围内最尖端技术、最热门议题和最先锋人才的深入交流与对话,以上海模速空间创新生态社区为抓手,不断优化生态环境,引导全球顶尖人才向上海汇聚,助推上海成为高科技产业高地。从GAIDC到GDC,今年“开发者”的范畴从AI扩展到整个技术领域,涵盖数字孪生、人工智能、5G、机器人、区块链、VR/AR、边缘计算、仿真等一系列新一代信息技术。通过开发者生态持续运营,让人才引领科技创新,让科技吸引金融助力,

华为云入局人形机器人,与创企乐聚机器人签署合作协议

感谢综合科创板日报、“乐聚机器人”官方公众号消息,3 月 15 日,华为云与人形机器人创业企业乐聚机器人签署合作协议,共同探索“华为盘古大模型 夸父人形机器人”应用场景,这是华为云合作的首个人形机器人企业。双方还将打造通用具身智能解决方案,建设“人形机器人 ”开放生态平台。官方表示,华为云推出的盘古大模型具备强大的语义理解、动态规划、多模态信号理解等能力,将为人形机器人大模型的开发提供智能化决策基础。IT之家查询相关资料发现,乐聚机器人去年 12 月推出了人形机器人“夸父”,号称国内首个可跳跃、可适应多地形行

马斯克 xAI 宣布正在开源 Grok-1 模型,体量 3140 亿参数号称“全球最大”

感谢马斯克旗下 AI 初创企业 xAI 今天发布新闻稿,宣布正在开源 3140 亿参数的混合专家模型 Grok-1,该模型遵循 Apache 2.0 协议开放模型权重和架构,号称是“迄今为止全球参数量最大的开源大语言模型”。截至IT之家发稿,官方已经在 GitHub 中发布了 Grok-1 论文源代码,但还未开源模型主体。就在本月,马斯克宣布起诉 OpenAI 及其 CEO 阿尔特曼,声称 OpenAI 及其 CEO 阿尔特曼违背了公司成立的协议,该协议旨在推动 AI 技术朝着造福人类而非牟利的方向推进。马斯克对

继起诉 OpenAI 并要求对方恢复开源后,马斯克宣布本周 xAI 将开源 Grok

感谢马斯克今日下午通过 X(推特)宣布,自家人工智能公司 xAI 将在本周内开源人工智能助手 Grok。随后,马斯克在回应网友“OpenAI 也应当如此,如果它们要像名字中的‘Open’那样”的帖子时表示,“OpenAI 就是谎言。”就在本月,马斯克宣布起诉 OpenAI 及其 CEO 阿尔特曼,声称 OpenAI 及其 CEO 阿尔特曼违背了公司成立的协议,该协议旨在推动 AI 技术朝着造福人类而非牟利的方向推进。马斯克对 OpenAI 提出了包括违反合同、违反信托义务和不公平商业行为在内的索赔,并要求该公司恢复

世界最大开源 AI 社区 Hugging Face 涉足开源机器人领域,前特斯拉科学家领衔

据外媒 VentureBeat 报道,AI 创企 Hugging Face 设立开源机器人项目,前特斯拉科学家 Remi Cadene 领衔。Remi Cadene 的 X 平台动态显示,这位前特斯拉人形机器人 Optimus 团队成员加入 Hugging Face 并启动了一个开源机器人项目,招募愿在巴黎建造“真正的机器人”的工程师。参考IT之家以往报道,Hugging Face 目前主营业务均为软件形态,包括开源 AI 模型库和 AI 助手 Hugging Chat Assistants。此次组建开源机器人团队

阿联酋技术创新研究院启动“Falcon Foundation”,引领生成式人工智能模型开源运动

基金会将推动知识共享,加速人工智能的民主化,TII承诺3亿美元未来项目资金

讯飞星火V3.5正式发布,基于全国产算力平台“飞星一号”训练

1月30日,科大讯飞举行星火认知大模型V3.5升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪正式发布基于首个全国产算力训练的讯飞星火V3.5。2023年10月24日,科大讯飞携手华为,宣布首个支撑万亿参数大模型训练的万卡国产算力平台“飞星一号”正式启用。启用后的90多天里,讯飞星火基于“飞星一号”,启动了对标GPT-4的更大参数规模的大模型训练,带来了1月30日这场讯飞星火V3.5升级发布。首个基于全国产算力训练的全民开放大模型讯飞星火V3.5在语言理解、文本生成、知识问答、逻辑推理、数学能力、代码能力和多模态能