AI在线 AI在线

稀疏

面壁智能开源“小钢炮”MiniCPM-S AI 模型，主打高效低能耗

面壁智能开源“小钢炮”MiniCPM-S AI 模型，主打高效低能耗
今天的 2024 世界人工智能大会（WAIC 2024）期间，面壁智能联合创始人、首席科学家刘知远宣布，开源主打高效低能耗的新一代“面壁小钢炮”MiniCPM-S 模型，同时发布助力开发者一键打造大模型 SuperApp 的全栈工具集 MobileCPM。据介绍，面壁 2024 年发布了具备 GPT-3 同等性能但参数仅为 24 亿的 MiniCPM-2.4B，知识密度提高了约 86 倍。面壁方面更称，这“并不是极限”—— 其持续优化 Scaling Law 使模型知识密度不断提升，可不断训练出计算更加高效、表现更
7/5/2024 10:08:20 PM
清源
手机流畅运行 470 亿大模型：上交大发布 LLM 手机推理框架 PowerInfer-2，提速 29 倍

手机流畅运行 470 亿大模型：上交大发布 LLM 手机推理框架 PowerInfer-2，提速 29 倍
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。然而，目前在移动设备上运行的模型相对较小（苹果的是 3B，谷歌的是 2B），并且消耗大量内存，这在很大程度上限制了其应用场景。即使是苹果，目前也需要与 OpenAI 合作，通过将云端 GPT-4o 大模型嵌入到操作系统中来提供能力更强的服务。这样一来，苹果的混合方案引起了非常多关于数据隐私的讨论和争议，甚至马斯克都下场讨论。如果苹果在操作系统层面集成 OpenAI，那么苹果设备将被禁止在我的公司使用。这是不可接受的安全违规行为。既然终端侧本地部署大
6/12/2024 12:06:00 PM
汪淼
手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）

手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）
本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现 top-k 门控和带噪声的 top-k 门控，以及采用 Kaiming He 初始化技术。作者还说明了从 makemore 架构保持不变的元素，比如数据集处理、分词预处理和语言建模任务。最后还提供了一个 GitHub 仓库链接，用于实现模型的整个过程，是一本不可多得的实战教科书。内容简介在混合专家模型 Mixtral 发布后，混合专家模型（MoE）越来越受到人们的关注。在稀疏化的混合专
2/16/2024 4:32:00 PM
机器之心
单卡算力超90000 FPS，墨芯高稀疏率计算卡S30首次亮相GTIC

单卡算力超90000 FPS，墨芯高稀疏率计算卡S30首次亮相GTIC
2022年8月26日，稀疏化计算引领者——墨芯人工智能携高稀疏率计算卡S30、S10和S4参展「GTIC 2022全球AI芯片峰会」（以下简称GTIC），展现稀疏化计算在AI算力和能效比上的领导力，以及推动AI计算向更高算力、更高能效比、更低成本快速发展的最新商业进展。在27日刚结束的上午会议中，墨芯当选“2022中国AI芯片企业50强”。GTIC由人工智能和芯片领域权威媒体智一科技举办，本次于今年26日-27日在深圳湾万丽酒店大宴会厅举行。在此次GTIC的核心展台——5号展台，墨芯人工智能首次向业内全面发布首批高
12/20/2022 3:31:00 PM
墨芯人工智能
墨芯携手浪潮｜稀疏化生态释放积极变革力量

墨芯携手浪潮｜稀疏化生态释放积极变革力量
近日，墨芯人工智能与浪潮信息签订元脑战略合作协议。这是在浪潮战略投资墨芯之后，双方进一步战略合作。 墨芯将携手浪潮信息，以领先的稀疏化计算技术和产品，广阔的生态潜能，融合资源与算法，共创全栈AI解决方案，为各行各业AI应用提供强大算力引擎和生态支撑，为企业降本增效，并加速产业的人工智能化进程。AI计算的新锐势力—稀疏化计算墨芯人工智能是稀疏化计算的全球引领者，提供云端和终端AI加速方案，可广泛应用于互联网、运营商、生物医药等数据中心AI推理场景，并积极致力于稀疏化生态建设。 在AI时代算力需求呈指数级剧增、传统摩尔
10/9/2022 6:07:00 PM
墨芯人工智能
墨芯获评《财富》中国最具社会影响力的创业公司

墨芯获评《财富》中国最具社会影响力的创业公司
近日，墨芯人工智能获评2022《财富》“中国最具社会影响力的创业公司”。这是过去1个月墨芯因稀疏化计算的产业进展获得的第3个奖项。《财富》（Fortune Magazine）于1930年由亨利·卢斯创办，是全球最有影响力的商业杂志之一，财富全球500强排行榜是世界上最具影响的企业排名之一。中国最具社会影响力的创业公司榜单不仅记录创业公司在中国商业世界中的作为与贡献，也是观察和审视当前中国经济与社会发展的窗口之一。财富在描述评选标准时提到，尽管外部环境对创新与创业施加着无法预知的影响，但这些创业公司的商业路径“在解决
10/9/2022 6:03:00 PM
墨芯人工智能
稀疏化 芯力量｜墨芯参展首日S4计算卡性能表现亮眼

稀疏化 芯力量｜墨芯参展首日S4计算卡性能表现亮眼
2022年7月15日，墨芯人工智能参展厦门半导体峰会，首席科学家严恩勖发表演讲，展示墨芯如何用稀疏化推动AI计算前沿和最新的产业进展。16日墨芯获评“最具投资价值奖”。集微峰会被誉为“半导体业风向标”，设特色“芯力量”展区和EDA展区。墨芯位于“芯力量”展区核心位置——76号展台。   墨芯作为稀疏化计算引领者，致力于提供云端和终端AI计算平台和服务，打造软硬协同的新一代智能计算平台。团队携首颗芯片Antoum®和人工智能推理计算卡S4参展。墨芯人工智能S4计算卡基于墨芯首颗芯片Antoum®，是全球首款高达32倍
8/17/2022 6:57:00 PM
墨芯人工智能
AI芯片业的挑战亦是企业智能化转型的降本增效机遇

AI芯片业的挑战亦是企业智能化转型的降本增效机遇
「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技术」与「重塑产业的AI科技」，推出线上分享，共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式，与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点，盘点AI产业的年度研究方向以及重大科技突破，展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。
7/26/2022 3:54:00 PM
机器之心Pro发布
Creator 面对面 | 北大河图在稀疏大模型训练架构上的几点探索

Creator 面对面 | 北大河图在稀疏大模型训练架构上的几点探索
河图是北京大学数据与智能实验室自研的一款分布式深度学习框架，兼顾创新性和可用性，这也是国内首个由高校自主研发的分布式深度学习系统。底层的算子实现到上层的模型设计完全是由河图团队自主实现。
7/13/2022 6:41:00 PM
SOTA模型
墨芯首席科学家严恩勖：用稀疏化解决时代最严峻的算力挑战

墨芯首席科学家严恩勖：用稀疏化解决时代最严峻的算力挑战
人工智能进入黄金时代，正改变各行各业以及我们的日常生活。今日集微网报道，随着人工智能应用的普及，稀疏化进入人工智能行业的主流企业视野。稀疏化计算能帮助人工智能突破硬件算力极限，有望实现十倍、甚至百倍的人工智能应用加速，并大幅降低计算成本。墨芯人工智能从诞生起，即专注于稀疏化计算产品和解决方案，独创双稀疏算法，为客户提供高品质AI计算解决方案，携手共创AI计算未来。为此，墨芯人工智能首席科学家严恩勖针对企业目前的发展历程、研究成果、企业优势、未来发展等，与集微网分享了他的看法和观点。以下为访谈内容：集微网：在AI报告
7/12/2022 1:41:00 PM
墨芯人工智能
一半功耗，六倍算力提升：墨芯联手浪潮开拓稀疏化计算生态

一半功耗，六倍算力提升：墨芯联手浪潮开拓稀疏化计算生态
机器之心发布机器之心编辑部6 月 13 日，墨芯人工智能与浪潮签订元脑战略合作协议。这是在浪潮战略投资墨芯之后，双方的进一步战略合作。墨芯将携手浪潮信息，以领先的稀疏化计算技术和产品，广阔的生态潜能，融合资源与算法，共创全栈 AI 解决方案，为各行各业 AI 应用提供强大算力引擎和生态支撑，为企业降本增效，并加速产业的人工智能化进程。AI 计算的新锐势力——稀疏化计算墨芯人工智能科技创立于 2018 年，总部位于深圳，致力于通过稀疏化算法构建高性能低 TCO（总拥有成本）的 AI 算力，其产品主要是用于云端和终端的
6/13/2022 4:04:00 PM
机器之心
  • 1