端侧 - AI在线

面壁智能获新一轮数亿元融资，高效端侧智能持续引领行业发展

近日，面壁智能完成新一轮数亿元融资，本轮融资由龙芯创投、鼎晖百孚、中关村科学城基金和赛富基金联合领投，北京市人工智能产业投资基金与清科创投跟投，万甲资本担任本轮独家财务顾问。本轮融资完成后，面壁智能将进一步提速以端侧AI为代表的高效大模型商业化布局，以同等参数、更高性能、更低能耗、更快速度的高效大模型深度服务行业，为用户创造具体可感知的价值。面壁智能是以「高效为第一性原理」的大模型公司。

科大讯飞首次发布汽车端侧 1.3B 星火大模型，四季度上车奇瑞、广汽、长城

在今日上午的 2024 科大讯飞全球 1024 开发者节上，科大讯飞公布了汽车 AI 交互的最新进展。星火大模型号称为车载行业第一，目前已在星纪元、魏牌、广汽埃安、长安启源、大众 ID.、江淮、长城、一汽等品牌车型中搭载，活跃用户日均交互 18 次。此外，讯飞汽车智能体平台已对接多家生态信源伙伴，包括高德地图 AI 向导、爱奇艺影视达人、支付宝咖啡伙伴、QQ 音乐音乐达人等。

荣耀 MagicOS 9.0 升级支持 30 亿参数端侧大语言模型：功耗下降 80%，内存占用减少 1.6GB

感谢荣耀今日正式发布 MagicOS 9.0，号称是“行业首个搭载智能体的个人化全场景 AI 操作系统”。在 MagicOS 9.0 中，MagicOS 全新魔法大模型家族迎来升级，支持端云资源灵活调配，不同设备灵活部署，AI在线附各版本如下：500 万参数图像大模型，端侧部署，全系列支持4000 万参数图像大模型，端侧部署，中高端系列30 亿参数大语言模型，端侧部署，中高端系列10 亿参数多模态大模型，端侧部署，中高端系列1500 万参数语音大模型，端侧部署，全系列支持荣耀表示，MagicOS 9.0 升级支持 30 亿参数端侧大语言模型，相比 MagicOS 8.0 的 70 亿参数魔法大模型，加载速度提升 77%、出词速度提升 500%、功耗下降 80%。此外，新版大模型的内存占用减少 1.6GB，存储占用减少 1.8GB。

一副AI耳机卖1200元？端侧AI大模型+硬件= ？这场论坛带你一探究竟

生成式 AI 时代，大模型除了继续在云端突破 Scaling law 之外，也正在探索另一个重要的落地方向——端侧。通过量化、蒸馏、剪枝等压缩技术，「瘦身」后的大模型可以适应端侧性能要求，在包括手机、PC、机器人、VR 眼镜、耳机、汽车智能座舱等广泛设备上进行本地部署运行，将 AI 硬件的融合带入新的发展阶段。随之而来，端侧大模型能力的引入不仅为用户提供个性化 AI 体验，还能进一步拓展 AI 应用场景的广度与深度。

vivo 全新蓝心大模型矩阵发布，推出 30 亿蓝心端侧大模型 3B、语音大模型

在今日上午的 2024 vivo 开发者大会开幕演讲中，vivo 正式发布了自研的全新蓝心大模型矩阵，全面升级语言大模型和端侧大模型能力，并带来 vivo 自研的语音大模型、图像大模型以及多模态大模型。据AI在线了解，全新蓝心大模型矩阵包括语言大模型、端侧大模型、语音大模型、图像大模型、多模态大模型。vivo 推出了全新的 30 亿蓝心端侧大模型 3B，官方称在对话写作、摘要总结、信息抽取等能力上，蓝心 3B 可以越级比肩行业 7B-9B 模型。相比蓝心 7B，蓝心 3B 极致性能提升 300%，平衡模式下功耗优化

端侧AI爆发元年如何不错过下一代入口？来这场端侧大模型论坛入局

历经 2023 年的「百模大战」，AI 正在各行业领域沉淀、落地。科技巨头们的比拼焦点正在从把模型越做越大，转向端侧大模型的研发与应用，并成为行业日益关注的焦点。如果把云端的大模型类比成无所不能的智能，那么端侧的大模型更像是一种无所不在的智能。对于企业来说，如何抓住端侧大模型的热潮，深入挖掘其在各行业的应用潜力，将其与自身业务紧密结合，催生新的增长动力，这不仅是一个战略机遇，也是企业管理者需要深思熟虑的问题。将目光投向实际生产，想要把大模型装进算力有限的终端设备，总会存在一些绕不开的技术难点，如何在有限的计算资源下

前百度研究院副院长李平新项目：给手机、PC 做可用的大模型基础设施，前微软高管加入

据《智能涌现》消息，前百度研究院副院长李平的新创业公司 VecML，近期已经完成了产品的探索和初步研发。值得注意的是，VecML 近期还邀请到了前雅虎和 Ebay 首席科学家、前 Walmart 副总裁，和前微软技术高管 Jan Pedersen 博士，出任 VecML 首席战略官（CSO）。报道称，VecML 希望能够做下一代端侧 AI 的基础架构和边缘计算平台，让端侧的设备，也能完成更高难度的大模型计算。目前，VecML 已经推出了一套端侧 AI 基础架构和边缘计算平台，这可以看作是一个部署、开发端侧 AI 模

苹果大模型最新论文：AFM 模型多维度评测「出炉」

编译 | 朱可轩编辑 | 陈彩娴不久前，苹果在全球开发者大会（WWDC）上推出了最新个人智能系统 Apple Intelligence，可以深度集成到 iOS 18、iPadOS 18 和 macOS Sequoia 中，引起了 AI 业内人士、尤其是端侧智能领域的讨论。苹果在 2024 年的一系列技术动作，被戏称为苹果为端侧 AI 所设计的“开卷考试”，即：大模型时代，AI 技术应如何在手机、平板等端侧设备上运营，让手机变得更智能？近日，苹果团队又在 arXiv 上更新了关于 Apple Intelligence 的最新论文，其中介绍了苹果用在 Apple Intelligence 上的两个基础语言模型，包括：一个在设备端运行的大约 30 亿参数的语言模型 AFM-on-device，以及一个在私有云计算上运行的大规模服务器语言模型 AFM-server。

面壁智能开源 MiniCPM-V 2.6 模型：号称端侧 AI 多模态能力对标 GPT-4V，6G 内存可用

面壁智能昨日开源了 MiniCPM-V 2.6 模型，官方表示将端侧 AI 多模态能力拉升至全面对标 GPT-4V 水平。官方称 MiniCPM-V 2.6 模型仅 8B 参数，取得 20B 以下单图、多图、视频理解 3 SOTA 成绩，有以下特点：“三合一最强”端侧多模态：首次在端侧实现单图、多图、视频理解等多模态核心能力全面超越 GPT-4V，单图理解越级比肩多模态王者 Gemini 1.5 Pro 和新晋顶流 GPT-4o mini多项功能首次上端：实时视频理解、多图联合理解、多图 ICL 视觉类比学习、多图

苹果 AI 版 iOS 首日火爆：聊天秒变高情商，大模型成最强嘴替，Siri 华丽变身

它来了它来了，苹果的 Apple Intelligence 终于与果粉见面了！随着 iOS 18.1 Beta 版的上线，注册开发者从即日起就能体验到苹果 AI 的部分功能。最明显的一处就是 Siri 的全面换新，变身成了 Apple Intelligence & Siri。另一项重磅更新就是写作功能了，它可以帮忙润色推特评论，三下五除二就能把高级表达方式安排起来。甚至 dirty words 也能分分钟变得儒雅随和：开启 Apple Intelligence 后，苹果自研的端侧大模型就会被下载到设备当中。根据手快

中国开源操作系统 openKylin（开放麒麟）发布 AIPC 版本

AI在线从 openKylin 公众号获悉，7 月 7 日，聚焦智能时代基础软件发展的 2024 CCF（中国计算机学会）系统软件技术论坛在长沙举行，会上中国开源操作系统 openKylin（开放麒麟）推出了全新 openKylin for AIPC 版本。openKylin 社区技术委员会委员余杰、刘晓东在会上带来《openKylin for AIPC— 基于端侧大模型的操作系统智能引擎构建技术》主题报告，介绍 openKylin 社区团队在“openKylin 开源操作九格端侧大模型”上通过在模型层、系统

WAIC 最具技术想象力成果发布：新架构面壁小钢炮又一次验证并加速了面壁定律

2020 年，1750 亿参数规模的 GPT-3 问世。彼时，完整训练 1750 亿参数的模型需要 3.14E11（TFLOPS）的每秒浮点运算量。如果使用英伟达 80GB A100 GPU（16位浮点算力有 312 TFLOPS，但在分布式环境中很难达到峰值），按照每张显卡 1.5 刀每小时的租赁价格来算，则需要使用一千张 A100 、花费81.6 万刀、用 22 天才能完成整个训练过程。

MediaTek 举办天玑开发者大会 MDDC2024，携手产业伙伴共创生成式 AI 新生态

2024年5月7日，MediaTek 举办天玑开发者大会2024（MDDC 2024），本届大会以“AI予万物”为主题，深入研讨生成式 AI 技术为移动生态带来的变革与全新机遇。会上，MediaTek 联动天玑平台合作伙伴，共启“天玑 AI 先锋计划”；联合业界生态伙伴发布《生成式 AI 手机产业白皮书》，共同定义生成式 AI 手机；分享了生成式 AI 端侧部署的解决方案“天玑AI开发套件”以及全场景的创新应用。此外，大会还展示了基于先进的 MediaTek 星速引擎技术所构建的丰富游戏生态和先进体验。

文心大模型融入荣耀MagicOS！打造大模型“端云协同”创新样板

2024年1月10日，在荣耀MagicOS 8.0发布会及开发者大会上，荣耀终端有限公司CEO赵明宣布了“百模生态计划”，并与百度集团执行副总裁、百度智能云事业群总裁沈抖共同宣布，百度智能云成为荣耀大模型生态战略合作伙伴。沈抖在现场演讲中表示，“端云协同”是大模型到端侧应用的创新范式。端侧大模型更懂用户意图，云侧大模型擅长处理复杂问题，满足用户深层次需求，端侧、云侧能力互补、相互结合，将为用户带来卓越的体验。大模型将驱动移动应用二次爆发，不止现有的800万移动应用会基于大模型加速升级、重构，未来还将诞生更多全新的A

WAIC 2021 | 云天励飞副总裁肖嵘：创「芯」时代打造自进化城市智能体

在 WAIC 2021 AI 开发者论坛上，肖嵘发表主题演讲《创「芯」时代打造自进化城市智能体》，在演讲中，他主要介绍了自进化城市智能体，并介绍了云天励飞最新研究成果及成功案例。

端侧