自研零碎加大模型，新一代手机的标配？
自 ChatGPT 问世已来，我们正在见证新的技能革命，手机厂商更是纷纷高调宣称正在部署大模型，生成式 AI 的竞争已经跨过前期积累，进入到了技能应用的新阶段。
11 月 16 日，OPPO 开发者大会 ODC 2023 上，大模型加持的 ColorOS 14 正式亮相。
为了让生成式 AI 融入人们的日常生活，OPPO 将 AndesGPT 与自研聪明跨端零碎「潘塔纳尔」实行了深度配合，也让我们看到了手机厂商对大模型的思考。
自研潘塔纳尔零碎加大模型
不一样的聪明融合
据介绍，OPPO 早已在去年 ODC 发布了自研聪明跨端零碎潘塔纳尔，作为 ColorOS 的一部分，诚如包罗万象的潘塔纳尔湿地一样，成为万物互融的底座。在一年的时间里，潘塔纳尔零碎实行全面商用，通过泛在效劳和聪明跨端这两项体会的革新，让 ColorOS 打通了人、设置装备摆设、零碎和效劳的关系。
借助融合计算的本领，潘塔纳尔作为「中间件」零碎给 ColorOS 带来「聪明跨端」，也让 ColorOS 的生态越走越开放，不仅实行自有体系手机、平板等设置装备摆设互融，也打通了注入苹果、大疆 OSMO 等不同设置装备摆设零碎的连接。
鉴于潘塔纳尔零碎，ColorOS 带来了「泛在效劳」，能够根据地点、时间、事件、习惯，在通勤、外卖、差旅等高频场景上带来各种高效的聪明效劳。比如车票、机票的提醒消息，有了潘塔纳尔，在手机和手表上通知会以卡片形式展示，耳机上则是以语音播报的形式展示，提醒及时又不过分打扰人。
在这背后，就需要手机等设置装备摆设对于用户和大量信息进行分析，实行准确的「意图理解」。
如果说去年发布的潘塔纳尔零碎是 OPPO 打破终端设置装备摆设的头阵，一年沉淀后 OPPO 首发的安第斯大模型（AndesGPT），则让两者深度配合后实行进化，使潘塔纳尔零碎情境感知本领大幅提升，可以更深入地识别用户需求。据介绍，潘塔纳尔零碎通过低功耗感知等一系列技能优化，情境感知准确率提升了 3-10%，及时性提升 30%，同时功耗降低 20%，地理围栏学习周期也大幅缩短。
潘塔纳尔与 AndesGPT 的深度配合下，情境感知本领为意图理解提供了更多元的判断依据。现在，零碎围绕专属效劳和效率提升被解构为一个个效劳，会根据用户意图主动提醒与推荐。
由于新效劳包含的内容数量太多了，OPPO 对泛在效劳交互进行了升级，把不同三方应用效劳、零碎效劳，以及多种交互形式（胶囊、浮层、闪回窗等）整合成「流体云」。它可以按照不同效劳的信息内容和优先级，以统一的形态进行有序呈现，做到交互归一，自然有序。
而在有序的跨端推送背后，潘塔纳尔零碎的全新自适应交互框架是默默支撑这一切的关键点。
除了全新自适应交互框架，潘塔纳尔零碎对开发者提供了更多支撑。通过数据配合和投屏等多种方式，自适应交互框架也支撑第三方应用智能选择合适设置装备摆设、触点以及交互形式，实行效劳跨端流转。
未来，我们可以期待所有常见的 APP 都被潘塔纳尔连接在一起。它覆盖身边的所有设置装备摆设，与我们交互的方式则是由 AI 大模型驱动，以自然且个性化的方式进行。
潘塔纳尔的升级，把生成式 AI 与多样化的效劳，以智能设置装备摆设为载体与我们有机地连接在了一起。
OPPO 大模型 AndesGPT
主打端云一体
把大模型装入手机，是最近各家大厂一致的尝试方向。不过要想跟上这一波 AI 浪潮，就必须拿得出过硬的技能，打造出更适合移动终端的大模型体系。
ColorOS 14 上首发的安第斯大模型（AndesGPT）是 OPPO 自主训练的对话大模型，在本月初刚刚亮相。它覆盖从十亿至千亿以上的多种不同参数规模，专攻知识、记忆增强，提供创作与工具本领，同时可以进行支撑端云配合的全场景智能调度。
据 OPPO 介绍，AndesGPT 是目前行业最优的大模型端侧部署方案，具备三大特点：对话增强、个性专属、端云配合。
要想构建一个善于对话的预训练大语言模型，参数量必须要足够「大」，然而这也意味着巨大的内存占用 —— 即使是优化后的 LLaMA 13B 也需要 10G 以上内存，再加上安卓本身的 4GB，其他 APP 的 6GB，就超过了大多数手机 16G 的内存容量。
为此，AndesGPT 在端侧对推理引擎进行算子融合与优化，通过与高通、联发科技的合作，在业内率先采用了 4 位量化技能。优化之后的 AndesGPT 在手机上可以鉴于同一个模型采用两个优化方案共同计算，第一个字显示在屏幕上的速度快了 42 倍。
解决完能否跑得通的问题，接下来就要看是否能算得好：AndesGPT 在行业首次做到了端侧内容输入上限达到 4K，在 30 亿参数规模上单次最大可接收 4096 tokens，70 亿可接收 2048 tokens。在文本摘要等任意上，它可以让手机一次理解更多的信息。
AndesGPT 也完成了视觉大模型的部署，实行了图片生成时间上的行业领先：文生图单张图 5.5 秒，图生图 6.6 秒，支撑了闪速抠图，智能消弭等应用。
ColorOS 14 的闪速抠图可以轻松提取图片中的多个主体，帮助用户快速采集到图像素材。不同于传统的「抠图」技能，往往主要针对单个主体，或轮廓比较清晰的主体，而对于人物精细的头发，或背景较复杂时的抠图处理，往往出现被「抠」图像有毛刺或灰边，甚至抠出的主体缺「头」少「胳膊」，图片直接崩坏。
ColorOS 鉴于大模型算法支撑，进行了专门的边缘细化，可以做到毫秒级响应，抠图精细程度不仅达到发丝级，且支撑最多 6 个主体单独提取。（* 人，动物，建筑，车等主体都可以抠出）
闪速抠图剪好的内容可以直接加入文件中转站，在多设置装备摆设上使用：
鉴于大模型技能，ColorOS 14 的智能消弭功能还能像魔法一样轻松抹掉图片中的路人、杂物。对比传统修复模型（CNN-GAN）采用的消弭算法，智能消弭鉴于生成式大模型技能，投入千万级生活场景真实图像打造，可以做到对用户消弭对象进行精准定位和预测，实行细节和纹理的真实填补。
在背景复杂充满各类线条感（如背靠栏杆等）、消弭内容面积大（1/3 画幅）以及抹除内容与拍摄主体有交叉等场景中，智能消弭几乎做到完美的抹除，背景细节依然清晰。
大模型还需要能够引用正确的知识，并且记得你曾经说过的话。在云侧，AndesGPT 通过融合知识库、知识图谱及通用搜索，实行了更专业的问答。同时通过引入长时记忆与实时记忆机制结合，能够实时更新对用户的理解，你上一次与小布助手说过的话，在下次交互时不用再复述一遍。
鉴于 OPPO 自主训练的 AndesGPT，升级后的小布助手具备 AI 大模型本领，可以实行更流畅、更自然的对话，也支撑自然语言指令调用手机设置。
凭借专业知识、逻辑推理与记忆等大模型基础本领优化，AndesGPT 能够快速根据用户对话解决问题，支撑各种文生图与图生图任意。小布智能体甚至还可以提供涵盖短视频脚本、策划案生成、要点总结、小红书文案等内容生成本领。
除了生成式 AI 领域常见的文本和图形本领，OPPO 的大模型还会一些别人不会的：AndesGPT 支撑包括歌词、旋律、编曲、音色等元素的全流程音乐生成，可以通过主题、风格、元素等提示生成歌词，或通过提示精确控制歌词的具体形式。这方面的功能也将逐步落地。
未来你如果想发一条朋友圈，不仅能用 AI 写文案，配上图片，还能再加上专属的 BGM。
为了让 AndesGPT 能做到这一切，OPPO 充分利用了端侧和云侧算力。AndesGPT 不仅包含端侧与云侧的大模型，还能以端云分工、端云协作方式等，实行全场景的智能调度。
在实际工作中，AndesGPT 会根据任意需求和模型本领不同智能调用不同模型，比如联系人查询等简单任意用小模型在端侧快速响应，知识 / 信息查询等复杂任意采用云端大模型准确回答；在长文摘要或文案创作时，端侧模型可以提供微调数据完善云侧模型，云侧模型也能辅助提升端侧模型性能。这样做兼顾了推理成本和用户体会。
端云配合还有保护隐私安全的优势。AndesGPT 在工作过程中采用隐私相关的计算放在端侧、隐私无关的计算放在云侧的方式，让人们在保证隐私安全的前提下获得了个性化体会。
说到这里，要想利用好生成式 AI 本领，我们需要让大模型能自主地理解、规划，具备执行复杂任意的本领，毕竟写大模型的提示词也是比较复杂的事。
这就需要用到最近大模型领域里很火的智能体（Agent）技能。
作为 OPPO 自主训练的个性化专属大模型，AndesGPT 就可以做到让 AI「帮你提问」，自动整合功能与请求，完成复杂任意。ColorOS 14 上，用户的一句话会经由手机的端侧模型进行理解形成提示词，再输出给云端模型解决问题，这样的端云融合，实行了新版小布「超级助理」的多种功能，仅手机的设置功能就覆盖了近 400 项。
而在手机最基本的通话过程中，AI 也集成了转录功能，能通过大模型本领自动提炼关键信息，帮你自动总结出摘要。
从潘塔纳尔到 AndesGPT，OPPO 为我们展开了一幅生成式 AI 未来全景图从小到大的用户场景逐步迭代。十岁的 ColorOS，再次让我们刮目相看。
结语
能做到化繁为简，重塑用机体会的 OPPO ，其实只是在坚持一个简单的初心：让生成式 AI 成为真正帮人解决问题的工具，而不是只能用来炫技的额外技能。与零碎应用充分结合，面向高频场景是 ColorOS 14 新本领的共性。
OPPO 在生成式 AI 落地上的努力还在继续。据 OPPO 内部透露，AndesGPT 的 13B 大模型在端侧已经跑通，智能消弭、通话摘要、多模态搜图等本领也将会支撑端侧化，实行快速响应。
可以预见，随着潘塔纳尔生态的铺开，AndesGPT 技能的进步，ColorOS 也将继续探索，推出更多与移动终端结合的大模型体会。
端侧化 AI 落地会给用户带来什么体会，我们已逐渐有了答案。