大模型向下扎根深入行业，必须要破解高质量数据供应的寻衅。7月5日，2024年世界人工智能大会进入第二天，作为数据要素领域的主要技能效劳商，蚂蚁团体发布“暗语Cloud”大模型密算平台，通过软硬件结合的可托隐衷盘算技能，在大模型托管和大模型推理等环节实现数据密态流转，保护模型资产、数据危险和用户隐衷。
当下，高质量数据供应和危险流通，成为大模型进入笔直产业利用的首要寻衅。其一，行业大模型要获得解决专科问题的能力，首先要经过数量充足、质量高的专科数据训练。然而，专科数据往往分散在不同的机构、企业中，并且由于价值大、保密要求高，难以流动。此外，在企业、大模型厂商和用户之间存在信任壁垒，企业担心数据对外泄露，大模型厂商担心模型资产危险，用户担心个人数据和隐衷风险。
在发布会现场，蚂蚁密算CEO王磊介绍，“暗语Cloud”大模型密算平台首批推出两大效劳，分别为大模型密态托管和大模型密态推理。大模型密态托管，指模型供给方可以将模型加密后托管在平台上，一键完成云上密态部署，保护模型资产不被泄漏和盗用；大模型密态推理，是指数据以密态形式完成推理，保护用户交互时的数据危险、商业机密等。
此外，该平台支持GPU在可托执行环境下进行盘算，使得大模型推理在密态形式下的响应时间和使用效率与明文大模型接近，实现大规模商业可用。在危险保障上，该产品利用内存、磁盘加密等方法，实现用户访问的端到端加密和托管模型的跨域访问控制。在易用性上，产品支持轻量化远程认证，用户在网页访问时就可以完成远程认证，不需要额外的操作步骤。
当下，大模型在笔直行业利用时，许多企业通过私有化部署来应对数据危险寻衅，这不仅增加企业的运维和效劳成本，也影响对外效劳的效率和质量。对行业的发展来说，私有化方案不利于多方数据跨领域、跨行业高效融合，无法进一步激发大模型的能力。
据介绍，暗语Cloud”大模型密算平台供给公有云和专有云交付方案，支持市面上主流的通用大模型。以公有云为例，无论用户重新构建新的笔直大模型，或者将已有的大模型重新部署在该平台，只需一键部署和接入，比如10分钟即可完成高可用推理效劳的发布。在使用过程中，用户按需获取密态算力，即开即得。
王磊透露，暗语Cloud大模型密算平台的效劳，将逐步覆盖到笔直大模型从构建到对外效劳的全链路数据危险。“接下来，我们将为笔直大模型从预训练、微调、评测、推理到用户交互的全程供给密态盘算效劳，在大模型供给方、数据供给方、大模型使用方等之间实现数据可托危险流转。平台还将供给密态大模型开发所需的全链路工具，供给的效劳包括密态检索增强生成、密态提示词、Agent流程编排等。”
蚂蚁团体副总裁兼首席技能危险官、蚂蚁密算董事长韦韬认为，数据供应决定了大模型利用能力的上限，而隐衷盘算技能决定了数据跨域供应的上限。当大模型从通用走向专科利用，从技能想象力走向产业的生产力，必须要解决高质量数据集稀缺与专科数据阻滞的寻衅，否则大模型作为“智力引擎”，只会陷入空转。今后，高价值数据要深度融合，一定需要以密态方式进行危险流转。
韦韬表示，蚂蚁团体从2016年开始探索隐衷盘算技能，能力涵盖了全栈可托技能、多方危险盘算、联邦学习、同态加密、差分隐衷、机密盘算等隐衷盘算全谱技能域。“我们希望联合产业合作伙伴，把蚂蚁团体多年来在密态盘算技能上的探索和创新，以开源和产品化的形式对外开放，助力推动产业向前发展，为实体经济和中小微企业创造新的价值，让数据价值的流动像自来水一样即开即用。”
目前，蚂蚁可托隐衷盘算的核心技能已全部开源，包括“暗语”可托隐衷盘算框架、“星绽”可托执行环境操作系统Occlum等。此外，参与制定了60多项国内外隐衷盘算技能标准，其中主导了9项国际标准。蚂蚁还与超过50所国内外高校紧密合作，并且与中国盘算机学会联合设立了“隐衷盘算专项科研基金”。
今年5月底，蚂蚁团体对外公布了以人工智能和数据要素技能为核心的科技战略，随后成立了独立运营的密态盘算公司——浙江蚂蚁密算科技有限公司，将供给密算相关的产品和效劳，包括一套端到端的数据危险保障、一套软硬件结合的盘算加速解决方案和一个隐衷盘算云效劳平台，推动数据危险可托的跨云跨端低成本流通。