亚马逊云科技 CEO Adam Selipsky 曾说过:迄今为止,没有一个生成式 AI 的运用不是在云上发生的。
最近一段时间,生成式 AI 技巧快速发展,专用于新技巧的数字根源设施,已经开始催生出新的运用。
在 10 月 24 日举行的 2023 亚马逊云科技生成式 AI 建立者大会上,人们围绕运用场景、对象和根源设施、数据基座、AI 原生运用建立和生成式 AI 办事等五方面,讨论了释放生成式 AI 潜力的新方式。
与此同时,我们也看到了生成式 AI 在不少行业的运用落地案例。
「生成式 AI 不仅仅是大模型。今天,当我们谈论生成式 AI 时,大多数人都在谈论根源模型,而整个生成式 AI 运用就像是浮在海面的冰山,」亚马逊云科技大中华区产品部总经理陈晓建说道。「露在海面的冰山一角就像是根源模型,而在冰川的底部,同样有大量的根源模型以外的办事来支撑,如加速芯片,数据库,数据分析,数据安全办事等等。」
亚马逊云科技供应了完整的端到端的生成式 AI 技巧堆栈,从下层的加速层如加速芯片,存储优化,到中间层模型建立对象和办事,再到最上层的生成式 AI 相关运用,每一层都在针对客户的不同需求持续翻新。
鉴于深度学习的人工智能技巧至今已经发展超过十年。最近一段时间,随着数据容量的激增,技巧的快速迭代,以及计算资源的发展,生成式 AI 技巧获得了爆发。生成式 AI 的核心是利用根源模型进行翻新驱动的。大语言模型包含大量参数,通过学习互联网规模的数据能够学习复杂的概念,因此获得了初步的通用化能力。
但更为重要的是,我们同样可以利用私有数据对根源模型进行微调,建立起执行特定领域任意的对象。
今年 4 月起,Amazon Bedrock 等生成式 AI 运用办事的推出,标志着亚马逊云科技将大模型引入云计算根源设施的努力正式开始。
亚马逊云科技希望从多个方面辅助开发者,共同建立生成式 AI 的普惠化:
首先,辅助所有规模的企业选择合适场景、运用业内领先生成式 AI 模型。其次,通过专门建立的生成式 AI 对象和计算根源设施,辅助快速搭建生成式 AI 运用。亚马逊云科技建立了强大的数据托管平台,让企业可以便捷、安全地运用私有化数据,实现差异化竞争优势。在完全鉴于云原生的业务根源上,亚马逊云科技建立了生成式 AI 的云原生架构。除了搭建生成式 AI 运用本身,用户同样可以运用多种开箱即用的技巧来提升效率。
针对生成式 AI 根源模型迭代速度快,优势各不相同的情况,亚马逊云科技推出了 Amazon Bedrock 和 Amazon SageMaker JumpStart 两项办事,让客户可以便捷地选择适合自身业务的模型。
陈晓建表示,Amazon Bedrock 是企业运用根源模型建立和扩展生成式 AI 运用程序最简便的方法。它供应了广泛的模型选择、数据隐私机制,能够自定义模型,同时也是无办事器化的运用,无需管理下层的根源设施。
在 9 月底,亚马逊云科技刚刚宣布 Amazon Bedrock 正式可用。目前很多来自于业界的头部大模型,都可以在 Amazon Bedrock 上找到,如 Jurassic、Claude 2、Command、Llama 2、Stable Diffusion 和 Amazon Titan。
在活动中,亚马逊云科技着重强调了生成式 AI 开发平台的安全性。Amazon Bedrock 在开发之初就考虑到了安全性和隐私保护,能够辅助客户保护敏感数据。首先,用户的任何数据都不会被用于训练任何原始大模型。其次,用户可以配置自己的私有环境,如虚拟网来执行自身的环境进行训练。Amazon Bedrock 同时符合 HIPAA(健康保险流通与责任法案)和 GDPR(欧盟《通用数据保护条例》)等合规标准。
除了 Amazon Bedrock,亚马逊云科技还供应了 Amazon SageMaker JumpStart,用户可以在其之上获得更多来自工业界和学术界的开源模型,Amazon SageMaker JumpStart 同时供应了深度的定制环境和评估等功能。
虽然根源模型通常已具备强大的自然语言能力,但在执行一些特定任意时,开发人员往往需要进行大量细致的调优工作。对此,Amazon Bedrock 供应了无需编写代码就可以实现的托管代理(Amazon Bedrock Agent)对象,让自动化的 Agent 辅助人们执行复杂的任意。在其之上,开发者只需点击几次鼠标就可以让 AI 自动分解和编排任意,通过 API 链接到相关的数据源,同时可以连接到后端的 Amazon Lambda 来执行任意。
在生成式 AI 运用建立的过程中,除了大模型本身,人们同样需要高性能、低成本的根源设施。亚马逊云科技供应 Amazon EC2 P4d 实例鉴于 A100 的 GPU,最新的 Amazon EC2 P5 实例鉴于 NVIDIA 的 H100 的 GPU,为训练和部署供应了很高的性能表现。和上一代实例相比,新的根源设施把训练时间缩短了 6 倍,成本降到了原来的 40%。
在推理方面,最新的 Amazon EC2 G5 实例鉴于 NVIDIA A10G 芯片,也实现了性价比的三倍提升。
亚马逊云科技也拥有多达十年的自研芯片经验。最近发布的 Amazon EC2 Inf2 实例鉴于最新的自研机器学习芯片 Amazon Inferentia2,其推理性价比同类 Amazon EC2 实例相比高出了 40%。面向 AI 训练的 Amazon Trn1 的实例则可以让训练成本节省 50%。
亚马逊云科技表示,越来越多的客户正在选择鉴于其自研芯片的办事承载生成式 AI 运用,如 Airbnb、OPPO、Sprinklr 和 Autodesk,这个范围还在不断扩大。
大模型运用需要强大的数据底座,运用亚马逊云科技的办事时,人们可以运用 Amazon RDS 或者 Amazon Aurora 来存储数据,Amazon RDS 是一个包含了多个关系型数据库的托管办事,既包含像开源的 MySQL,同时也包括商用数据库像 SQLServer 和 Oracle。Amazon Aurora 是亚马逊自研的云原生数据库,能够供应很好的性能、扩展性和安全性。
在云原生环境中,Amazon DynamoDB 可以让用户不用关心任何下层的容量和拓展,并获得毫秒级的响应时间。
亚马逊云科技在数据库产品中集成了向量数据库功能,此外,很多办事都是无办事器化的,人们无需担心数据库下层的维护、版本控制或许可授权的问题。
除了功能完备的根源设施和大模型对象,在活动中亚马逊云科技还谈到了开箱即用的生成式 AI 开发对象。
今年 6 月,Amazon CodeWhisperer 正式上线,作为 AI 编程辅助对象,它可以实时供应编程的代码建议,从根本上提升开发人员的生产力。根据亚马逊云科技的数据,运用 Amazon CodeWhisperer 的开发者可以提升 57% 整体效率,成功率提升 27%。
在 9 月底,亚马逊云科技提出了 Amazon CodeWhisperer 定制化能力。它可以鉴于企业内部的 API、数据库、最佳实践和架构模式,生成包括内部代码库的实时推荐。
亚马逊云科技表示,目前 Amazon CodeWhisperer 已辅助上千家中小企业实现了生成式 AI 的翻新,已经有超过 10 万中国开发者运用了 Amazon CodeWhisperer。
在活动中,西门子集团、金山办公软件以及科思创中国作为亚马逊云科技中国区生成式 AI 翻新的代表客户,也分享了各自的翻新案例。
生成式 AI 的运用目前还处于初期阶段,除了供应技巧能力,亚马逊云科技希望继续扩大与国内外公司的合作范围,建立生态体系。
「建立生成式 AI 运用是充满挑战的系统工程,除亚马逊本身的资源以外,我们同样需要建立强大的合作伙伴生态,共同解决生成式 AI 运用建立中的各种技巧问题,加速运用落地,」陈晓建说道。