译者 | 核子可乐
审校 | 重楼
事实证明，云已经成为大规模AI部署的主要阵地，其提供的快速原型设计、弹性计算及存储等AI原生API，正是攻克扩展问题的利器。本文将助你快速梳理如何在云端构建并扩展生成式AI应用程序。
云在生成式AI中的重要作用
云在当代生成式AI应用中的核心作用，在于其能够容纳AI模型所需要的巨大处理能力、数据存储与分布式流程需求。相比之下，传统部署往往无法在灵活性和性能等方面，适应不断变化的业务挑战。
以Azure AI为例，其提供现成的算法和模型，同时辅以构建并扩展AI应用程序所必需的各类基础设施工具。
此外，依托云端的生成式AI项目还将受益于以下优势：
- 弹性配置：根据业务需求自动或手动配置资源。
- 成本优级：AI工具支持多种配置项，可自动即时扩展以优化运营成本。此外大型云服务商还支持即用即付模式与混合云选项。所有这些改进都有助于用户将更多精力放在模型开发上，避免在硬件和基础设施支持与管理方面耗费心神。
- 集成AI服务：集成预训练的模型、API及各类高级工具包，加快产品上市速度。
凭借这些优势，云已经成为当前生成式AI开发的核心，全面涵盖大语言模型及多模态AI系统。
数据准备
任何有效的生成式AI应用，都离不开高质量数据的支持。在准备充分的不同数据集上训练模型，能够大大提升其通用性与弹性。
数据准备步骤
- 数据收集与提取：此功能允许大家用指定的数据存储工具对数据集进行分类，还能在自动提取管道的帮助下自动从多个来源处传输数据。
- 数据清洗与转换：某些数据应用程序有助于清洗未经处理的数据，并将其塑造成更有意义且实用的形式。
- 数据注释与治理：可使用注释工具或云服务，对某些生成式AI模型所需的特定数据集进行注释。示例集越丰富、结构越好，也就越贴合模型的“时间周期”。
数据准备最佳实践
- 数据治理：通过严格的数据保护、访问及合规性以保障安全。
- 云原生例规：与你选定的技术提供商一道选定应用策略以进行用户合规性验证。
- 数据保护：通过监管数据保护措施以保护数据访问，并确保遵守适用的法律。确保你拥有广泛的合规性认证，包括但不限于SOC、GDPR和HIPAA。这些认证承诺改善对敏感数据的管理。
- 云原生安全：使用你选定的工具提供商的现有安全方案（若有），借此通过持续监控以确保满足既定标准并预防高级威胁。
微调模型
各大云服务商还提供生成式AI模型训练与微调所需的全部资源，包括对资源进行重新配置。
- 预训练模型：合用已经训练完成的模型（例如OpenAI GPT-4或DALL-E）能够大大节约时间和成本。云GPU或TPU，以及Hugging Face等框架，可用于对这些模型进行微调。
- 分布式训练：某些机器学习工具支持分布式训练功能，可在云端多个节点间实现良好扩展。
此外，在开发过程中认真考虑AI道德问题也很重要。这些工具能够有效解决人们对于AI偏见及公平性的合理担忧，深入理解模型行为并对偏见进行检测与缓解。
大规模部署中的各项因素
在评估生成式AI模型之前，我们还须分析系统的可扩展性、延迟与维护成本。
- 托管模型：某些OpenAI模型通过可扩展端点进行部署，旨在实现超低延迟的高容量推理。其先进的负载均衡器与弹性扩展资源缓冲区，可确保无论动态负载如何均提供卓越服务。
- 无服务器架构：无服务器计算可自动创建适应规模，消除对基础设施单独管理的需求和负担。
CI/CD（持续集成/持续部署）能够与机器学习模型良好集成，允许模型通过自动化管道实现重新训练与测试部署。内置的监控与回滚功能可确保快速更新且不致产生过多风险，因此成为管理高可用性及可靠性AI系统的理想选择。
推理与实际应用
推理结果（即由训练后模型生成的输出），必须在延迟、吞吐量和成本方面做兼顾考量。
实时推理的注意事项
尽可能使用量化或模型修剪优化技术以缩短推理时间，另外务必使用托管推理服务。
真实用例
- 预测分析：使用分析方法了解不同模式与事实，借此大大改善财务、医疗保健与物流决策。
- 内容自动创建：使用AI生成各类不同风格的书面内容，包括创意写作、营销或产品详细信息。
使用生成式AI的挑战
尽管生成式AI前景光明，但在云端扩展其应用仍面临诸多困难，包括：
- 基础设施成本：若未正确理解基础设施需求，可能导致资源过度配置或浪费重要基础设施。因此，负载测试与未来需求评估将至关重要。
- 跨学科协作：即使是功能原型设计，也往往需要由技术与领域知识兼备的跨职能团队负责打理。
- 业务协调：每个模型都必须针对问题解法做调整，以便为实际业务提供价值。建议尽量促成数据科学家、产品经理及其他利益相关方的通力配合。
总结
生成式AI与云技术的结合，为业务的创新和扩展带来了无限的可能。组织可以动用云设施的灵活性、增强功能与成本效益克服扩展问题，真正让生成式AI成为践行颠覆性效能的有力武器。
原文标题：Build Scalable GenAI Applications in the Cloud: From Data Preparation to Deployment，作者：Aravind Nuthalapati
