潞晨 Open-Sora 团队在 720p 高清文生视频品质和生成时长上实现了突破性进展，反对无缝产出任意风格的高品质短片，令人惊喜的是，他们选择再给开源社区带来亿点点震撼，继续全部开源。
开源地点：https://github.com/hpcaitech/Open-Sora
通过他们的模型权重，能够生成各种酷炫的短片，比如海浪和海螺的亲密接触，还有那些深不可测的森林秘境。
人物肖像的渲染也相当逼真。
还能精准渲染赛博朋克风，让短片瞬间充满强烈的未来感和科技感。
图片经过紧缩。
也能生成有趣生动的动画镜头，带来极具表现力的视觉体会。
图片经过紧缩。
即使是电影级别的镜头制作，也能轻松应对。
例如，实现流畅的变焦效果，为影片增添专业级的视觉效果。
图片经过紧缩。
还能帮助电影制作人员创造出逼真的电影镜头。
图片经过紧缩。
潞晨的 Open-Sora 模型以其卓越的性能揭示了视频生成领域的广阔前景，而他们的模型权重和训练代码已经全面开源，感兴趣的朋友可以访问他们的 GitHub 地点：https://github.com/hpcaitech/Open-Sora
文生视频界的开源战士
LambdaLabs，美国科技界独角兽，基于潞晨团队先前开源的 Open-Sora 模型权重打造了一个数字乐高宇宙，乐高迷们在这里找到了极致的创意体会。
潞晨团队深谙开源对于文生视频手艺突破的加速度，他们不仅持续开源模型权重，还在 Github 上晒出了手艺路线，让每个玩家都能成为文生视频大模型的掌控者，不再是单纯的围观群众。申报一出炉，我们就火速进行了深度挖掘和解析，试图捕捉文生视频手艺的最新动向。（申报地点：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md）
手艺深度解码
在潞晨 OpenSora 团队发布的这份手艺申报中，他们深度剖析了本次模型训练的核心和关键。在上一个版本基础上，引入了视频紧缩网络（Video Compression Network）、更优的散布模型算法、更多的可控性，并利用更多的数据训练出了 1.1B 的散布生成模型。
在这个 "算力为王" 的时代，我们深知视频模型训练的两大痛点：计算资源的巨大消耗与模型输入品质的高标准。潞晨 Open-Sora 团队以一种极简而有效的方案，成功地在成本和品质之间找到了平衡点。
OpenSora 团队提出了一个翻新的视频紧缩网络（VAE），该网络在空间和时间两个维度上分别进行紧缩。具体来说，他们首先在空间维度上进行了 8×8 倍的紧缩，接着在时间维度上进一步紧缩了 4 倍。通过这种翻新的紧缩策略，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本，实现了成本与品质的双重优化。
视频紧缩网络结构
Stable Diffusion 3，最新的散布模型，通过采用了 rectified flow 手艺替代 DDPM，显著提升了图片和视频生成的品质。尽管 SD3 的 rectified flow 训练代码尚未公开，但潞晨 Open-Sora 团队已经基于 SD3 的研究成果，提供了一套完整的训练解决方案，包括：
简单易用的整流（rectified flow）训练
用于训练加速的 Logit-norm 时间步长采样
基于分辨率和视频长度的时间步长采样
通过这些手艺的整合，我们不仅能够加快模型的训练速度，还能显著减少推理阶段的等待时间，确保用户体会的流畅性。此外，这套训练方案还反对在推理过程中输入多种视频宽高比，满足了多样化场景下的视频素材需求，为视频内容创作者提供了更加丰富的创作工具。
他们在申报中也透露了更多关于模型训练的核心细节，包括数据清洗和模型调优的实用技巧，以及构建了更完善的模型评估体系，保障模型的稳健性和泛化能力。他们还提供了可以自行一键部署的 Gradio 应用，并反对调节输入的运动分数、美学分数和镜头移动方式等参数，甚至可以一键通过 GPT-4o 自动修改指令并反对中文输入。要忍不住 get hands dirty 了，详情请戳 https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md
打破闭环，开源赋能
自 OpenAI Sora 发布以来，业界对 Sora 的开放性期待值爆表，但现实却是持续的等待游戏。潞晨 Open-Sora 的开源，为文生视频的翻新和发展注入了强劲的活力。“授人以鱼不如授人以渔”，访问他们的 github 地点，即可零门槛免费获得模型权重和全套训练代码，这使用户从被动的内容消费者转变为积极的内容创造者。这一转型为企业用户解锁了自主开发文生视频应用的新技能，无论是打造沉浸式游戏、创意广告还是制作影视大片，文生视频手艺的应用场景得到了指数级扩展。
我们期待这股星星之火，能够点燃整个文生视频领域的翻新激情，实现从点到面的燎原之势。
最后附上潞晨 OpenSora 开源链接：https://github.com/hpcaitech/Open-Sora
参考链接：
https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours–Vmlldzo4MDE3MTky
https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use