阿里通义新视频生成和编辑模型VACE 可控制运动轨迹、替换主体等

是否还在感叹视频制作门槛高,后期编辑太烧脑?别担心,阿里通义Wan团队再次出手,推出了他们最新的重量级模型All-in-One视频生成和编辑模型——VACE。 VACE最引人注目的能力之一,便是其强大的按条件生成视频功能。 这意味着,你只需要用文字描绘出心中的场景,VACE就能迅速将你的想象变为现实。

是否还在感叹视频制作门槛高,后期编辑太烧脑?别担心,阿里通义Wan团队再次出手,推出了他们最新的重量级模型All-in-One视频生成和编辑模型——VACE

VACE最引人注目的能力之一,便是其强大的按条件生成视频功能。这意味着,你只需要用文字描绘出心中的场景,VACE就能迅速将你的想象变为现实。这如同拥有了一支听你指挥的梦幻摄制组,效率之高令人惊叹!

VACE支持多种灵活高效的编辑方式,包括:

QQ_1741833014094.png

  • 物体运动轨迹任你掌控。借助 Move-Anything 功能,你可以精确控制视频中任何物体的运动轨迹。无论是想让飞鸟划出优美的弧线,还是让汽车按照指定的路线行驶,VACE都能轻松实现。
  • 视频主体一键替换Swap-Anything 功能让你能够随心所欲地替换视频中的主体。想让纪录片里的猎豹变成一只憨态可掬的熊猫?想让广告片的主角瞬间改头换面?VACE都能帮你实现“乾坤大挪移”。
  • 参考主体风格迁移。通过 Reference-Anything 功能,VACE可以学习并应用你提供的参考对象的风格到视频主体上。无论是想让实拍视频拥有动漫的质感,还是让普通人秒变艺术画作主角,都不在话下。
  • 视频画面智能扩展Expand-Anything 功能可以智能地扩展视频的画面内容。再也不用担心拍摄角度受限,VACE能帮你把“窄”变“宽”,让视野更开阔。
  • 静态画面赋予动态生命Animate-Anything 功能能够让静态的图像动起来。无论是老照片还是艺术画作,都能在VACE的魔法下焕发新的生机。

老片新生,VACE的视频修复术也有一手

值得一提的是,VACE在视频重渲染方面也展现了不俗的实力。它支持内容保留结构保留主体保留姿态保留运动保留等多种模式。这意味着,即使是画面模糊、细节丢失的老旧视频,也能在VACE的修复下重现光彩,仿佛时光倒流一般。

阿里通义Wan团队的VACE模型,凭借其在视频生成和编辑方面的强大功能,无疑将极大地提升视频创作的效率和趣味性。它就像一位无所不能的视频魔术师,能够满足用户各种天马行空的创意。 

虽然目前模型还未正式上线,但将会开源,VACE的到来将为视频内容创作领域带来一场深刻的变革。

论文链接:https://arxiv.org/pdf/2503.07598

开源代码:https://ali-vilab.github.io/VACE-Page/

相关资讯

最接近GPT-4的国产大模型诞生了

2024 年,国产大模型的第一个重磅消息,来自智谱 AI。在 1 月 16 日举办的 2024 智谱 AI 技术开放日 Zhipu DevDay 上,智谱 AI 正式发布新一代基座大模型「GLM-4」。经历了三个月的技术迭代,GLM-4 相比上一代基座模型 GLM-3 实现了 60% 的性能全面提升,直接逼近 GPT-4。一方面,GLM-4 支持更长的上下文、更强的多模态能力;另一方面,GLM-4 支持更快的推理、更多并发,大大降低了推理成本。同时,GLM-4 也增强了智能体能力,智谱 AI 正式上线了「GLM-4

告别偏科,能玩转多模态、多任务、多领域的强化智能体终于来了

模型、专家智能体和数据集都已开源。随着 Llama 3 发布,未来大模型的参数量已飙升至惊人的 4000 亿。尽管每周几乎都有一个声称性能超强的大模型出来炸场,但 AI 应用还在等待属于它们的「ChatGPT 时刻」。其中,AI 智能体无疑是最被看好的赛道。就连吴恩达都说,GPT-4 加上 AI 智能体,可能提前达到 GPT-5 的效果。不过,我们熟知的智能体往往有点「偏科」。例如,第一个 AI 软件工程师 Devin,专精于代码。会打游戏的智能体往往也只能在某一个游戏里秀操作。寻找一个能够同时擅长多个领域,并能在

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。