阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频生成功能,支持无限长 1080P 视频的高效编解码

通义万相 2.1 还支持复杂运镜,可还原碰撞、反弹、切割、挤压等真实世界的物理规律,例如雨滴落在伞上会溅起水花。
感谢阿里旗下通义万相宣布推出 2.1 版本模型升级,视频生成、图像生成两大能力均有显著提升。

在视频生成方面,通义万相 2.1 通过自研的高效 VAE 和 DiT 架构增强了时空上下文建模能力,支持无限长 1080P 视频的高效编解码,首次实现了中文文字视频生成功能,登上 VBench 榜单第一。

阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频生成功能,支持无限长 1080P 视频的高效编解码

据介绍,通义万相 2.1 支持中英文视频,都可以一键生成艺术字,还提供多种视频特效选项,以增强视觉表现力,例如过渡、粒子效果、模拟等等。

阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频生成功能,支持无限长 1080P 视频的高效编解码

▲ Prompt:以红色新年宣纸为背景,出现一滴水墨,晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然,随着晕染的进行,水墨在纸上呈现“福”字,墨色从深到浅过渡,呈现出独特的东方韵味。背景高级简洁,杂志摄影感。

AI在线注意到,通义万相 2.1 还支持复杂运镜,可还原碰撞、反弹、切割、挤压等真实世界的物理规律,例如雨滴落在伞上会溅起水花。

阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频生成功能,支持无限长 1080P 视频的高效编解码

▲ Prompt:一对穿着正式晚礼服的夫妇在回家途中遭遇大雨,他们撑着黑色雨伞。平拍镜头下,男士穿着黑色西装,女士穿着白色长裙。他们在雨中缓缓行走,雨水沿着伞面滴落。镜头跟随他们的步伐平稳移动,展现出他们在雨中的优雅姿态。

图片生成方面,通义万相 2.1 支持文生组图,采用了 IC-LoRA 图像生成训练方法,利用 DiT 架构,增强文本到图像的上下文能力;对多张图像进行拼接与联合描述即可实现关联图像间的组合生成,并保持特征稳定连续。

阿里通义万相 2.1 模型宣布升级:首次实现中文文字视频生成功能,支持无限长 1080P 视频的高效编解码

▲ Prompt:浪漫的公园里,一对青年男女在温馨的拥抱交谈

相关资讯

AI 发现16万种新RNA病毒成果登上《Cell》后,我们和阿里云算法专家贺勇聊了聊

近期,AI for Science 领域的惊喜不断,持续在物理、化学、生物领域开花结果。 不仅诺贝尔物理和化学奖双双颁给 AI 领域的科学家,阿里云与中山大学的科研也带来了RNA病毒寻找的突破,国际顶级学术期刊《Cell》收录了这一研究论文。 《基于人工智能探索和记录隐藏的RNA病毒世界》论文提出深度学习模型"LucaProt",用于快速准确判别RNA病毒,颠覆传统病毒发现方法。

720亿参数大模型都拿来开源了!通义千问开源全家桶,最小18亿模型端侧都能跑

目前,通义千问开源全家桶已经有了 18 亿、70 亿、140 亿、720 亿参数量的 4 款基础开源模型,以及跨语言、图像、语音等多种模态的多款开源模型。「Qwen-72B 模型将于 11 月 30 日发布。」前几天,X 平台上的一位网友发布了这样一则消息,消息来源是一段对话。他还说,「如果(新模型)像他们的 14B 模型一样,那将是惊人的。」有位网友转发了帖子并配文「千问模型最近表现不错」。这句话里的 14B 模型指的是阿里云在 9 月份开源的通义千问 140 亿参数模型 Qwen-14B。当时,这个模型在多个权

AI创业吧!不缺计算资源那种

大模型技术革命爆发一年多,对大众来说,大模型神秘的样子逐渐清晰,AI 创业也从兴奋期慢慢开始务实。当前 AI 技术创业周期已经进入应用层,甚至已经开始快速迭代。3 月 13 号,a16z 发布了 TOP50 AI 应用,和半年前相比,已换血一半。技术改变世界的过程,正是创业浪潮大浪淘金的过程。创业项目逐渐成熟的同时,暴露出更多问题,技术、成本、场景、商业化…… 每个环节都需要解决。技术创业进入应用落地阶段,创业者所需要的创新要素和资源一直在变化。阿里云伴随着时代周期,和创业者来到关卡,为时代浪潮提供助力。3 月 2