大伙儿好,这里是和你们一起探索 AI 的花生~
今天为大伙儿推荐一款新的 AI 视频制作工具 Viggle,它可以通过文本或视频生成带有指定举措的脚色,从而提升 AI 视频中人物行为的可控性,今天就为大伙儿详细介绍一下它的特点与用法~
Viggle AI
官网: https://www.viggle.ai/ (服务托管在 Discord 中)
Viggle 在上线之后很快就引起了关注,因为它解决了 AI 视频生成中一个非常重要的问题——如何精确控制脚色的肢体举措。之前我们了解的一些 AI 视频工具,基本都是通过文本或者图象来生成视频,是对画面整体增添动静,很难精确控制人物举措;Viggle 则是将人物动静单独拿出来处理,让真人举措能完美复制到另一个脚色身上,这样无论是哪种姿式都是可以实行的。
下面 Viggle 创始人@Nora.Z 展示的一个案例。对于第一张图中的静态脚色,Viggle 可以为其增添任意一种你需要的举措,比如走、跑、跳等,增添动静后的脚色还可以再次被合成到原本的场景中,实行逼真的动静结果。
电影摄影师 @ Abel Art 则利用 Viggle 实行了非常好的脚色替换结果。原本的真人变成了蓝色的外星人,但举措姿式依旧如真人般灵活多样,这种处理方式应该比传统的 CG 建模要高效很多。
Viggle 的服务托管在 Discord 中,目前可以免费使用。它主要反对 4 种功用,下面逐一为大伙儿介绍其使用方法。
① 图象+视频生成动静
此功用中,用户可以先上传一个视频和一张脚色图象,Viggle 会自动将视频的动静赋予给这个脚色,形成一段新视频。而且 Viggle 并非只能生成简单的正面举措, 它能模拟出脚色的 3D 状态,这样即使原视频中有身体旋转、四肢交叠等举措,Viggle 也能精确进行还原处理。
我们可以通过 /mix 下令来实行这一结果。在 Discord 社区中进入任意 animate 频道,输出 /mix,然后在弹出的文件框中上传你的图象和视频。图象人物要清晰,最好是全身正面照;视频大小小于 25MB,分辨率高于 720p;还可以配置背景颜色(白色/绿色),以及开启 finetune 微调。
配置完成后,按 Enter 发送,完成后会自动返回生成结果(注意视频播放音量)。
② 图象+文本生成动静
除了上传视频,我们也可以间接用文本提醒让 Viggle 生成指定举措,这样就可以省去找视频素材的时间。
动静提醒词可以自己写,也可以参考 Viggle 官网首页提供的提醒词模板,进入 「Prompt」版块就能看到。里面 100 多种动静提醒词,包含跳舞、行走、跑步等各种类型的姿式动静,可以间接复制使用。
进入 Discord 后,输出下令 /animate,然后在文件框内上传准备好的图象,再填写动静提醒词,配置好背景颜色,按 Enter 发送生成就可以了。
生成结果(注意音量):
③ 文本/图象间接生成动静脚色
Viggle 也反对间接从文本提醒生成带动静的脚色,实行此功用的下令是 “/ideate” 。
使用时提醒词会分为两部分,在 image_prompt 处输出人物形貌,比如 “ A man wearing a black combat outfit ”,然后在 motion_prompt 处输出有关举措的形貌词,比如 “$wave_arms_excitedly”,配置好背景颜色,按 Enter 发送即可。
此外还有一个 /character 下令,反对先生成人物图象,再通过文本提醒对其增添动静。有了这一步,我们可以筛选确定好人物形象后再加动静,避免出现文本间接生成后发现结果不好的情况。
④ 生成风格化人物
Viggle 还反对对真人照片进行风格化,再增添动效,来得到更多样化的视频结果。
此功用可以通过 /stylize 下令来实行。输出下令后,上传一张人物的照片,在提醒词中形貌你想要转换的风格,比如 “3D pixar”,然后发送出去。等新的图象完成后,挑选一张你喜欢的增添动静就可以。
生成结果(注意音量):