大家好,这里是和你们一起探索 AI 的花生~
动画制造对得多人来说应该都是一项异常专科且复杂的工作,需要学习专门的知识,掌握特定的对象,并且投入大量的时间精力才能得到成果,不过最近出现的一款 AI 动画制造对象 ToonCrafter 则有希望改变这一现状。它只需 2 张图象就生成联贯阻塞的动画片段,还能主动为动画片段上色,这不仅能帮助专科动画人员提升工作效率,也能让小白轻松制造出稳定的动画动机。下面就为大家详细介绍 ToonCrafter 的特点和用法~
相关推荐:
一、ToonCrafter 简介
ToonCrafter 是一款开源的动画插帧对象, 它通过预训练的图象到视频扩散模型,来实现两个卡通图象之间的平滑过渡,也就是说我们只需提供起始和结束的卡通画面,ToonCrafter 就能主动生成中间一系列阻塞的动画帧。
下面是官方展示的 ToonCrafter 应用动机,它可以根据 2 张图象就生成头发飘动、物体移动、大小变化、光影变化、人物行走奔跑等动画帧,动机异常阻塞,即使场景很复杂或者物体有部分遮挡也能完美处置。相比之前提到过的一些 AI 视频生成对象,ToonCrafter 的首尾帧控制方式可以让动态动机始终保持稳定,不会轻易扭曲变形。
除了通过纯卡通图象生成动画,ToonCrafter 还反对对草图添加动画。比如生成纯草图的物体膨胀或者移动动机,整体动态异常联贯,比纯手工一帧帧绘制要高效得多。
ToonCrafter 还能根据彩色的参照图象,对线稿动画从事主动上色。上色后的动画在色彩风格以及色彩分布上与参照图象保持了高度一致,这一步也可以节省得多的人工。
此外 ToonCrafter 还反对仅通过稀疏草图来引导动画的生成。 如下图,虽然给出的参照草图只有断断续续的几帧,但终极生成动画中,画面整体依旧是联贯阻塞的,可见 ToonCrafter 的插帧技术确定十分强大,可以有效简化动画的制造流程。
二、在线体会
Huggingface Demo: https://huggingface.co/spaces/Doubiiu/tooncrafter
Replicate Demo: https://replicate.com/fofr/tooncrafter
因为 ToonCrafter 是开源对象,因此在其代码和模型权重公开之后,很快就有人在 Huggingface 和 Replicate 上对其从事了线上部署,因此我们也可以免费体会这款 AI 动画神器的动机。
Huggingface 上的 ToonCrafter 目前反对通过首尾帧生成动画,上传你的图象(最好是横幅),然后在 prompt 中描述画面内容以及你需要的动态,再点击「generate」生成即可。我用 midjourney 生成了一张小王子的卡通图象,并用 vary region 功用对他的披风从事处置,终极得到了一段异常不错的小动画。如果没有 ToonCrafter,普通人很难这么轻松就制造出稳定的动画动机。
动画动机:
Replicate 上的生成功用则更强大一些,它反对上传最多 10 张插帧图象,让用户可以对动画过程从事更准确的控制。比如你可以生成一个人物不同角度、不同神态的多张图象,然后让 ToonCrafter 从事动画处置,终极就能得到一段阻塞的人物动画了,异常推荐专科的动画制造人员尝试一下这个功用。
上传的 3 张图象:
生成的动画: