大家好,这里是和你们一起探索 AI 的花生~
动画制作对很多人来说应该都是一项非常专业且复杂的工作,需要学习专门的知识,掌握特定的工具,并且投入大量的时间精力才能得到成果,不过最近出现的一款 AI 动画制作工具 ToonCrafter 则有希望改变这一现状。它只需 2 张图像就生成连贯流畅的动画片段,还能自动为动画片段上色,这不仅能帮助专业动画人员提升工作效率,也能让小白轻松制作出稳定的动画效果。下面就为大家详细介绍 ToonCrafter 的特点和用法~
相关推荐:
一、ToonCrafter 简介
ToonCrafter 是一款开源的动画插帧工具, 它通过预训练的图像到视频扩散模型,来实现两个卡通图像之间的平滑过渡,也就是说我们只需提供起始和结束的卡通画面,ToonCrafter 就能自动生成中间一系列流畅的动画帧。
下面是官方展示的 ToonCrafter 应用效果,它可以根据 2 张图像就生成头发飘动、物体移动、大小变化、光影变化、人物行走奔跑等动画帧,效果非常流畅,即使场景很复杂或者物体有部分遮挡也能完美处理。相比之前提到过的一些 AI 视频生成工具,ToonCrafter 的首尾帧控制方式可以让动态效果始终保持稳定,不会轻易扭曲变形。
除了通过纯卡通图像生成动画,ToonCrafter 还支持对草图添加动画。比如生成纯草图的物体膨胀或者移动效果,整体动态非常连贯,比纯手工一帧帧绘制要高效很多。
ToonCrafter 还能根据彩色的参考图像,对线稿动画进行自动上色。上色后的动画在色彩风格以及色彩分布上与参考图像保持了高度一致,这一步也可以节省很多的人工。
此外 ToonCrafter 还支持仅通过稀疏草图来引导动画的生成。 如下图,虽然给出的参考草图只有断断续续的几帧,但最终生成动画中,画面整体依旧是连贯流畅的,可见 ToonCrafter 的插帧技术确定十分强大,可以有效简化动画的制作流程。
二、在线体验
Huggingface Demo: https://huggingface.co/spaces/Doubiiu/tooncrafter
Replicate Demo: https://replicate.com/fofr/tooncrafter
因为 ToonCrafter 是开源工具,因此在其代码和模型权重公开之后,很快就有人在 Huggingface 和 Replicate 上对其进行了线上部署,因此我们也可以免费体验这款 AI 动画神器的效果。
Huggingface 上的 ToonCrafter 目前支持通过首尾帧生成动画,上传你的图像(最好是横幅),然后在 prompt 中描述画面内容以及你需要的动态,再点击「generate」生成即可。我用 midjourney 生成了一张小王子的卡通图像,并用 vary region 功能对他的披风进行处理,最终得到了一段非常不错的小动画。如果没有 ToonCrafter,普通人很难这么轻松就制作出稳定的动画效果。
动画效果:
Replicate 上的生成功能则更强大一些,它支持上传最多 10 张插帧图像,让用户可以对动画过程进行更准确的控制。比如你可以生成一个人物不同角度、不同神态的多张图像,然后让 ToonCrafter 进行动画处理,最终就能得到一段流畅的人物动画了,非常推荐专业的动画制作人员尝试一下这个功能。
上传的 3 张图像:
生成的动画: