动画
中科大提出新视频流制作动画解决方案RAIN，可实现真人表情移植和动漫实时动画
中科大提出了一种新的视频流制作动画解决方案RAIN，能够使用单个RTX 4090 GPU 实时低延迟地为无限视频流制作动画。 RAIN 的核心思想是有效地计算不同噪声水平和长时间间隔的帧标记注意力，同时对比以前基于流的方法多得多的帧标记进行去噪。 这种设计允许 RAIN 生成具有更短延迟和更快速度的视频帧，同时保持对扩展视频流的远程注意力，从而增强连续性和一致性。
Adobe 推出多款 AI 工具：可构建 3D 场景、消除路人、清洁镜头
据 The Verge 今天凌晨报道，Adobe 近期展示了多款实验性的 AI 工具，可用于动画制作、图像生成、照片及视频的优化等领域，未来有望被整合到 Creative Cloud 中。Project Scenic：该工具可让用户在使用 Firefly 模型生成图像时拥有更大的控制权。其能够生成一个完整的 3D 场景，用户可以自由添加、移动、调整场景中的物体大小，最终结果会根据 3D 场景生成相应的 2D 图像。
AI 斗图神器：普通视频秒变 meme，手绘动画轻松融入
哎鸭，鸭鸭摔倒了！鸭鸭是真的，摔跤是真的，但端的咖啡和端咖啡的手，是 AI 给 p 上去的。△ 还好手里的咖啡只洒了亿点点来自一个开源项目，VideoDoodles，这两天在外网上的讨论度直线上升。这项目妙就妙在，能给视频加上手绘风格的涂鸦，可可爱爱的也行，奇奇怪怪的也行。就跟人工一帧一帧画上去的没差。这对目前市场上大多数的 2D 视频编辑软件来说，还是比较难的。想要达成同等效果，一般还是得创作者真・一帧一帧画上去。怪费力气的。但 VideoDoodles 能靠在视频中重建 3D 场景，然后在其中放置平面画布，来生
一键照片变表情包，腾讯混元与港科大、清华推出“Follow Your Emoji”
腾讯混元联合港科大、清华大学推出肖像动画生成框架“Follow Your Emoji”，只需给定一张照片，“Follow Your Emoji”就能将其转化为“活灵活现”的面部动画，同时能够捕捉微妙表情变化。IT之家附论文地址：：，“Follow Your Emoji”可以支持对脸部进行精细化的控制，包括眉毛，眼珠，翻白眼等细节，动物表情包也可以轻松“拿捏”。此外，Follow Your Emoji 不仅支持单个表情多肖像的生成，也支持单个肖像多表情的生成。▲ 最左为原始图片“Follow Your Emoji”有
腾讯混元联合港科大及清华推出「Follow Your Emoji」， 一键让照片变表情包
图生视频又有新玩法。腾讯混元联合港科大、清华大学联合推出肖像动画生成框架「Follow Your Emoji」，可以通过人脸骨架信息生成任意风格的脸部动画，一键创建“表情包”。基于算法革新和数据积累，「Follow Your Emoji」可以支持对脸部进行精细化的控制，包括眉毛，眼珠，翻白眼等细节，动物表情包也可以轻松“拿捏”。Follow Your Emoji不仅支持单个表情多肖像的生成，也支持单个肖像多表情的生成。近年来，扩散模型展示了比旧的对抗式（GAN）方法更好的生成能力。一些方法利用强大的基础扩散模型进行
给文字动画注入语义灵魂！港科大开源「文字跳动」技术，每个单词都浪漫
【新智元导读】香港科技大学和特拉维夫大学的团队开源了基于视频大模型的「文字跳动」（Dynamic Typography）技术，仅需选择一个字母，并给出一段简单的文字描述，就可以生成 SVG 动画让这个字母「跃然纸上」。ROMANTIC（浪漫的）中的「M」，变成了一对情侣手拉手，前后走。Father（父亲）中的「h」，被演绎为一个父亲耐心地牵着他的小孩一起散步。PASSION（激情）中的「N」，可以化为一对情侣拥吻在一起。SWAN（天鹅）中的「S」，竟变成一只天鹅优雅地伸展着她的脖颈。TELESCOPE（望远镜) 中
完美世界端游《诛仙世界》接入英伟达 Audio2Face 技术，可根据音频生成角色表情
感谢完美世界游戏官宣，完美世界游戏旗下仙侠 MMORPG 端游 《诛仙世界》 接入了英伟达 Audio2Face 技术（生成式 AI 将音频转为动画技术）。《诛仙世界》是完美世界游戏旗下首款由虚幻引擎 5 打造的仙侠 MMORPG 端游，本次展示的游戏画面片段，实装了英伟达 Audio2Face 技术，借助生成式 AI 将音频转为面部动画。完美世界游戏官方表示，英伟达 Audio2Face 技术“提高了开发效率，呈现了更为真实的智能化游戏体验”，该技术特性如下：具有接入难度低且高自动化的特点，提高开发效率；支持多种
腾讯联合清华大学、香港科技大学推出全新图生视频模型“Follow-Your-Click”：用户指哪动哪
感谢腾讯和清华大学、香港科技大学联合推出全新图生视频模型 “Follow-Your-Click”，目前已经上架 GitHub（代码四月公开），同时还发表了一篇研究论文（IT之家附 DOI:2403.08268）。这款图生视频模型主要功能包括局部动画生成和多对象动画，支持多种动作表达，如头部调整、翅膀拍动等。据介绍， Follow-Your-Click 可以通过用户的点击和简短动作提示生成局部图像动画。用户只需点击对应区域，加上少量提示词，就可以让图片中原本静态的区域动起来，一键转换成视频，比如让物体微笑、跳舞或飘动
盘点如何用AI做动画，还有各种工具等你取用
图像生成、视频生成、整合语音合成的人脸动画、生成三维的人物运动以及 LLM 驱动的工具…… 一切都在这篇文章中。生成式 AI 已经成为互联网的一个重要内容来源，现在你能看到 AI 生成的文本、代码、音频、图像以及视频和动画。今天我们要介绍的文章来自立陶宛博主和动画师 aulerius，其中按层级介绍和分类了动画领域使用的生成式 AI 技术，包括简要介绍、示例、优缺点以及相关工具。他写道：「作为一位动画制作者，我希望一年前就有这样一份资源，那时候我只能在混乱的互联网上自行寻找可能性和不断出现的进展。」本文的目标读者是
SIGGRAPH 2021 | 学习带神经融合形状的人物动画
本文是对发表于计算机图形学顶级会议 SIGGRAPH 2021 的论文 Learning Skeletal Articulations with Neural Blend Shapes 的解读。
该论文由北京大学陈宝权教授研究团队与北京电影学院未来影像高精尖创新中心、Google Research、特拉维夫大学以及苏黎世联邦理工学院合作，针对骨骼驱动的模型动画的高质量自动化生成进行改进，提出了神经融合形状技术。实验证明，该方法显著减少了已有方法中需要的人工干预，大大提升了生成动画的质量。
- 1