设定一个3D场景，你便可以用文字编织你的剧情。
一句话，就能让两个人激烈争吵。
吵完之后，又温馨共舞起来~
想怎么排就怎么排，就像影视拍摄或舞台剧的编排一样，只需在剧本中设定角色的行动、互动和环境要素，就能自动生成符合逻辑的3D角色动画，让你的剧情真正“动”起来。
来自北京航空航天大学、香港中文大学（深圳）、悉尼科技大学、中山大学等高校的研究者提出Sitcom-Crafter。成果已被ICLR 2025会议接收。
作为一项探索性研究，它重点解决基于场景的多人交互运动生成问题，尝试如何整合多种动作生成技术，为创意工作者提供更加高效的工具。
来看看是如何解决的吧。
助你打造3D剧情世界
你是否曾梦想，只需撰写一个剧本，就能在3D场景中自动呈现生动的角色演出？现在，这一愿景正逐步成为现实！
在动画和游戏制作中，角色的动作设计是一项关键任务，通常需要人工精细调节或依赖昂贵的动作捕捉技术。
而现有的自动化方案往往局限于单一类型的动作，难以满足复杂剧情中多人互动和场景交互的需求。
Sitcom-Crafter的核心创新在于场景感知的多人交互运动生成。
在多人互动的3D剧情动画中，角色之间的动作协调和场景适应性是决定动画质量的关键。Sitcom-Crafter提出了场景感知的角色-角色交互生成模块，专门解决多人交互中的碰撞、动作同步以及场景适应性等问题。
现有的多人交互运动生成方法未考虑3D场景信息，直接应用到3D场景时，角色容易与环境物体发生严重碰撞。
Sitcom-Crafter采用自监督SDF（Signed Distance Function）策略，在训练过程中自动生成环境3D体素点信息，自动标注哪些区域可行走，哪些为障碍物：
- 提取角色运动轨迹，生成3D网格模型
- 计算步行区域的凸包，标记角色可活动的地面范围
- 合成3D障碍物，通过二值SDF计算物体分布
- 将SDF作为模型条件输入，在生成过程中主动规避场景碰撞
基于此，Sitcom-Crafter在无需额外数据采集的情况下，利用已有的人体标记点数据智能推测场景信息，自动生成物理合理的互动，使角色动作更加自然。这一创新降低了数据成本，提高了创作效率，为动画和游戏行业提供了一种新的探索方向。
数据规范化策略，优化角色交互建模
传统方法在多人交互数据处理时，采用单角色归一化，即将一个角色固定在原点，另一角色相对其位置进行建模。然而，这种方式导致模型难以同时学习两位角色的动态特性。
Sitcom-Crafter提出了双角色局部归一化策略：
- 每个角色的骨盆位置，作为局部坐标原点
- 所有骨架标记点，相对于角色自身骨盆位置计算
- 仅对骨盆的全局位移建模，简化数据分布
通过这一策略，Sitcom-Crafter使两位角色的运动分布更加一致，避免了传统方法中一方角色较易学习，而另一方角色较难学习的问题。
多模块协同，让角色动作更加自然
Sitcom-Crafter采用“核心动作生成”+“增强优化”的双类型模块架构，以确保动作的多样性、流畅性与一致性。
三大核心生成模块——支撑剧情中最重要的角色动作
角色移动 （Locomotion）：基于前沿技术，角色可在3D场景中自然行走。角色-场景交互 （Human-Scene Interaction）：角色可感知环境，与物体进行符合物理逻辑的交互。角色-角色互动 （Human-Human Interaction）：采用创新的3D场景感知方法，减少角色之间及角色与场景的碰撞，使动作更加协调。
五大增强模块——让生成的动画更具沉浸感
- 剧情解析：AI自动拆解剧本，转化为具体的角色动作指令。
- 动作同步：确保多个角色在互动时节奏匹配，避免生硬的动作衔接。
- 手势优化：智能匹配手部动作，使角色的表现更加生动自然。
- 碰撞修正：检测并修复角色之间的潜在碰撞问题，提升动画流畅度。
- 3D角色重定向：将动作适配至不同风格的3D角色模型，保证最终视觉效果。
Sitcom-Crafter充分展现了其在智能化角色动画生成方面的强大潜力。实验结果表明，该系统能够在多个开源3D场景中生成多样化且符合物理约束的角色动作。下图摘录的部分实验数据进一步验证了Sitcom-Crafter在物理一致性和约束生成能力方面的卓越表现。
（FS：足部滑动检测、FP：足部穿透检测、HSP：角色与场景碰撞检测、HHP：角色间干扰检测）
Sitcom-Crafter在3D剧情动画和游戏制作领域展现出广阔的应用前景，为多角色动作生成提供了创新性的解决方案，进一步推动了角色动画创作的智能化进程。
项目主页：https://windvchen.github.io/Sitcom-Crafter/
论文链接：https://arxiv.org/abs/2410.10790
