我们的侦探解密游玩开发接近尾声，于是开发者们开始疯狂的折磨 AI。众所周知，开发者玩 AI 游玩基本不会玩游玩，所以折磨 AI 就成了大家日常解压的工具。好在我们的 AI 脚色一个个脾气好性格好，不会急，就开心的沦为了群聊的视频素材。
当视频在手机上无法加载，可前往PC查看。
既然如此今天我们就不聊游玩，聊聊我们对 AI 视频生产管线的一些探索和思考。
传统的游玩动画生产过程中，如果是个简单的剧情对话类的动画，大概需求经过以下步骤：
整体剧情方向肯定
写剧本，直到剧本肯定
根据剧本，拆分任务过程，肯定脚色上演台本
根据任务过程，确认上演区域和上演脚色（还可以包括提资源需求）
设置舞台，布置脚色站位、位移动线
制作上演镜头
制作脚色上演表现，举措表情等（在这一步其实算是初版了）
加入配音、特效材质、灯光等处理
根据整体动画节奏，从事调优，比如表情卡配音的重音点
完成，导出。
在与团队协作不休反复这个工业化过程时，我们慢慢觉得可以将过程转变为：
①前期准备
建立世界观和各种知识库（给 AI 用的你懂的）
建立各种上演用的财产库（镜头库、举措库、效果库）
建立脚色卡，关联各种库。
②在 AI 的辅佐下续写剧情，根据需求输出各种库的财产需求。
③根据任务过程，在 AI 的辅佐下确认上演区域和上演脚色。
④在对应的引擎内位置，在 AI 的辅佐下生成动画序列初版（一次性生成语音、表情、举措、镜头、灯光、特效）。（动画序列：UE：Sequence/Unity：Timeline）
⑤根据整体动画节奏，从事调优，先调整上演节奏，再微调灯光和镜头。
⑥完成，导出。
也就是说，借助 AI 的能力不休的迭代和滚动一组项目的库，而让 AI 辅佐设计师和开发者从事动画生产的提效工作。随着互相的熟悉应该可以异步协作，越来越快。
既然已经涉及到了各种公共库和各种 AI 能力，那么，这个工具本身就要从一个本地工具变成一个“关联本地”的 SaaS 服务。我们思考了很久，这样一个 SaaS 该按照什么顺序从事开发，最终决定：以终为始。从末端开始，逐步向前开发，用后一步的结果逆推前一步需求的东西都是什么。
经过相当长的一段时间的尝试，我们将剧情动画的要素按照以下内容从事分类：
①摄像机把持
机位选择
切镜头时机
运镜方式
②脚色把持
脚色姿态把持
脚色间互动关系把持
脚色移动把持
脚色上演播放把持
那么下一步就是探索如何将这些东西准确的摆出来。已知条件是我们的对白台本已经有了。那么我们就可以以此为始从事整个动画序列生成。
一般情况下，游玩所使用的剧情对话表必然会存在两列：说话脚色名和脚色说的话。于是我们就可以知道脚色的身份信息，结合上下文 AI 可以进一步分析出脚色的情绪。我们还可以通过脚色卡知道脚色应该用哪个音频模型，用适宜的情绪生成配音。拿到配音之后，我们终于肯定了上演上的第一个基准线：音频时长。
接着，就是在这个基础上去扩展上演的内容：举措。一个 AI 负责生成口型，另一个 AI 通过分析台词，将适宜的举措建立在适宜的时间点。这时可能会出现一次对时间的调整——配音的时长不一定足够脚色的举措上演完整。
此时，这个 Seuqnce 的基本内容已经有个底子了。下一步就该导演 AI 上场了。作为赛博导演，他的主要工作就是决定适宜启用哪个摄像机，以及决定这个相机该怎么动。他现在知道这些信息：脚色的站位，每句台词的时长和情绪，脚色的说话顺序。他需求利用这些信息，将脚色之间的互动关系从事整理，并将适宜的机位选择出来。
这个家伙虽然叫导演，但是往往需求听从甲方（人类）的指挥，所以他有一组专门的配置表，让他知道他的甲方希望他用哪些镜头。他在其中选择最适宜的，并且去避免出现越轴等常识性错误。（如果手勤快的话，它甚至可以不是个 AI）
最后就是灯光师，根据机位和脚色的位置，选择启用适宜的灯光（对，它也可以不是个 AI）。
其实一个 Sequence 的确认过程，必然离不开人类的不休产生“新想法”以及作为甲方“再试试内样来一个”的需求。同时还要做好“还是第一版好”的准备。因此，整个动画生产管线需求支持用户在这个过程中手动调整，并重新顺次调整后续的结果。以及，记录每一次生成的 Seed，用于回滚（叫固化结果也行）。
解决完这个视频生成阶段的问题，我们继续向上游走，也就是剧情对白的生产，这也就是常规意义上的剧情续写。重点的思考过程在于，希望整个过程变成一个持续滚动，可以异步并行的管线。剧情设计者和动画的制作人员和 AI 都能时刻保持“资源和知识是最新的”。
①在剧情书写的过程中，有几个 AI 助理在时刻保持知识库的更新。
脚色需求知道的知识
剧情世界观上发生的事情
各种实体关系的变化
关键信息
… …
上述知识都需求根据对应的时间/章节/任务/（更符合项目使用的方式）从事管理，并加上对应的标签。（如果团队里的人类不够多，可能还需求一个专门的 AI 来管理标签）
②同时，美术同学在肯定项目所需的基础骨骼之后就可以开始根据策划需求输出的动画财产了。而策划要在此基础上建立举措库。
举措库不是所有举措的列表，而是每个脚色可以用的举措列表。
一个项目理论上会有“无论如何都一定要有的财产”，这些财产可以在不等策划的情况下直接开整。
而随着剧情中涉及“上演”的内容不休出现，助理 AI 就需求将其中的举措需求整理出来。此处涉及到财产需求的撰写，相同财产的合并以及人工审核。
当确认可用的财产不休变多，前文提到的剧情上演就有了更多优化的空间，可以让逻辑驱动再跑一次。
③当脚色卡、知识库和美术财产库（尤其是举措库）在一起时，就可以实现让动画生成管线根据脚色卡的配置调用符合脚色当前状态的“专用上演”内容了。