AI 虽然能帮你完成大多数工作,但作画也是需要一定技巧的。或者说它可以让你的所有想法暴露在光天化日之下。
想给自己画个二次元妻子,但发现自己是个手残,怎么办?
问题不大,这里有个神器,你只需要涂抹出轮廓,剩下的交给 AI:
二次元妻子生成器的名字叫做「WAND」,现在已经在苹果应用商店上线了,目前提供 iPhone 和 iPad 两类设备的限时免费下载,登上了AppStore图形与设计榜下载量Top1。
「WAND」刚发布就火出了圈,在社交搜集上看,很多人已经率先试用了,作品是这样的:
画出了各种漂亮的小姐姐:
嗯,三次元也可以的,还可以这样操作:
虽然但是,一部分手残党的失败案例,也会让自己 SAN 值狂掉:
编辑部实测
鉴于「不试试怎么知道」的想法,编辑部也下载了一个 WAND,并翻出了手机相册里珍藏多年的二次元妻子照片。
WAND 提供的功能很丰富,你可以直接上传一张二次元头像,然后生成其他作风版本的「妻子」。这里我们上传的是无人不爱的辉夜大小姐:
可见 AI 还贴心地帮你解决了发际线的问题。
还可以在画板上对人像进行调整,改造一番。此处手残党要高度警惕,不要搞出一些惊悚创作,破坏「妻子」的形象。
如果是线稿,导入后也会自动上色,切换作风还能得到多个版本:
即使你对现在的二次元妻子们都不满意(过分),也可以从零开始,亲手捏一个出来,只不过,二次元妻子的上限将完全取决于你的艺术造诣。
多少憨憨心碎于此:
而且,这个 App 还埋了一个功能:「真人模式」。一旦选择「Realistic」,再来张自拍,你或许会陷入深深的思(jue)考(xing)之中……
最终,用户们悟到了这个 App 的真谛:
其实,使用的时候也有一些小技巧。比如作者表示,在上传照片时,尽量只让人脸在整个框内,识别和生成的效果会更好。
吸收各方反馈,WAND 后续可以做一些改进:
还有很多人问,Android 版什么时候有呀?
机器之心帮忙向开发团队询问了一下,作者表示:「已经新建文件夹了。」相信用不了太久,Android 用户就可以在自己的手机上亲手画二次元妻子了,同时「老公版」的WAND 也正在制作中。
据了解,「WAND」背后的开发团队影眸科技孵化于上海科技大学,团队聚焦于前沿人工智能、计算机视觉技术在影视制作、大众娱乐市场的推广应用,近期也有相关研讨入选 ICCV 2021 等顶会。
SofGAN
看完了 APP 效果,我们来看下背后的技术。据项目介绍,该软件鉴于上海科技大学 ACM Transactions on Graphics 2021 的一篇研讨论文实现。
论文地址:https://arxiv.org/pdf/2007.03780.pdf
项目主页:https://apchenstu.github.io/sofgan/
尽管生成对抗搜集(GAN)已被广泛用于人像图象生成,但在 GAN 学习的潜伏空间中,不同的属性,如姿态、形状和纹理作风,通常是纠缠在一起的,这使得对特定属性的显式控制变得困难。为了解决这个问题,该研讨提出了一个名为 SofGAN 的图象生成器,将人像的潜伏空间解耦为两个子空间:几许空间和纹理空间。从两个子空间采样的潜伏代码分别馈送到两个搜集分支,一个生成具有规范姿态的人像的 3D 几许图形,另一个生成纹理。对齐的 3D 几许图形还带有语义部分分割,编码为语义占用字段(semantic occupancy field,SOF)。SOF 能够在任意视图渲染一致的 2D 语义分割图,然后将其与生成的纹理图融合并使用语义 instance-wise(SIW)模块将其作风化为人像图象。该研讨通过大量实验表明该系统可以生成具有独立可控几许和纹理属性的高质量人像图象。此外,该方法还可以很好地推广到各种应用中,例如外观一致的面部动画生成等。
在 StyleGAN 中,鉴于不同级别的输入潜伏向量,图象的作风在每个卷积层上通过特征来控制。这种控制机制虽然有效,但并没有提供对单个属性的独立控制,很大程度上是由于各种属性的纠缠。为了解决这个问题,该研讨将生成空间分解为两个子空间:几许空间和纹理空间,如下图 3 左所示。
该研讨提出的生成 pipeline 概览。
几许空间中的每个样本都可以被解码为 SOF 搜集的权重,该搜集表征了带有伴随语义标签的 3D 连续占用字段 (SOF)。在渲染阶段,给定任意查询视点,该方法将使用光线移动框架将 SOF 映射为 2D 分割图。SOF 的使用确保了视图的一致性。接下来该研讨遵循语义图象合成框架提出了一个鉴于语义的 instance-wise 的生成模块,来生成逼真的图象。
几许建模
相比于先前已有的方法,该研讨提出了一个更稳定的光线移动器,用于根据当前位置特征和光线方向预测步长,如下图 4 所示。
图 5 展示了一个 SOF 样例,其中包含针对体(volume)内每个点的预测语义标签(只显示最高概率的标签)。
图 5:SOF 是一个 3 维的体,每个空间点都有一个𝑘−class 语义概率。
纹理合成
该研讨使用 SIW 卷积层将鉴于区域的特征图放大为高分辨率图象,如下图 6 所示。
图 6:该研讨的 SIW 生成模块。