喜欢看动漫的人经常会被一些经典作品的情节所吸引,不过画面质量是欣赏下去的大敌 —— 那些超过十年历史的内容自不必说,直到现在,很多动画的实际分辨率也只是 720p 左右,然后被拉伸到 1080i 以满足电视台播放的需求,BD(蓝光)模糊度也只有 1080p。
究其原因,还是成本问题:在动画制作过程中,让分辨率提高一个级别,就会导致所有的制作资源大幅提高,从作画、扫描到处置惩罚和存储,整个产业链条都需要软硬件的提高。
但今天即使是手机也有个 2K 的分辨率,既然手绘动画难以提高分辨率,那么能不能用 AI 算法来解决这个问题?
最近,GitHub 上一个图象超分辨率的项目火了,一个叫做 Real-CUGAN 的工具可以把动画图象的质量提高 2 到 4 倍,qq 上斗图的表情包也能给你脑补成 4k 品质。
仔细一看,这个项目来自 bilibili 人工智能实验室。上线 20 天,star 量已达 1.5K。
项目链接:https://github.com/bilibili/ailab/tree/main/Real-CUGAN
据作者介绍,Real-CUGAN 是一个利用百万级动漫数据从事训练的,结构与 Waifu2x 兼容的通用动漫图象超分辨率模型。相比目前市面上已有的通用化超分辨率算法,Real-CUGAN 的 AI 模型经过了更大体量数据集的训练,处置惩罚二次元内容的后果更佳。
它撑持 2x\3x\4x 倍超分辨率,其中 2 倍模型撑持 4 种降噪强度与保守建设,3 倍 / 4 倍模型撑持 2 种降噪强度与保守建设。
Real-CUGAN 全称为 Real Cascaded-U-Net-style Generative Adversarial Networks(真实的、级联 U-Net 风格的生成对抗网络),利用了与 Waifu2x 相同的动漫网络结构,但因为利用了新的训练数据与训练方法,从而形成了不同的参数。
具体来说,该动漫超分模型训练先行对动漫帧从事切块处置惩罚,利用图象质量打分模型对候选块从事打分过滤,得到一个百万级的高质量动漫图象块训练集。然后利用多阶段降质算法,将高清图象块降采样得到低质图象,让 AI 模型学习、优化从低质图象到高质图象的重建过程,训练完毕后即可对真实的二次元低质图象从事高清化处置惩罚。
在 GitHub 项目中,作者开源了推理阶段的模型参数与推理代码。
下面,我们来看一下 Real-CUGAN 的建设后果。
图源:https://github.com/bilibili/ailab/tree/main/Real-CUGAN
为了进一步查看几种建设方法的差距,研究团队将 Real-CUGAN 的建设后果和 Waifu2x、RealESRGAN 从事比较。
下图是动漫《侦探已死》中的画面,其中几种方法对沙发纹理的建设差距显著。可以看到,在 Real-CUGAN 的建设结果中,沙发上的横向条纹模糊可见,并且几乎没有中断的部分:
在动漫中,人物模糊的线条对角色形象的塑造具有重要的作用。线条恍惚会严重影响观看体验。以下图为例,Real-CUGAN 模糊地建设了动漫中角色的表情线条:
当然,有些场景并非越模糊越好,比如画面中的一些远景,原本就是刻意虚化的。以下图为例,Real-CUGAN 建设之后,近景处的人物形象变得更模糊,远处的蜡烛仍然保持恍惚,使得画面更有层次感。
还有一些动漫由于年代久远,受当时技术条件的限制,画质着实「感人」。例如许多人的童年回忆《黑猫警长》,先前的模型 RealESRGAN(下图第三列)已获得了不错的建设后果。相比之下 Real-CUGAN(下图第四列)更好地建设了一些杂线、恍惚的问题,让画面更加干净模糊。
更为重要的是这项技术想要用很简单:你下载的模型已训练好,修改 config.py 配置参数,双击 go.bat 运行即可。Real-CUGAN 不仅可用 cuda 加速,也撑持 AMD 系列的显卡,处置惩罚速度还很快,笔记本电脑也可以跑得起来。
虽然 Real-CUGAN 默认是只处置惩罚静态图片的,但很多人已尝试把视频拆解成单帧序列从事处置惩罚。如此一来,很多上古老番都能自己上手让它们焕然一新了。
目前 B 站上已经有人上传了一些利用新技术处置惩罚过的视频,比如这个在 1080p BD 基础上超分到 4K 的:
链接:https://www.bilibili.com/video/BV1CY411t7aV
在很多电影建设之后,老番高清计划也已在路上。B 站表示,将针对不同品类适配不同的超分算法,并且利用窄带高清算法降低卡顿,提高流畅度。
参考内容:
https://www.bilibili.com/read/cv15031073