AI 的跨界，只有想不到，没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作，不仅能分析出用了什么颜料、怎么画的，还能知道 500 年前拿着画笔的是不是拉斐尔本人。
DALL-E、MidJourney 等工具的诞生，让我们看到了 GenAI 高超的「创作技能」。但如果反过来，让 AI 去分析艺术大师的画作，它们又会有怎样的表现？
最近，Science Advances 封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了 MA-XRF 扫描，并使用深度学习模型进行分析。
结果发现，AI 不仅处理速度快，给出的结果也相当准确，还能为我们提供全新的见解和视角。
给油画做 CT，让 AI 看片子
论文地址：https://www.science.org/doi/10.1126/sciadv.adp6234
过去十年中，利用成像技术对绘画进行非侵入性研究方面取得了飞快的进展。
艺术学家们不再只凭借自己的肉眼或实验对画作进行分析，而是采用类似于 MA-XRF（宏观 X 射线荧光）的技术，进行颜料识别、颜料分解、虚拟修复等应用。
然而，无论进行哪种用途，每次成像都会产生大量数据集，并且分析数据也需要特定的专业知识。因此，为了高效地利用这些复杂数据，计算机辅助的程序分析和计算方法也随之发展。
比如，MA-XRF 扫描绘画表面后可以得到含大量数据的 XRF 光谱。扫描区域通常包含上百万个像素，这就意味着输出是三维立方体形式的数百万个 XRF 光谱。
在这个过程中，研究人员们发现，人工智能大有用武之地，而且不仅仅止于数据的处理分析，还可以找出人类学者和经典分析方法容易忽视的新见解。
而这篇论文所使用的模型正是基于 CNN 架构，同时借鉴了 XRF 分析中常用的标准反卷积（deconvolution）方法，以 MA-XRF 光谱作为输入，预测画面上的元素分布，以及每种元素的绝对计数，就能够对所用颜料进行分析。
训练数据集既包括实际 MA-XRF 扫描得到的数据，也使用了合成数据进行训练，共包含 50 万个蒙特卡罗模拟生成的光谱。
MC 模拟进行光谱合成的过程如图 1A 所示，图 1B 则描述了所用深度神经网络的总体架构，可以分为卷积块和稠密块两部分。
原有的 CNN 假定图像各部分具有平移不变性，但显然 MA-XRF 光谱不是如此，每种元素所在的位置就代表了能量大小，这是用于预测的关键信息。
为了移除原有 CNN 中的平移不变性，训练卷积块时会先保持密集块参数固定，卷积块训练完成后才会启用。
图 1 方法示意图（A）MC 模拟中使用的图像模型示意图，生成用于训练网络的合成 XRF 光谱（B）神经网络的示意图，分为两部分：卷积块和密集块
为了进行试点实验，研究人员对两幅拉斐尔的画作进行了扫描，分别是《God the Father》（圣父上帝）和《Virgin Mary》（圣母玛利亚）。
1500 年，「文艺复兴三杰」之一的拉斐尔为教堂创作了一幅宏伟的祭坛画，但目前仅存有四幅残片，这两幅就是其中之二，现藏于意大利那不勒斯的卡波迪蒙特博物馆。
左下：《圣母玛利亚》右：《圣父上帝》
对《圣母玛利亚》的人物面部分析如图 3 所示。从元素分布图像中可以推断出，打底层和高光中使用铅白（PB-L），人物肤色和明暗对比中使用了朱红色（Hg-L）。
窗帘上的绿色是铜绿（Cu-K），而且人物的蓝色斗篷上也存在铜元素，表明使用的颜料矿石是蓝铜矿，并与天青石、铅白进行了混合，这一点可以从钾和铅的分布图推断出来。
图 3 从 B 至 F 依次是 PB-L、Hg-L、Au-L、Cu-K、Fe-K 等元素的映射图，左侧显示模型预测结果，右侧显示参考结果
除了推断颜料成分，这项技术还能帮我们分析拉斐尔的绘画技巧，帮我们看到这位大师在面部造型中采取了怎样的微妙技法。
和上图一样，依旧有大量的铅白色打底，使用土黄色的赭石（含大量铁）赋予面部的三维度和阴影，眼周的红朱砂（汞）和铜基颜料共同打造出了一种微妙的肤色。
图 4 D 为从元素分布图合成的 RGB 图像，其余依次为扫描区域原图以及 PB-L、Hg-L、Pb-M、S-K 等元素的分布图
图 5B 则能让我们更精细地看到拉斐尔如何用铅勾勒出建筑的细节，此外，铁元素和锌元素含量的显著线性关系（图 5E）则能告诉我们，他使用的赭石中包含大量锌元素。
图 5 画中建筑细节的高分辨率 MA-XRF 元素分布图
从图 3-5 的元素分布图，以及图 7 的量化结果中可以看出，模型的预测结果与参考值匹配程度很高，元素净计数也遵循相同的分布。
此外，经过艺术学家的判断，神经网络推断出的颜料调色板符合 15 世纪画家的实践方法，并与其他方法所调查出的拉斐尔早期作品调色板相匹配。
图 7 元素分布图对比
这些发现代表了人工智能集成的关键进步，AI 可以帮助更准确、更高效地分析 XRF 光谱，从而进一步促进艺术领域各个学科的专家之间的合作。
这项方法的成功建立在两个关键支柱之上。首先，我们已知的关于 X 射线如何与物质相互作用，包括能量色散探测器的光谱响应；其次，先进的模拟软件能够生成与 XRF 仪器所获得的非常相似的合成光谱。
AI + 画作，发展「计算机辅助鉴赏」
事实上，Science 刊登的这篇研究并不是艺术学家们首次和 AI 进行跨界合作。
去年 11 月，《福布斯》杂志就报道过一位英国学者的研究，而且同样是针对拉斐尔的画作。
他们使用深度学习算法分析了这幅《Madonna of the Rose》（玫瑰圣母），发现其中男性人物的脸（Joseph）并不是拉斐尔本人绘制的。
更加巧合的是，这个结果与艺术学家们长期以来的怀疑不谋而合。
长期以来，学者们就推测这幅画有拉斐尔以外的其他人参与，并且还注意到，Joseph 面部的构图和描绘水平比不上画面中的其他人物。
《玫瑰圣母》
研究人员仅用了 49 幅经过认证的拉斐尔画作，就训练出了一个深度学习系统，通过笔触、调色板和阴影等 4000 多个视觉特征识别艺术家的作品，准确率高达 98%。
论文作者 Hassan Ugail 表示，相比任何人在不借助任何工具的情况下进行分类或鉴别，AI 的准确率要好得多。
算法分析了拉斐尔画作的各个部分，以确认哪些由艺术家本人绘制
然而，论文合著者、斯坦福大学的 David G. Strok 提醒我们，目前仅靠计算机结果仍不足以完成大多数艺术史领域的任务。
如果与传统的鉴赏方法和艺术史研究相结合，计算机工具与 AI 技术将大有可为。一个正确的算法、一个经过恰当训练的 AI 模型，将节省宝贵的时间和资源，帮助我们更好地发掘艺术宝库。
参考资料：
https://www.science.org/doi/10.1126/sciadv.adp6234
https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/
本文来自微信公众号：微信公众号（ID：null），作者：新智元