Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

AI 的跨界,只有想不到,没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作,不仅能分析出用了什么颜料、怎么画的,还能知道 500 年前拿着画笔的是不是拉斐尔本人。DALL-E、MidJourney 等工具的诞生,让我们看到了 GenAI 高超的「创作技能」。但如果反过来,让 AI 去分析艺术大师的画作,它们又会有怎样的表现?最近,Science Advances 封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了 MA-XRF 扫描,并使用深度学习模型进行分析。结果发现,AI 不

AI 的跨界,只有想不到,没有办不到。艺术学家们用深度学习模型分析拉斐尔的画作,不仅能分析出用了什么颜料、怎么画的,还能知道 500 年前拿着画笔的是不是拉斐尔本人。

DALL-E、MidJourney 等工具的诞生,让我们看到了 GenAI 高超的「创作技能」。但如果反过来,让 AI 去分析艺术大师的画作,它们又会有怎样的表现?

最近,Science Advances 封面刊登了一篇来自意大利文化遗产科学研究所的论文。他们将两幅著名的拉斐尔画作进行了 MA-XRF 扫描,并使用深度学习模型进行分析。

结果发现,AI 不仅处理速度快,给出的结果也相当准确,还能为我们提供全新的见解和视角。

给油画做 CT,让 AI 看片子

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

论文地址:https://www.science.org/doi/10.1126/sciadv.adp6234

过去十年中,利用成像技术对绘画进行非侵入性研究方面取得了飞快的进展。

艺术学家们不再只凭借自己的肉眼或实验对画作进行分析,而是采用类似于 MA-XRF(宏观 X 射线荧光)的技术,进行颜料识别、颜料分解、虚拟修复等应用。

然而,无论进行哪种用途,每次成像都会产生大量数据集,并且分析数据也需要特定的专业知识。因此,为了高效地利用这些复杂数据,计算机辅助的程序分析和计算方法也随之发展。

比如,MA-XRF 扫描绘画表面后可以得到含大量数据的 XRF 光谱。扫描区域通常包含上百万个像素,这就意味着输出是三维立方体形式的数百万个 XRF 光谱。

在这个过程中,研究人员们发现,人工智能大有用武之地,而且不仅仅止于数据的处理分析,还可以找出人类学者和经典分析方法容易忽视的新见解。

而这篇论文所使用的模型正是基于 CNN 架构,同时借鉴了 XRF 分析中常用的标准反卷积(deconvolution)方法,以 MA-XRF 光谱作为输入,预测画面上的元素分布,以及每种元素的绝对计数,就能够对所用颜料进行分析。

训练数据集既包括实际 MA-XRF 扫描得到的数据,也使用了合成数据进行训练,共包含 50 万个蒙特卡罗模拟生成的光谱。

MC 模拟进行光谱合成的过程如图 1A 所示,图 1B 则描述了所用深度神经网络的总体架构,可以分为卷积块和稠密块两部分。

原有的 CNN 假定图像各部分具有平移不变性,但显然 MA-XRF 光谱不是如此,每种元素所在的位置就代表了能量大小,这是用于预测的关键信息。

为了移除原有 CNN 中的平移不变性,训练卷积块时会先保持密集块参数固定,卷积块训练完成后才会启用。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

图 1 方法示意图(A)MC 模拟中使用的图像模型示意图,生成用于训练网络的合成 XRF 光谱(B)神经网络的示意图,分为两部分:卷积块和密集块

为了进行试点实验,研究人员对两幅拉斐尔的画作进行了扫描,分别是《God the Father》(圣父上帝)和《Virgin Mary》(圣母玛利亚)。

1500 年,「文艺复兴三杰」之一的拉斐尔为教堂创作了一幅宏伟的祭坛画,但目前仅存有四幅残片,这两幅就是其中之二,现藏于意大利那不勒斯的卡波迪蒙特博物馆。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

左下:《圣母玛利亚》右:《圣父上帝》

对《圣母玛利亚》的人物面部分析如图 3 所示。从元素分布图像中可以推断出,打底层和高光中使用铅白(PB-L),人物肤色和明暗对比中使用了朱红色(Hg-L)。

窗帘上的绿色是铜绿(Cu-K),而且人物的蓝色斗篷上也存在铜元素,表明使用的颜料矿石是蓝铜矿,并与天青石、铅白进行了混合,这一点可以从钾和铅的分布图推断出来。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

图 3 从 B 至 F 依次是 PB-L、Hg-L、Au-L、Cu-K、Fe-K 等元素的映射图,左侧显示模型预测结果,右侧显示参考结果

除了推断颜料成分,这项技术还能帮我们分析拉斐尔的绘画技巧,帮我们看到这位大师在面部造型中采取了怎样的微妙技法。

和上图一样,依旧有大量的铅白色打底,使用土黄色的赭石(含大量铁)赋予面部的三维度和阴影,眼周的红朱砂(汞)和铜基颜料共同打造出了一种微妙的肤色。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

图 4 D 为从元素分布图合成的 RGB 图像,其余依次为扫描区域原图以及 PB-L、Hg-L、Pb-M、S-K 等元素的分布图

图 5B 则能让我们更精细地看到拉斐尔如何用铅勾勒出建筑的细节,此外,铁元素和锌元素含量的显著线性关系(图 5E)则能告诉我们,他使用的赭石中包含大量锌元素。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

图 5 画中建筑细节的高分辨率 MA-XRF 元素分布图

从图 3-5 的元素分布图,以及图 7 的量化结果中可以看出,模型的预测结果与参考值匹配程度很高,元素净计数也遵循相同的分布。

此外,经过艺术学家的判断,神经网络推断出的颜料调色板符合 15 世纪画家的实践方法,并与其他方法所调查出的拉斐尔早期作品调色板相匹配。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

图 7 元素分布图对比

这些发现代表了人工智能集成的关键进步,AI 可以帮助更准确、更高效地分析 XRF 光谱,从而进一步促进艺术领域各个学科的专家之间的合作。

这项方法的成功建立在两个关键支柱之上。首先,我们已知的关于 X 射线如何与物质相互作用,包括能量色散探测器的光谱响应;其次,先进的模拟软件能够生成与 XRF 仪器所获得的非常相似的合成光谱。

AI + 画作,发展「计算机辅助鉴赏」

事实上,Science 刊登的这篇研究并不是艺术学家们首次和 AI 进行跨界合作。

去年 11 月,《福布斯》杂志就报道过一位英国学者的研究,而且同样是针对拉斐尔的画作。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

他们使用深度学习算法分析了这幅《Madonna of the Rose》(玫瑰圣母),发现其中男性人物的脸(Joseph)并不是拉斐尔本人绘制的。

更加巧合的是,这个结果与艺术学家们长期以来的怀疑不谋而合。

长期以来,学者们就推测这幅画有拉斐尔以外的其他人参与,并且还注意到,Joseph 面部的构图和描绘水平比不上画面中的其他人物。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

《玫瑰圣母》

研究人员仅用了 49 幅经过认证的拉斐尔画作,就训练出了一个深度学习系统,通过笔触、调色板和阴影等 4000 多个视觉特征识别艺术家的作品,准确率高达 98%。

论文作者 Hassan Ugail 表示,相比任何人在不借助任何工具的情况下进行分类或鉴别,AI 的准确率要好得多。

Science 子刊封面:500 年前拉斐尔怎么作画,AI 看一眼就知道

算法分析了拉斐尔画作的各个部分,以确认哪些由艺术家本人绘制

然而,论文合著者、斯坦福大学的 David G. Strok 提醒我们,目前仅靠计算机结果仍不足以完成大多数艺术史领域的任务。

如果与传统的鉴赏方法和艺术史研究相结合,计算机工具与 AI 技术将大有可为。一个正确的算法、一个经过恰当训练的 AI 模型,将节省宝贵的时间和资源,帮助我们更好地发掘艺术宝库。

参考资料:

https://www.science.org/doi/10.1126/sciadv.adp6234

https://www.forbes.com/sites/lesliekatz/2023/12/22/ai-uncovers-hidden-secret-in-painting-by-renaissance-master-raphael/

本文来自微信公众号:微信公众号(ID:null),作者:新智元

给TA打赏
共{{data.count}}人
人已打赏
应用

o1 规划能力首测:已超越语言模型范畴,preview 终于赢 mini 一回

2024-9-28 15:09:17

应用

工信部:截至 2024 年 6 月底,我国算力总规模达 246EFLOPS

2024-9-28 15:25:32

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索