圣母院、佛像和名画，还有什么是AI不能修的？

Android社区发表于 2022-10-02T16:14:46Z 收藏文章

AI 还原古代遗迹，带你穿越时空

AI 技术在古老建筑修复领域主要涉及：需要高精度图像作为基础。某些破损及裂缝地方，研究人员还要进行样本采集和标定，以获得足够的样本产生高精度的影像 3D 模型。

Design by：NeoMam 工作室

当数据足够时，AI 就会进行数字化的虚拟修复，在残存的建筑图像上生成 3D 的修复效果。目前，在文物修复这一领域。解决方法包括很多算法，比如视觉特征抽取与索引、相机参数恢复、几何模型网格生成、深度神经网络 2D 或 3D 模型训练、纹理合成等等。

无论是有破损的长城，还是大火后的巴黎圣母院，恢复前百年之前的风貌，是 AI 的触角伸入文化领域的一大征兆。英特尔也与武汉大学进行合作，用无人机对长城进行全角度高精度图像采集，生成 3D 模型后，利用人工智能技术进行自动化缺损检测，对长城进行数字化虚拟修复。

长城数字化模型虚拟修复，当一段长城的损毁部位识别出来之后，人工智能就会进行数字化的虚拟修复，在损毁的模型上生成 3D 的修复效果和砖墙纹理，并获得物理修缮所需的工程量的数据，作为对物理修缮的参考建议。

AI 助力重建巴黎圣母院

在巴黎圣母院阁楼被发现起火 1 小时后火势迅速蔓延，火焰从教堂两座钟楼间窜出，随后不久塔尖便烧毁坍塌，卡西莫多的钟楼和玫瑰花窗不复存在。大火烧了 4 个多小时，直至当晚 10 时许，火势才逐渐减弱。一场突如其来的大火让这座 850 多年的世界瑰宝付之一炬。

去年 11 月去世的瓦萨大学（Vassar College）艺术学院副教授 Andrew Tallon，在其生前便完成了对巴黎圣母院的扫描工作，各个角度的建筑全景、3D 和细节图片。大火过后，消逝的巴黎圣母院将在数字世界里永存。

用于三维存档的技术叫做三维激光扫描/激光雷达，可以精确地（1-2 毫米精度）、快速地（每秒测量数十万个点）获取建筑的三维几何信息。获得的数据被称为激光扫描数据或点云数据。

Design by：Andrew Tallon

颂扬中国皮影戏的 AI 实验

在 Shadow Art 中，您可通过在笔记本电脑或手机摄像头前摆弄手，形成十二生肖动物的手影。如果手影正确匹配，系统便会将手影转换成相应动物的动画影象。该装置利用 TensorFlow 帮助人们探索皮影戏艺术。

Design by: Miguel de Andres-Clavera

模型将输入图像（用户的手部图像）与给定的一组类模板进行对比，以此判断最相似的图像。借助此方法，我们可以自由地为每个类添加或移除图像模板，甚至可以在不重新训练模型的情况下引入新的类。

鉴于分类结果，利用从模型返回的置信度值的阈值来判断手势是否与动物阴影匹配。与直接挑选置信度值最高的手势相比，这样做的结果更为直观。知道每位用户预期的动物之后，接下来就是将用户输入的手影与结果关联，并将手影转换为动物形象，然后再播放预先录制的阴影转化为活体动物的动画，如此即完成一次试验。

为确保捕捉的形状顺利变形为动物，我们从以下两种阴影中抽取轮廓：输入的手影和目标动物阴影。然后我们进行优化，以在手影轮廓（源轮廓）和动物阴影轮廓（目标轮廓）中找到正确匹配的每个点，接着执行步插值，以将源轮廓转换为目标轮廓。

AI 技术助力还原雕像

经过测算大足宝顶山千手观音像有 830 只手，其中有 200 多只是破损的。从 2011 年到 2014 年，杨溯跟着团队一起对这些破损的观音手进行虚拟修复，根据千手观音像左右手的空间对称关系去判断缺失手指的几何形态，经过三年时间，他们虚拟修复了几十只观音手，为千手观音像的实体修复提供了重要参考。

杨溯开始对安岳石刻进行虚拟修复，与大足石刻不同,始于南朝，兴盛于唐宋的安岳石刻分散在四川安岳县城境内，加上交通闭塞，很多佛像在岁月侵蚀下损害严重。

想还原佛脸的样貌，需要定义更加准确的空间信息，即用人工智能技术，自动化地提取佛像的面部特征。和人脸识别技术类似，杨溯的佛脸识别模型需要大量的数据样本进行学习。为此，杨溯寻找了安岳石刻保存完好的佛头为它们留下肖像照。每张都提取了 68 个标记点，用来描述佛像的所有面部特征，他把这些面部数据信息称为“佛脸身份证”。如今，这些面部特征信息能够为虚拟修复提供参考。

滑动查看更多

计算机基于数百个佛脸的采集数据精准提取了佛的脸型、眉毛、眼睛、鼻子、嘴巴等特征，依据左侧完好的脸部，对右脸受损面部进行了虚拟修复。

Design by：杨溯

AI 修复世界名画

伦勃朗的“残缺”名作《夜巡（The Night Watch）》在人工智能技术的支持下终于得以修复“完整”。尽管该画作是世界古典油画三大瑰宝之一，命运却是十分坎坷，被“冷落”、被“切割”、被“划伤”、被“泼酸”......似乎都预示了此后修复的不易。

1715 年，该画作被迁移至阿姆斯特丹市政厅，由于画幅尺寸太大无法挂入门厅中，画作的上下分别被切割了 22 厘米、12 厘米，左右分别被切割了 60 厘米、7 厘米。从那以后它便残缺不全了，而且画面整体也因此失衡。如下图所示。

博物馆决定将画作恢复还原至未切割前的尺寸。通过保存下来的原画部分、17 世纪由 Gerrit Lundens绘制的完整原画复制品和人工智能技术来实现修复。修复过程中，一种被称为卷积神经网络（convolutional neural networks）的人工智能算法被用来帮助计算机深度理解图像，在逐像素重建丢失的部分时纠正这些缺陷。更重要的是，计算机还能学习伦勃朗的笔触，以确保最终的呈现尽可能接近原作。

Design by：Rob Erdmann

荷兰国家博物馆馆长 Taco Dibbits 大致介绍了这一过程：“我们做了三种算法，第一种用于筛选复制品的透视变形并纠正它们；第二种用于识别原件的配色并投射生成缺失的部分；第三种是模仿伦勃朗的笔触和绘画技巧。最终得出了一件尽可能接近于完整原作的计算机复制版《夜巡》，我们将其按比例打印到画布上，再无缝拼贴到原画上，非常壮观。