基于图像分析的室外文物病害演变监测方法与应用实例

岳琪峰++黄睿++冯伟++张龙

内容提要：为探明造成室外文物及遗址發生病害变化的原因，给文物的预防性保护提供可靠的量化依据，本文提出基于图像分析的适合室外赋存环境下的文物本体病害演变监测方法。通过对颐和园赅春园清可轩和流云阁室外文物两年连续的监测实例，验证了本文所提出的监测方法可以有效解决室外文物本体病害演变监测中的相机位姿和光照的差异校正问题，达到了精确量化度量室外文物本体病害演变的目的。

关键词：图像分析；预防性保护；相机重定位；光照一致化

中图分类号：K854.3 文献标识码：A 文章编号：1000-4106（2017）04-0130-07

Outdoor Heritage Deterioration Monitoring：

Method and Practice

YUE Qifeng1，2 HUANG Rui1，2 FENG Wei1，2

ZHANG Long3，4 CONG Yipeng5 SUN Jizhou1，2

（1. School of Computer Science and Technology， Tianjin University， Tianjin 300350； 2. Key Research Center for Surface Monitoring and Analysis of Relics（SMARC）， State Administration of Cultural Heritage， Tianjin University， Tianjin 300350； 3. School of Architecture， Tianjin University， Tianjin 300350； 4. Key Scientific Research Base of Building Surveying and Mapping of Cultural Relics， State Administration of Cultural Heritage， Tianjin University， Tianjin 300350； 5. Beijing Summer Palace Administration， Beijing 100091）

Abstract： This paper proposes an image analysis based method to monitor the evolution of cultural relic deterioration in outdoor environments， which helps to explain the changes in deterioration and thus provide reliable quantified evidence for preventative heritage protection. Specifically， we first propose a visual navigation camera re-localization method based on image analysis， which solves the problem of positioning and re-localization of monitoring equipment. We then present an illumination correction method based on image intrinsic decomposition and reconstruction to eliminate the negative influence of illumination caused by outdoor cultural relic imaging within complex illumination conditions. The results of monitoring the stone-sculpted relics of Qingkexuan and Liuyunge in the Summer Palace show that the proposed method can effectively eliminate the differences in camera position and illumination during the monitoring of deteriorating outdoor cultural relics and thus obtain precision quantified evaluation of the changes in deterioration.

Keywords： image analysis； preventative protection； camera re-localization； intrinsic image decomposition

一 引 言

近年来，随着人类文化事业的快速发展，文化遗产保护工作也逐渐受到了国家和广大人民的重视。目前针对重要文物进行馆藏或者就地保护的方案已经逐渐成为文物工作者的共识，但对于类似于颐和园赅春园清可轩和流云阁这样的室外文物本体还没有建立起较好的保护方案。室外文物本体长期暴露在阳光和空气中，无法像室内文物那样受到较好的保护。在漫长的荒芜中，室外文物本体长期经受着多种外界因素的影响，如风沙侵蚀、雨水渗入、温湿度变化、环境中的微生物以及人类活动等，出现了风化、皲裂、褪色、霉变等病害。这些病害对文物本体产生了严重的破坏[2，3]。因此，对室外文物进行定期监测以观察文物本体病害演变，分析其成因，并从根本上预防病害，成为了亟须解决的课题。

目前，一些文物保护工作者采用测量学中的全站仪来监测文物本体的病害变化[4]。全站仪是一种可以精确度量空间两点间直线距离的测量仪器，广泛应用于地上大型建筑和地下隧道施工等精密工程测量和监测领域。其精度在短距离（0-15km）内可以达到毫米级[5]。但对于大部分室外的文物遗址，精度过高使结果中变化部分过多，造成文物保护工作者无法精确定位关键的病害变化区域，无形中增加了大量的分析辨别工作；对于风化、氧化等，只表现在文物本体颜色变化而没有距离变化的病害，该仪器无法起到监测作用。采用全站仪的方法并不适用于文物的病害变化监测。另外，在城市级别的变化监测中，基于图像分析的方法日渐成熟。主要的硬件包括相机、汽车和直升机等[6-9]。这类技术的对象针对于城市中的建筑、公共设施等。精度相对于文物本体的变化来说比较低，其目的是了解分析城市的建设，如震后重建，所以无法将这种方法利用到文物保护中。

随着科技的快速发展，越来越多的计算机相关技术被文物保护工作者用于文物保护的相关工作中，例如，数字近景测量、三维扫描测量等[10]。为了更精确地找到病害变化的位置及趋势，部分文物保护工作者采用定期定点近景拍摄的方法，对室外场景进行图像采集并对比分析，但结果既不精确，也不稳定。最主要由两方面的原因造成：第一，相机不能精确地恢复上一次拍摄的空间位置及拍摄姿态，使得两次拍摄得到的图像在拍摄范围和角度上存在较大差异，从而无法对两次拍摄的图像进行精确的对比分析；第二，每次拍摄图像时室外环境光存在不同程度的差异，致使成像效果不同，所拍图像无法直接用于监测分析。

为了对室外文物进行监测，并保证监测结果的精确性和稳定性，本文提出了一种基于图像分析的监测方法。其中基于视觉导航的相机重定位法解决了精确恢复相机上次拍摄位置和相机姿态的问题，基于多光照条件的本征圖像联合分解与重构技术解决了因光照不一致所带来的成像差异问题。本文所提出的方法不仅解决了监测过程中监测区域重复定位和室外光照条件对文物成像产生影响的问题[11，12]，同时克服了监测设备在复杂地理环境中布置和调节的困难，并且成本较低，易于普及。通过对颐和园赅春园清可轩和流云阁的实际监测实验证明，本文提出的方法切实可行，从而可以推广应用于室外场景文物的定期监测和保护。

二 方 法

如图1，在基于图像分析室外文物本体监测方法的一个监测周期（t到t+1次）中，主要由基于视觉导航的相机重定位、采集图像、基于多光照条件的本征图像分解与重构（光照一致化）、基于特征匹配的图像配准（相机姿态精确调整）、基于多光照条件下的变化检测等过程组成。在对文物本体进行病害监测时，第一次监测无需相机重定位，只需记录相机初始位置和相关监测点信息。

2.1 首次拍摄采集图像

首次拍摄采集图像，即在选好监测文物区域的基础上对其进行拍照记录，获取原始参考图像。此过程的关键是详细的记录拍摄位置和监测区域的数据信息，这是实现高精度重定位操作的保证。其中记录信息包括：相机脚架到监测区域的距离、监测区域的高度和相机的参数等。

首次对监测区域进行数据采集的具体操作流程为：

选择特征点，以达到文物保护和监测微小目标变化的效果；

调整脚架，记录场景特征点，通过云台水平标识调节相机至水平状态；

调节相机参数，在外加多种不同光源的条件下分别拍摄多组场景照片，记录相机参数及拍摄数据；

拍摄结束，对脚架的位置进行记录（只需记录大概的位置），关闭各个实验仪器，选取下一目标场景进行拍摄。

2.2 基于视觉导航的相机重定位

再次采集监测点图像时，相机的精准重定位是检测文物本体微小变化的关键。相机重定位是指参照前一次采集图像及采集的位置信息精确地恢复相机的六个自由度，即恢复相机的空间位置（x， y， z）和姿态（？兹x，？兹y，？兹z）。为了实现相机重定位，本文提出了一种基于图像分析的重定位方法——视觉导航重定位。通过当前相机采集图像的特征信息与参考图像进行比对，计算分析出当前相机的六个自由度与参考数据的差距，并将当前图像与参考图像的差异在软件界面中以导航框（如图2）的形式实时显示，引导操作者调整相机的位置和姿态，从而逐步达到上次相机的位姿，完成相机重定位。

在计算分析当前相机六个自由度的过程中，首先需要对实时采集的图像进行SIFT（Scale-invariant feature transformation，尺度不变特征变换）特征点的提取并与参考图像的特征点进行匹配。然后，在匹配的特征点对中筛选部分点用来估计当前相机的六个自由度。最后将六个自由的差异以红蓝框的形式反映到二维图像上。

如图2，蓝色框反映采集参考图像相机的位置和姿态。由于参考图像已经确定，所以蓝框在重定位过程中一直保持不变。红色框体现当前相机位置和姿态。具体的生成的步骤为：一，程序实时的提取当前图像和参考图像的SIFT特征点。二，通过两张图像匹配的特征点计算出映射矩阵，该映射矩阵反映了两张图片之间的二维变换关系。三，通过该映射矩阵计算出红框的体现形态。重定位过程中，红框变化的同时软件界面中以文字的形式给出当前相机的六个自由度的移动趋势的提示。通过图像和文字的提示调整相机位姿，直到红蓝框近似重合，即达到了重定位的目的。

具体的操作流程如下：

初步定位相机脚架。依据之前记录的监测位置信息初步地确定相机脚架的位置；

开启重定位程序，架设好相机之后，连接到电脑，同时开启相机重定位程序，调节相机参数，适应光照环境；

重定位，依据程序界面导航框提示的移动方向调节相机脚架，直至达到精确恢复相机各个自由度；

采集图像，重定位结束后，对监测区域采集图像。

2.3 多光照条件的本征图像分解与重构

户外拍摄条件下，不同时间拍摄时自然光明暗程度发生变化，同时难以保持相同的辅助光条件，因此拍摄图像的光源一致性是难以保证的。这种条件下拍摄的图像由于光线存在较大差异，难以完成细微的差异分析。为了保证图像的光源一致性，本文采用本征图像分解重构的方法[13]，重构出所有的图像在同一光照条件下的结果，从而为进一步分析打下基础。

物体表面的颜色由物体的形状、物体的材质、光源位置、光源颜色、观察角度等属性所决定。反射率（Reflectance）和亮度（Shading）是决定物体表面颜色的两种重要本征属性。一张图像可分解成反射率与亮度之积，表示成公式如下：

I=R×S （1）

其中R即为反射率，反映了物体本身的材质和颜色；S为亮度，它与光源的位置角度以及光源的颜色有关，反映了光照条件。基于该原理，对多种光照条件下图像采取联合本征图像分解的方式，分别提取出每张图像的R和S，然后将某个特定S应用到所有R上，从而重构出相同光照条件下的图像，即可表述为：

Ii=Ri×Si，i∈{1，2} （2）

I2′=R2×S1 （3）

简化到本文中的应用，1代表原始参考图片，2代表重定位图片。则依据公式（1）可以将两张图片简化为公式（2），表示对两张图片分解。公式（3）则表示对图像重构的结果，即将原始参考图片的光照条件S重构到重定位图片的R中，完成光照一致化。

如图3所示，对于给定的原始参考图像和重定位两张输入图像，经过多光照条件的本征图像联合分解与重构，可以得到和原始参考图像光照一致的重定位图像。

2.4 基于特征匹配的图像配准

由于基于视觉导航的相机重定位方法并不能保证精确恢复相机的空间位置和姿态，致使两次图像在对应的目标区域上不完全一致，因此需要在光照一致化的基礎上对图像进行配准，保证图像位置上能够完全重合一致。本文采用光流（op-

tical flow）[14，15]解决该问题，通过光流算法，计算出两张图片对应的光流场，再将其作用到重定位图片上，以实现图像的校正。

2.5 基于多光照条件下的变化检测

完成图像校正和不同光照条件下的光照一致化后，需要对目标场景中出现的变化进行比较分析，发现其中细小目标的差异。对处理后的图像做差值处理，对差值图像在设定阈值标准下进行二值化处理。在阈值的选取中，通过手动调节阈值观察实验结果图片中变化区域的变化趋势，当变化区域收敛时，确定该阈值，完成变化检测。

三 数据获取与实验结果

3.1 监测地点简介

监测地点选择颐和园万寿山处赅春园的清可轩和流云阁遗址。赅春园原是颐和园里一座有着山林野趣的小景点，始建于乾隆二十三年（1758）。其中的清可轩、流云阁景观建筑充分利用了万寿山后山西部天然的岩石沟壑，因地制宜，依山势而建，尤以满壁的岩石镌刻而著名。1860年被英法联军焚毁。光绪时期，慈禧挪用海军军费在清漪园废墟上改建颐和园，因财力有限，赅春园等许多景点都没能恢复，一直荒芜至今。

清可轩与流云阁的摩崖石刻主要存在着风化、雨水侵蚀、裂隙、生物污染等病害。这两处是典型的室外文物，且监测意义重大，通过对其的定期监测和分析，可以分析不同病害对文物本体带来的影响，为预防性保护提供可靠的依据。

3.2 监测数据获取

本次监测的四处目标场景中清可轩壁上诗词两处，流云阁佛像两处。初次拍摄记录了场景信息，再次拍摄根据已有的位置通过重定位方法，在相同位置拍摄崖壁和佛像的相同区域，根据两次拍摄的图片，可以计算场景中微小的变化。

崖壁监测的两处监测区域和定位点标识如图4所示，其中红框表示监测区域。图5展示了部分工作场景（左边为夜间，右边为白天）。

3.3 实验结果

3.3.1 图像处理中间结果

图6中，A、B为流云阁金佛监测点处图像，C、D为清可轩摩崖石刻图像。第一列为原始参考，图像采集时间为2013年12月；第二列为重定位图像，图像采集时间为2014年12月；第三列为校正后的结果图像；第四列为本征图像分解与重构的结果图像。

为了验证实验的结果，使用公式（4）来计算两幅图片的差异程度，其中Ii j代表图像上一个像素的RGB值。两图像相减后，将差值做归一化处理。0代表无差异，1为差异巨大。

■■ ■（Iij-I′ij）2 （4）

由此，分别得到第二（Col2），三（Col3）和四列（Col4）与第一列（Col1）图片的差异程度如表2所示。

其中图像校正算法使图片四周发生较多噪点，在进行差异程度计算之前先将图片的四周裁掉。具体数据为原来图片大小为：960×640（像素），截取之后图片大小820×520（像素）。由表2可以得出A、B监测点图像的差异逐渐变小，C、D监测点第四列与第一列差异相比前一列有上升，但数量差异较小。由此得出的图像校正、本征图像分解与重构方法为后续的变化检测提供了精确的实验数据。

3.3.2 微小变化监测结果及分析

如图7所示，依次是监测场景金佛（A）、两佛（B）、清可轩西壁（C）和苍崖（D）的图像差值结果。在分析过程中我们将变化分为两类：一种是文物本体变化（用红框标识），例如，文物本体表面脱落、风化等；另一种是非文物本体变化（用蓝框标识），例如苔藓脱落、树叶、石子等。

在场景A的结果图中可以看出中间金佛表面金色涂料脱落，这属于文物本体变化；下侧石台上有石子，这属于非文物本体变化。两种变化的比例如图8所示。

场景B中，文物本体无变化，变化区域为石上苔藓脱落。

场景C中出现风化的现象，其中题字“四”周围出现较为严重的风化现象，石壁较第一次拍摄呈白色。由此也可以看出，本方法在监测文物本体发生颜色上的变化时取得了很好的效果。

场景D中，虽然出现变化结果图，但未将其标记到原图中，原因是监测的核心区域凸起，造成前后采集图像时四周出现较大阴影，尤其是右上侧。本征图像分解与重构方法中对阴影区域的处理存在偏差，使结果出现错误，也对本文所述方法的适应性提出更高的要求。

四 结 论

本文提出了基于图像分析的适合室外文物病害演变监测的方法，并将其应用于颐和园清可轩和流云阁等室外文物遗址的本体病害监测中。本文提出基于图像分析的视觉导航相机重定位的方法，解决了监测设备的位置和姿态的重定位问题。本文还提出本征图像分解与重构的光照校正方法用于避免室外文物遗址在复杂光照条件下所造成的成像光照差异问题。在后期的图像处理中采用现有成熟的图像分析算法，如光流和图像阈值等，与实际问题实现了有机的结合，实现了对文物本体变化检测的目的。尤其是在文物本体出现风化等表现在颜色变化的病害时，能够取得比较理想的结果。

实验结果显示，颐和园清可轩及流云阁的室外摩崖石刻文物遗址存在着风化、文物表面脱落等文物本体的病害，并且病害的发展有进一步扩大、严重的趋势。建议文物保护部门尽快在文物的外部加装能够抵御风雨的保护材料。

经过几次实地的数据采集，我们总结了监测方法与实际操作的优势与不足，具体来讲：方法的优势在于可以通过视觉导航重定位方法快速实现相机位置和姿态的恢复，并且在实验数据的后期处理过程中，能够较好地排除光照条件对文物本体成像差异的影响；同时该方法存在着设备集成度较低、稳定性差和操作步骤繁琐的缺点。在之后的实验中，我们会在实验原理的严谨性和实验步骤的简洁性上做进一步的讨论与改进，此外，将增强实验设备对复杂室外操作环境的适应性，以便于将试验方法拓展到更多的文物保护场景中。

参考文献：

[1]王鸿雁.颐和园非物质文化遗产的挖掘保护和利用[C]// 北京博物馆学会保管专业十年学术研讨纪念集.北京：北京燕山出版社，2010.

[2]张秉坚， 尹海燕， 铁景沪.石质文物表面防护中的问题和新材料[J].文物保护与考古科学， 2000（2）：1-4.

[3]Sax J L.Heritage Preservation as a Public Duty： The Abbé Grégoire and the Origins of an Idea[J]. Michigan Law Review， 1990， 88（5）：1142-1169.

[4]靳志光.圖像全站仪系统若干技术问题研究及应用[D].解放军信息工程大学， 2008.

[5]Frei E，Ingensand H，Scherrer R.Surveying system including an electro-optic total station and a portable receiving apparatus comprising a satellite position-measuring system[J].1993.

[6]Schindler G，Dellaert F.Probabilistic temporal inference on reconstructed 3D scenes[C]//in Proc.IEEE Computer Vision and Pattern Recognition.2010.

[7]Taneja A，Ballan L，Pollefeys M.Image based detection of geometric changes in urban environments[C]//in Proc.IEEE International Conference on Computer Vision.2011.

[8]Sakurada K，Okatani T，Deguchi K.Detecting Changes in 3D Structure of a Scene from Multi-view Images Captured by a Vehicle-Mounted Camera[C]//in Proc.Computer Vision and Pattern Recognition.2013.

[9]Liu J，Liu Y.Local Regularity-Driven City-Scale Facade Detection from Aerial Images[C]//in Proc. IEEE Computer Vision and Pattern Recognition.2014.

[10]Pavlidis G，Koutsoudis A，Arnaoutoglou F，et al. Methods for 3D digitization of Cultural Heritage[J].Journal of Cultural Heritage，2007，8（1）：93-98.

[11]Shotton J，Glocker B，Zach C，et al.Scene Coordinate Regression Forests for Camera Relocalization in RGB-D Images[C]// in Proc.IEEE Computer Vision and Pattern Recognition.2013.

[12]Gee A P，Mayol-Cuevas W W.6D Relocalisation for RGBD Cameras Using Synthetic View Regression [C]// in Proc.BMVC.2012.

[13]Dai H，Feng W，Wan L，et al.L0 co-intrinsic images decomposition[C]// in Proc.IEEE International Conference on Multimedia and Expo.2014.

[14]Horn B K P，Schunck B G.Determining optical flow[J].Artificial Intelligence，1980，17（1-3）：185-203.

[15]Barron J L，Fleet D J，Beauchemin S S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994， 12（1）：43-77.