匀化处理的无人机影像实景三维模型增强方法*

王云川，段平，李佳，王明果，姚永祥

(1.云南师范大学 旅游与地理科学学院，云南 昆明 650500;2.云南省高校资源与环境遥感重点实验室，云南 昆明 650500;3.云南省地理空间信息工程技术研究中心，云南 昆明 650500;4.云南省地质科学研究所，云南 昆明 650501)

1 引 言

近年来，随着多旋翼无人机的兴起，利用无人机影像进行三维建模越来越广泛地应用于水利建设[1]、消防救援[2]及智慧城市[3-5]等领域.多旋翼无人机具有成本低、可操作性高以及获取的影像空间分辨率高等优点，通过云台相机与航线的配合，实现倾斜摄影测量的任务.同时，目前已有许多技术成熟的三维建模软件，如Context capture、Pix4d以及Agisoft Metashape等，可将正射影像与倾斜影像联合平差生成点云以及实景三维模型.然而，受镜头性能的限制以及拍摄环境的影响，无人机在同一区域内采集的影像在色调方面存在一定差异，若不经过处理而直接进行三维重建，必然会对实景三维模型的质量造成影响，甚至导致建模失败,因此对色差过大的影像进行色调匀化就非常必要.

常用的经典匀色算法有Mask匀光法、Wallis匀光法以及直方图均衡化(HE，Histogram Equalization)等.Mask匀光算法又称模糊正像匀光法，它将光照不均匀的影像看作是由理想状态下光照分布均匀的影像和背景影像构成，因此可通过从原始影像中减去模拟出来的背景影像，从而消除影像的色调不均匀现象[6].Mask匀光算法适应性强，应用较广泛，但存在偏色、光晕效应以及运算效率低等不足.Wallis算法是将影像的灰度均值及方差映射到相应定值，并且使不同影像区域的灰度方差和灰度均值都近似相等，使影像反差小的区域反差增大，使反差大的区域反差减小，从而使得整幅影像的亮度方差达到一致[7]，然而Wallis算法在处理单幅影像色调不均匀现象时，效果往往并不明显，并且容易产生“块效应”.直方图均衡化则是一种适应性及效果都较好的图像增强方法，其本质是通过一种变换函数，使原始图像以目标直方图进行变换，通过改变映射函数来控制变换结果的精度和效果，对对比度低的图像有较好的处理效果[8].直方图均衡化虽然使图像色阶分布更加均匀，但实际上很难达到格式所允许的最大灰度变化范围，因此对图像进行直方图均衡化后，使用灰度拉伸使图像的色阶进一步扩展至整个灰度级.灰度拉伸又称为对比度拉伸，是一种简单的线性点运算，灰度拉伸可以更加精确地控制直方图的变化范围，可以有选择地拉伸灰度区间以改善图像.因此对整体色调较暗及色阶局部分布不规则不均匀的无人机影像，使用直方图均衡化及灰度拉伸方法能将原影像灰度拉伸到整个灰度级并且均匀分布，从而提高图像整体对比度[9].

本文探讨了基于直方图均衡化的无人机影像色调匀化处理与三维建模方法.以云南师范大学某不规则建筑物为测区，利用无人机设备采集该建筑的正射以及倾斜影像，对该组影像进行色调匀化处理，以匀色前及匀色后的影像为基础，分别构建实景三维模型，并对其三维模型质量进行对比分析.

2 无人机影像三维建模方法

无人机影像实景三维建模一般过程包括数据采集及预处理、空中三角测量、密集匹配、数字表面模型(digital surface model，DSM)构建以及纹理映射等，其中空中三角测量作为三维模型构建的关键步骤，往往会因为影像色调过暗或色调差异过大而失败，导致特征点的识别以及点云的构建效果较差，因此对影像进行色调匀化处理极为重要.结合三维建模流程，将其划分为三个环节，即：数据采集及匀化处理、三维建模及质量对比分析，总体流程如图1所示.数据采集及匀化处理环节：通过无人机实拍获取影像，以直方图均衡化及灰度拉伸的方法对影像进行色调匀化处理；三维建模环节：借助POS数据进行空中三角测量，获取影像的地面点坐标，生成稀疏点云，随后进行密集匹配，构建DSM模型，最后映射纹理生成实景三维模型；质量对比分析环节：对生成的两组实景三维模型从模型完整性以及几何纹理细节两个方面进行对比分析.

图1 匀化处理的无人机影像三维建模总体流程

2.1 数据获取

选择云南师范大学武之楼为采集实验区，该建筑结构规整，四周植被茂盛.以大疆“DJI Phantom 4 Pro”无人机为数据采集设备，设置曝光间隔为2 s，相对航高为60 m，航向重叠度和旁向重叠度均设定为80%，影像分辨率为2 cm，获取影像418张，共耗时15 min.拍摄期间天气晴朗，光照较强，采集影像色调差异明显.

2.2 影像色调匀化关键技术

影像拍摄时由于光线太强，使图像对比度减弱，细节分辨不清，这样的图像直方图灰度往往集中在某一色阶范围之内,此时需要将这些灰度拉伸到整个灰度级上，并使它们在直方图中均匀分布，以达到色调匀化的目的.直方图均衡化是灰度变换的一个重要应用，是一种简单有效的图像增强方法，因其运算简单且能够有效地提高图像的整体对比度而被广泛应用.

2.2.1 直方图均衡化

直方图均衡化的中心思想就是把原始图像的灰度直方图从某个比较集中的区间变换成在更大区间内均匀分布的形式，以达到增强图像整体对比度的效果.变换公式如下：

s=T(r)

(1)

式中：s为经直方图均衡化后的图像灰度级，r为原图像的灰度级，T(r)为变换函数.

直方图均衡化就是根据直方图对原像素点经变换函数T(r)产生一个新的像素点，其中变换函数T(r)应满足以下两个条件：

(1)在0≤r≤1时，T(r)为单调递增函数；

(2)在0≤r≤1时，0≤T(r)≤1.

条件(1)保证均衡化后图像的灰度级依然保持从黑到白的排列次序，条件(2)保证均衡化后图像的灰度级在允许的范围内[10].综合以上两个条件，因为累积分布函数(CDF，Cumulative Distribution Function)是单调增函数，并且值域在0-1，因此直方图均衡化中采用累积分布函数作为变换函数，即：

(2)

式中：sk为均衡化后的像素灰度级，rk为原元素灰度级，nj表示当前灰度级的像素数量，N表示图像像素总数.

直方图均衡化一般首先统计原图像的灰度直方图，并计算出像素数量、灰度分布频率和灰度累积分布频率等参数；然后根据变换函数(2)计算灰度映射表；最后根据映射表通过映射关系生成具有新灰度的图像.

2.2.2 灰度拉伸

经过直方图均衡化之后，图像的灰度级的分布范围虽然更大更均匀，但可能依然没有填充至整个区间，因此通过灰度拉伸使其充满整个灰度级范围，以达到对比度大幅增强的目的.灰度拉伸公式如下：

(3)

式中：ck为拉伸后的像素灰度级，sk为拉伸前的像素灰度级，smax和smin分别为拉伸前图像的最大灰度值和最小灰度值，cmax和cmin分别为要拉伸到的灰度空间的最大灰度值和最小灰度值.

灰度拉伸一般首先统计图像的灰度直方图，并确定拉伸前的灰度值以及想要拉伸到的灰度空间的最大和最小灰度值等参数；然后根据拉伸公式(3)计算灰度映射表；最后根据映射表通过映射关系生成具有新灰度的图像.

2.2.3 实验结果

从图2匀色前后直方图的对比中可以发现，匀色之前影像的直方图中，灰度值在前半部分(具体灰度值范围为6-30以及73-115处)有两个小高峰，尤其是前一个的高峰峰值较高，在0-128范围内的灰度值的百分位达到了70%，而在129-255范围内的灰度值百分位仅有30%，这使得影像整体上偏暗；匀色处理后影像的直方图变得较为平缓，影像的灰度值被均匀地分为3份，每一份所占百分比都近似33%，在0-33灰度范围内仍有部分峰值较高的灰度值，说明影像有些部分仍然较暗，但整体上已有较好地改观.

图2 影像匀色前(左)及匀色后(右)直方图对比

从图3影像本身的对比中可以看到，匀色后影像整体色调偏亮.在细节处，仔细观察影像的左上角，如图4所示，路旁有一条白色的砌砖，在原图上由于树影的遮挡几乎不可见，而匀色后该砌砖清晰可见；在影像的右侧，如图5所示，建筑物的右侧植被被建筑物的影子所遮挡，在原图上几乎是整片漆黑，看不到任何可用信息，经匀色处理后，虽然整体色调较暗，但已经可以识别出一定的植被信息.

图3 影像匀色前(左)及匀色后(右)对比

图4 影像细节处匀色前(左)及匀色后(右)对比

图5 影像细节处匀色前(左)及匀色后(右)对比

2.3 实景三维建模方法

空中三角测量是无人机实景三维建模的关键步骤，将摄影瞬间POS系统记录的值作为影像的初始外方位元素，并结合少量的实测控制点，采用光束法进行区域网整体平差解算，实现多视角联合空中三角测量，并将通过影像匹配得到的连接点及部分地面控制点纳入已知控制点的大地坐标系中，来获得每张影像的外方位元素和加密点的大地坐标，以此生成稀疏点云.然后，对每个立体像对进行密集匹配，从而形成密集点云.通过点云生成不规则三角网(Triangulated Irregular Network ，TIN)构建数字表面模型(Digital Surface Model，DSM).最后，对三维模型和纹理影像配准，建立空间地物点到各影像的投影关系，筛选出效果最优的目标影像，将其反投影到模型的三角面片上，实现三维模型的纹理贴合，最终形成实景三维模型[11].

使用Context Capture软件重建该建筑的三维模型，依据上述三维模型重建方法，由航摄影像生成点云，之后生成点云的TIN来构建DSM，最后进行纹理映射，最终生成实景三维模型.

3 三维模型重建质量对比分析

在模型中选取具有代表性的建筑纹理区域，主要通过模型的完整性和几何纹理细节来对比匀色前后影像的建模效果.从图6建筑物正立面的对比中发现，由于拍摄时阳光从东北面照射且强度较大，使屋顶和正立面的色差较大，这一点在未经匀色处理的三维模型中表现得比较明显，整个正立面几乎被黑影笼罩，纹理细节难以分辨.反观经匀色处理后的三维模型，整体色调显得更为均匀，屋顶和正立面之间的过渡平缓舒适，整体性较强，纹理更加清晰.

图6 三维模型匀色前(左)及匀色后(右)对比

图7为建筑物的俯视图，由于建筑物较为高大，导致建筑物中部区域都被墙体的影子遮挡，在未经匀色处理的建筑物三维模型中(图7左)，不仅存在色调太暗而难以分辨纹理细节的区域，还存在较多的空洞，这是因为原始影像过暗，三维重建时难以识别同名点以及点云的构建所致.

图7 三维模型匀色前(左)及匀色后(右)对比

放大对比图7中的区域1及区域2，得图8及图9.从区域1的对比中发现，在未经匀色处理的建筑物三维模型中(图8左)，中间部分基本都是黑色，建筑物纹理细节无法辨认，并且有少量空洞存在.而经过匀色处理的三维模型中(图8右)，未存在建筑物缺失的情况，其中地上的植被、石板以及蓝色的台子都清晰可见，因此区域1中经匀色处理过的建筑物三维模型从纹理细节以及模型完整性方面都优于未经匀色处理的三维模型；从区域2的对比中可以看出，由于色调太暗，若不经匀色处理(图9左)，建筑物立面的整个墙体以及地面完全呈大片空洞状态，极大地破坏了建筑物的完整性.经匀色处理后(图9右)，建筑物墙体不仅没有空洞，其纹理细节也不存在丢失问题，因为植被的匹配难度本身就较大且色调过暗，在地面处依然存在一部分区域无法构建出完整的模型，但是模型的整体性以及细节的表现能力已经远远优于原三维模型.

图8 三维模型匀色前(左)及匀色后(右)对比

图9 三维模型匀色前(左)及匀色后(右)对比

4 结 语

针对无人机影像在曝光、饱和度以及色调等方面存在的问题，对无人机影像进行色调匀化处理，并以云南师范大学(呈贡校区)为研究区，分别对未经色调匀化处理及经色调匀化处理后的无人机影像进行三维建模实验并作对比分析，结果表明：由于曝光过强而使原始影像色调差异较大时，对其直接进行三维模型构建，其实景三维模型色调差异大，亮暗处的过渡生硬，纹理细节难以分辨并且存在较大的空洞，完整性较差；对影像进行色调匀化处理使其色阶均匀分布，匀化处理后的建筑物三维模型色调均匀，纹理细节显著且模型完整性较高.