基于改进Criminisi算法的自动驾驶仿真道路场景图像修复

王琛　闵永军　张天慈

摘  要：利用真实图像生成虚拟驾驶场景视图时，首先要从图像中移除车辆、行人等前景目标，以便获得不包含移动目标的背景图像。针对原始Criminisi算法存在的图像破损区域在修复后会出现模糊效应、边界不够平滑的弊端，提出了一种在处理掩膜图像环节使用开运算，并优化原始优先权函数的改进算法。运用MATLAB仿真平台进行实验分析，结果表明改进后算法修复时间平均缩短了16.5 s，峰值信噪比平均高出原算法1.65 dB。该算法还原了图像中更多的道路信息，弥补了Criminisi算法的不足。

关键词：图像修复;Criminisi算法;开运算;道路场景;虚拟驾驶

中图分类号：TP391.41     文献标识码：A

Image Restoration of Automatic Driving Simulation Road

Scene based on Improved Criminisi Algorithm

WANG Chen， MIN Yongjun， ZHANG Tianci

（College of Automobile and Traffic Engineering， Nanjing Forestry University， Nanjing 210037， China）

wangchen12090598@126.com; yjmin@njfu.edu.cn; 814575590@qq.com

Abstract： When generating virtual driving scene view from real images， the foreground objects such as vehicles and pedestrians should be removed from the image first， so to obtain a background image without moving objects. Aiming at the shortcomings of the original Criminisi algorithm that the damaged area of the image will have fuzzy effect and the boundary is not smooth enough after repairing， this paper proposes an improved algorithm， which uses open operation and optimizes the priority function in the process of mask image. MATLAB Simulation platform is used for experimental analysis. The results show that the restoring time of the improved algorithm is shortened by 16.5 seconds on average， and the peak signal-to-noise ratio is 1.65 dB higher than the original algorithm on average. The improved algorithm restores more road information in the image and makes up for the deficiency of Criminisi algorithm.

Keywords： image restoration; Criminisi algorithm; open operation; road scene; virtual driving

1   引言（Introduction）

在自動驾驶领域，基于场景的仿真测试在算法研发、系统测试和安全验证等环节中必不可少。道路场景是自动驾驶仿真系统中驾驶场景的核心要素，传统的道路场景使用游戏引擎或计算机图形学模型来创建，不仅成本高、耗时多，而且所得场景图像缺乏真实世界图像的丰富性和真实性，不能满足自动驾驶测试的需要[1]。数据驱动自动驾驶仿真道路场景以移除了行人、车辆等前景目标的真实图像为基础，通过图像修复复原完整的背景图像，创建类似真实世界的模拟场景，可避免传统方法的不足，成为道路场景构建技术的发展方向。

目前，图像复原修复技术主要分为两种，分别是基于结构的修复[2]和基于纹理的修复[3]。基于结构的修复方法是由BERTALMIO等人[4]提出的，利用图像分解模型将图像分解为结构部分和纹理部分，先用偏微分方程（Partial Differenitial Equation， PDE）方法修复结构部分，再用纹理合成技术对纹理部分进行填充[5]。基于此方法的还有CHAN等人提出的整体变分（TV）模型[6]和曲率扩散（CDD）模型[7]。基于纹理的修复技术[8]是以图像块为单位，用已知的图像信息合成图像缺损部分的信息，进而达到修复的目的，它与第一种方法最明显的区别在于它修复大面积缺损的图像时效果更好。这类方法的代表是CRIMINISI等人[9]在2004 年提出的新的修复算法。该算法首次引入了优先权的概念，利用数据项与置信项的乘积来决定处理的先后次序，而后利用最佳匹配搜索来填补空白区域，考虑了目标对象的结构与纹理。应用于自动驾驶仿真的背景图像通常需要移除行人、车辆等大面积复杂图像区域，使用基于结构的算法修复时模糊效应严重，而使用Criminisi算法修复相较前者效果有所改观，但图像缺损部分的边界修复后不够平滑。

本文根据自动驾驶仿真系统道路场景构建需要，提出一种改进的Criminisi算法移除并修复真实背景图像中的行人、车辆等目标，取得了较好的效果，为自动驾驶仿真中的静态场景构建提供了良好的基础。

2   Criminisi算法（Criminisi algorithm）

2.1   Criminisi算法原理

Criminisi算法将纹理技术引入图像修复中，用以解决在修复大尺度缺损图像时基于结构的算法所造成的模糊效应。其主要原理如图1所示，其中是已知的图像信息，Ω表示待修复区域，∂Ω为待修复区域的边界，为∂Ω上的一点;是以点为中心点邻域的目标块;是点的法向量，为点的等照度线向量。

其主要思想分为三步：在图像的已知区域中计算最大优先级目标快;在样本块中搜寻与待修复区域具有最佳匹配度的匹配块;将匹配块的信息复制到待修复区域中。

2.1.1   計算最大优先级目标块

若图像中含有具有较强的边缘性特征且已知信息的部分，则这些部分（样本块）会被优先修复。点的优先权定义为：

式中，置信度项用于衡量目标块中已知信息的比重;称为数据项，其中表示点的等照度线向量，它的方向与点的梯度向量呈相互垂直关系，表示待修补区域边界的法向量，为归一化因子。

如上所述，能够使含有较多已知信息的目标块得到优先的修复，而能够使含有较多结构信息的目标块优先被修复。和两项的结合，才能使图像的纹理与结构修复达到平衡，取得理想的效果。

2.1.2   搜寻最佳匹配样本块

由第一步计算出了具有最大优先权的目标块，接下来搜索与此目标块最佳的匹配块。匹配块与目标块之间的匹配准则是匹配块中的纹理信息要尽量与目标块中的纹理信息相一致，匹配公式如下（例如图1中为最佳匹配块）：

式中，、、是目标块中像素点的RGB值，、、是匹配块中像素点的RGB值。

2.1.3   复制信息和更新置信项

样本块中的破损区域被填充后，其像素点的位置也相应发生了变化，从目标区域转移到像素区域中。按下列方程更新这些点的置信度：

重复上述修复步骤，直至将所有待修复区域修复完。修复流程如图2所示。

2.2   算法存在的问题

在修复大区域破损图像时，Criminisi算法应用广泛。但CHENG等人[10]指出，随着填充迭代过程的进行，置信值会迅速下降到零，这就使得计算出的优先值并不可靠，从而影响了修复顺序，进而影响最终修复的效果[11]。此外，在修复图像时，Criminisi算法需要对图像中的待处理部分进行掩膜操作，可是人为创建的掩膜图像边界不够平滑，目标物间粘连严重，导致待修复区域边缘在修复后会出现模糊效应。数据驱动自动驾驶仿真道路场景以真实图像为基础，边界的模糊会使得仿真系统采集的道路场景数据不够真实，进而影响系统对真实道路的自动化还原。

3  改进的Criminisi算法（Improved Criminisi algorithm）

3.1   开运算处理

针对前述Criminisi算法的不足，在处理掩膜图像环节使用开运算，对Criminisi算法进行改进，提高待修复区域边界的清晰性和边界像素点优先权计算的精度。在数学形态学中，开运算被定义为先腐蚀后膨胀[12]。

（1）腐蚀

腐蚀的作用是消除物体的边界点，它能够把小于目标结构元素的物体都去除掉。表示被的腐蚀，具体定义为：

即可看作所有使被平移后包含于的的集合。

（2）膨胀

膨胀的作用是扩大目标区域，填补物体中的空洞，它可以将离得较近的两个物体联通到一起。表示被的膨胀，具体定义为：

膨胀的步骤是首先进行关于原点的映射，然后平移，膨胀被平移后，就会造成它与至少存在一个非0的公共元素。

开运算是先腐蚀再膨胀的运算，其算法仿真如图3所示，其中图3（a）是原始掩膜图像，图3（b）是开运算处理后得到的效果图。

经过对比可以看出，零碎的小白点物体被消除了，较大物体的边界变得平滑，同时物体面积没有明显改变[13]。在原Criminisi算法处理掩膜图像的基础上加入开运算，能去除小颗粒噪声以及断开目标物之间粘连，使得待修复的空白部分在修复后边缘平滑，模糊效应减轻。

3.2   优先权函数的改进

由公式（2）可知，当为0时，即使数据项的值很高，优先权的值也必然等于零，从而该目标块得不到优先修复。针对这一问题，对优先权的计算公式提出如下修改：

式中，和都为常数。由式（8）可以看出，即使置信项为0，只要数据项足够大，优先值的计算结果依然会比较高，那么目标区域就能被优先修复，这在一定程度上改善了原算法修复顺序混乱的问题。

4  道路场景图像修复实例（Road scene image restoration example）

本实验在AMD（R） Ryzen7-5800H CPU @2.30 GHz、16.0 GB内存，安装64 位Windows 10设备的笔记本电脑环境下实现，使用的算法平台为MATLAB 2017b。本次算法所使用的图像为实拍的真实世界道路图像。实验内容为运用改进的Criminisi算法来修复图像，与原算法修复的图像进行对比，并运用峰值信噪比（PSNR）[14]体现出改进前后的修复效果差别。以下为两组移除图像中行人、车辆目标的修复效果对比图，如图4和图5所示。

由图4对比来看，掩膜图像经过开运算的處理，去噪效果明显且边缘更加平滑。此图片运用原Criminisi算法修复效果已经很好，与改进后的算法修复效果对比来看差别并不明显，引入PSNR来评价，如表1所示。

由表1评价结果来看，改进后的算法修复图片失真更小，效果更好，并且由于修复顺序混乱问题的改进，图像修复的时间减少了，提高了修复效率。

从图5车辆区域的填充不难看出，Criminisi算法在修复位于图像边缘的大尺度缺损的图像时，并不能轻易寻找到最佳匹配样本块，修复难度大，效果并不理想。原算法在修复车辆部分的缺损时，运用树木、路面及斑马线的颜色进行填充，有明显的修复痕迹，模糊效应严重，树和斑马线甚至出现了重影。在运用改进的算法修复原图片时，修复效果有明显改善，斑马线重影消失了，树木部分虽然仍然存在模糊效应，但比改进前的效果已有大幅提升。同样引入PSNR进行评价，如表2所示。

这组实验的修复效果差别明显，由表2客观评价结果可得出结论，改进后算法修复的图片失真更小，修复速度更快，使得道路图像更加真实，还原了更多的道路信息。仿真系统用它作为背景参考图像将更有利于实现对真实道路的自动化还原。

5   结论（Conclusion）

仿真系统是自动驾驶技术开发和验证的基础，本文以真实图像为基础，研究移除前景目标后的背景图像修复方法，为仿真系统提供背景参考图像。Criminisi算法因其在修复大尺度破损图像时的优越性而适用于仿真系统的静态场景构建。本文针对它现存的缺陷进行改进，提出在处理掩膜图像的环节使用开运算，优化了待修复区域被人为扩大及边缘粗糙的问题;然后通过对优先权函数的修改，改善了修复顺序错乱的问题。实验证明，改进的算法不仅修复效率有所提高，同时去噪效果明显且使得破损区域的边界在修复后更加平滑，这将有利于仿真系统从图像中提取更为真实的道路场景信息。

参考文献（References）

[1] 张微，李鑫慧，吴学易，等.自动驾驶仿真技术研究现状[J].汽车电器，2019（08）：13-15，8.

[2] LIAN X L， ZHONG Y X， FENG L L， et al. Novel image inpainting based on partial differential equation[J]. Computer Engineering， 2009， 35（6）：234-236.

[3] TANG F， YING Y， WANG J， et al. A novel texture synthesis based algorithm forobject removal in photographs[C]//MAHER M J. Asian Computing Science Conference： Dedicated to Jean-Louis Lassez on the Occasion of His 5th Cycle Birthday. Chiang Mai， Thailand： Oversea Publishing House， 2004：248-258.

[4] BERTALMIO M， VESE L， GUILLERMO S T， et al. Simultaneous structure and texture image inpainting[J]. IEEE Transactionson Image Processing， 2003， 12（8）：882.

[5] 张东，唐向宏，张少鹏，等.小波变换与纹理合成相结合的图像修复[J].中国图象图形学报，2015，20（07）：882-894.

[6] CHAN T F， SHEN J H. Non-texture inpainting by curvature driven diffusions[J]. Journal of Visual Communication and Image Representation， 2001， 12（4）：436-449.

[7] CHAN T F， KANG S H， SHEN J H. Euler's elastic and curvature based inpainting[J]. SIAM Journal on Applied Mathematics， 2002， 63（2）：564-592.

[8] 谢斌，丁成军，刘壮.基于图像分解的图像修复算法[J].激光与红外，2018，48（5）：651⁃658.

[9] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing， 2004， 13（9）：1200-1212.

[10] CHENG W H， HSIEH C W， LIN S K， et al. Robust algorithm for exemplar-based image inpainting[C]//CGIV. Conference on Computer Graphics， Imaging and Visualization. Beijing， China： IEEE， 2005：64-69.

[11] 杜闪闪，韩超.基于总变分模型的改进图像修复算法[J].激光与光电子学进展，2018，55（7）：175-180.

[12] 白瑜.数学形态学与形态学图象处理[J].中国高新技术企业，2008（15）：113.

[13] 陈尹刚.基于数学形态学图像处理算法研究[J].信息通信，2019（12）：67-68.

[14] 何凯，牛俊慧，沈成南，等.基于SSIM的自适应样本块图像修复算法[J].天津大学学报（自然科学与工程技术版），2018，51（07）：763-767.

作者简介：

王   琛（1998-），男，硕士生.研究领域：汽车检测与诊断.

闵永军（1963-），男，博士，教授.研究领域：汽车电子控制和汽车检测与诊断.

张天慈（1989-），男，博士，讲师.研究领域：自动驾驶和智能交通与新航行系统.