一种动态文稿边缘自适应检测与纠偏方法

陈建促，王 越，李章宇，林志航

(重庆理工大学 计算机科学与工程学院， 重庆 400054)

1 研究背景

在日常办公中，通过扫描纸质文档进行电子存档十分常见。传统的机器扫描方法存在效率低、耗材昂贵等问题，而通过摄像头对文稿进行实时扫描则较为方便和环保。使用摄像头对文稿进行拍摄过程中会存在摄像头畸变问题，导致文稿产生形变，达不到传统机器扫描的效果。因此，对图像中的文稿进行纠偏是很重要的环节，而对文稿进行准确纠偏的核心在于对图像中的文稿边缘进行准确检测。在实际应用环境中，受复杂背景的干扰，往往无法准确检测出文稿边缘。本文对复杂背景下的文稿边缘检测进行边缘定位精度与检测准确率的提升，以完成复杂背景下的文稿边缘检测。

在文稿纠偏的相关研究中，王咸锋等[1]提出的基于OpenCV实现文档物体的纠偏方法能够准确完成单一背景下的文稿纠偏，但不适用于复杂背景的情况；王恒友等[2]提出的基于低秩矩阵分解的方法通过迭代对每一列进行适当旋转，对图像进行偏转角的估计与纠偏，平均耗时为1.5 s；张盛南等[3]提出的斜角检测方法通过预估倾斜角度，在二值图像中检测文档的倾斜情况；Kao Chih-Hong等[4]从文字字符本身的特征出发，采用文本的线性度量在图像中对文字内容进行定位及矫正。但是上述方法[2-4]仅考虑了图像的偏移角度，未能去除文稿区域以外的复杂背景干扰。苑擎飏等[5]提出了改进Hough变换图像纠偏方法，但也未考虑到文稿区域以外的复杂背景干扰。综上，以上方法虽取得了一定的成果，但不适用于受复杂背景干扰的文稿边缘检测与纠偏。

在边缘检测算法中，Canny算法[6]的检测精度高，但存在抗噪能力差、稳定性低以及适用场景受限制的问题。针对这种情况，很多学者对其进行了改进。侯涛等[7]使用加权中值滤波对图像进行预处理，并添加45°与135°方向梯度模板对高速列车车轮轮踏面的损伤程度进行评估；颜丽等[8]针对AAM主动表现模型对外轮廓定位不准确、容易陷入局部最优解的问题，通过与Canny算法进行融合完成对人脸轮廓的定位；杨先凤等[9]将融合梯度计算、边缘连接及阈值选取的方法应用于油管裂纹的检测；徐骏骅[10]结合Canny算法与Lab颜色空间转换解决车脸识别中存在的车辆成像效果差与光照干扰强的问题；王慧[11]将边缘检测算法应用到红枣分级，通过Canny算法、小波变换以及梯度算法结合的方式对红枣大小及表面缺陷比率进行评估与分级；王忠华等[12]在帧间差分法的基础上改进Canny算子与运动关联法，解决传统帧间差分法在运动目标检测时造成的目标空洞以及轮廓丢失问题，以提升检测性能并保证运动目标轮廓；王凤燕等[13]通过双边滤波对Canny算法进行改进，并根据多数投票原则对年轮图像进行树龄检测；高春霞等[14]使用人头颜色空间和轮廓信息进行行人检测，在轮廓提取时使用了改进的Canny算法；黄山等[15]通过数据场理论进行图像灰度值特征空间与数据场势空间的转换，并引入欧式距离完成图像势值计算，最后采用Canny算法对势值图进行边缘提取。

结合前期研究，本文将Canny边缘检测算法应用于文稿的边缘检测，提出了一种动态文稿边缘自适应检测与纠偏方法。该方法在融合图像压缩比、形态学变换与Canny算子的基础上，根据文稿轮廓特征，结合多边形逼近、最小矩形包裹与面积筛选的方法对复杂背景下的文稿进行边缘检测与纠偏。本文的主要贡献如下：

1) 引入图像压缩比的方法，保持了文稿布局在纠偏前后的一致性。

2) 将Canny边缘检测算法运用于文稿边缘检测，结合Canny算法的边缘检测的优势，通过引入多边形逼近、最小矩形包裹与面积筛选方法，降低复杂背景对文稿边缘检测与纠偏的影响，提升文稿边缘检测的准确率与纠偏效果。

2 基于文字区域的文稿检测与纠偏方法

基于文字区域的文稿动态检测与纠偏方法的核心在于对文稿中的文字区域进行提取。对文稿进行特征提取之前，对图像进行灰度化预处理，并使用Sobel对文稿进行边缘检测，然后通过形态学变换与文字区域筛选方法确认待纠偏区域，最后使用仿射变换进行文稿纠偏。基于文字区域的文稿检测方法处理过程如图1所示。

图1 基于文字区域的文稿检测方法处理过程

使用摄像头进行图像捕捉，捕捉到的图像为RGB颜色模式。对RGB图像需要进行3种分量的处理，处理的复杂度高，且不能反映图像的形态特征，而灰度化能够将RGB图像转化为二维图像。Sobel边缘检测算法分别将表示横向和纵向亮度的3×3矩阵与图像作平面卷积，得到横向及纵向的差分亮度近似值。形态学变换中的二值化能够在保持像素值与位置关系不变的基础上，减少后期的数据处理量与压缩量。使用膨胀方法对两个集合进行合并，生成的连通区域图像能够突出所需要的特征，弱化其他特征。最终通过矩形轮廓筛选与仿射变换完成纠偏。该方法对单一背景的文字区域选择有较好的效果；对于复杂背景，会形成虚假块，直接影响文字区域的检测与纠偏结果。针对复杂背景影响以及基于文字区域检测方法的局限性，本文基于文稿边缘进行分析。

3 动态文稿边缘自适应检测与纠偏方法

动态文稿边缘自适应检测与纠偏方法的核心在于能够忽略掉背景的影响，对文稿外边缘进行准确检测。文稿边缘自适应检测与纠偏方法处理过程如图2所示。

图2 文稿边缘自适应检测与纠偏方法处理过程

视频由连续的视频图像帧组成，动态检测的基础在于调用摄像头对视频中每一帧图像进行实时捕获。为了使纠偏后的图像保持原有的布局，通过获取相机行和列的最大值与阈值的比例，对后续纠偏后的文稿图像大小进行调整。在图像预处理阶段，使用图像灰度化减少后期处理的复杂度。对预处理后的图像采用Canny边缘检测算法、多边形逼近、最小矩形包裹与面积筛选及仿射变换，完成文稿边缘的检测与纠偏。

3.1 图像压缩比

图像压缩比为摄像头获取到的图像宽高比。通过图像压缩比对进行仿射变换的文稿区域的4个角点坐标做调整，保证纠偏文稿的原始布局。

3.2 灰度化处理

对于摄像头获取的彩色图像，每个像素点的颜色分别由R、G、B3个分量决定，每个分量分别有155种取值。1个像素点的颜色变化范围达1 600多万(255×255×255)。但对于R、G、B3个分量相同的灰度图像，1个像素点的颜色变化范围为255，大幅度减少了图像的计算量。由于图像边缘存在于灰度值发生剧烈变化的区域内，灰度变化率最大的位置极可能代表了图像的边缘，因此，对图像的灰度化处理有利于后期的图像边缘分割。

3.3 边缘检测

边缘检测提取目标与背景之间的边界，图像边缘的表现形式包括阶跃型、脉冲型与屋顶型。在对文稿进行边缘检测与纠偏的应用过程中，背景颜色与文稿颜色对比度大时，图像像素点的变化特征为先快速增大、后快速减小，适合采用1阶零点或2阶极值点对边缘点进行求解；背景颜色与文稿颜色对比度小时，图像像素点的变化特征为稳定增大或稳定减小，适合采用1阶极值点或2阶零点的方式进行求解。1阶检测算法在进行灰度化处理时存在边缘无法检测的情况，而采用2阶微分运算对于检测边缘效果显著。另外，考虑到文稿边缘为直线的特性，以及对文稿边缘的检测要求不及对行人、汽车检测的边缘细节要求高，为了计算的高效与简单，本文选用Canny算法进行文稿边缘检测。

假设Canny算法采用的卷积算子为

(1)

其x向、y向的1阶偏导数矩阵分别为：

P[i,j]=(f[i,j+1]-f[i,j]+

f[i+1,j+1]-f[i+1,j])/2

(2)

Q[i,j]=(f[i,j]-f[i+1,j]+

f[i,j+1]-f[i+1,j+1])/2

(3)

梯度幅值为

(4)

梯度方向为

θ[i,j]=arctan(Q[i,j]/P[i,j])

(5)

3.4 边缘查找及检测

图像边缘是指图像周围的像素灰度值有阶跃变化、脉冲变化或屋顶变化的像素集合点，反映了图像灰度的不连续性。图像边缘是包含了幅度以及方向的矢量对象。在一定条件下，不同的边缘点包含了不同的图像信息。由于复杂背景以及摄像头畸变导致文稿存在矩形、梯形或不规则四边形的情况，因而需要筛选出文稿的边缘。

根据文稿特性，边缘查找与边缘检测的保留准则包括：

1) 对检测轮廓采用多边形逼近approxPolyDP方法，并筛选去除相近的点；

2) 筛选去除相近的点之后不为四边形，使用最小矩形包裹；

3) 根据边缘查找到轮廓的起始点位置，按照面积进行排序筛选。

3.5 仿射变换

仿射变换的本质是将图像投影到一个给定4个角点位置、最大宽度与最大高度的新平面上。假设世界坐标点为(xi,yi)，图像坐标点为(ui,vi)，若要将(xi,yi)映射到{(ui,vi),i=1,2,3,4}，则

(6)

对式(8)进行仿射变换系数求解：

ui=C00×xi+C01×yi+C02

(7)

vi=C10×xi+C11×yi+C12

(8)

1=C20×xi+C21×yi+C22

(9)

即：

ui=C00×xi+C01×yi+C02=

ui×(C20×xi+C21×yi+C22)

(10)

vi=C10×xi+C11×yi+C12=

vi×(C20×xi+C21×yi+C22)

(11)

4 实验结果与分析

4.1 实验环境

Intel(R) Core(TM) i7-6700HQ，CPU @2.60 GHz 2.59 GHz，Windows10 64位操作系统，Android SDK。

4.2 实验结果

为了对比基于文字区域与基于文稿边缘的检测与纠偏方法，分别进行单一纯色背景、单一非纯色背景和复杂背景下的文稿检测与纠偏结果对比。图3为基于文字区域方法在3种背景条件下的文稿纠偏结果。其中，图3(a)～(c)为视频获取的待纠偏图片，(d)～(f)为对应的纠偏结果。图4为基于文稿边缘方法在3种背景条件下的文稿纠偏结果。其中，图4(a)～(c)为视频获取的纠偏图片，(d)～(f)为对应的纠偏结果。

图3 基于文字区域的检测与纠偏方法

图4 基于文稿边缘的自适应检测与纠偏方法

实验结果表明：基于文字区域的检测方法仅在单一纯色背景下有良好的表现，在单一非纯色背景及复杂背景下的纠偏表现均不理想，文稿边缘定位精度低，不能对文稿完成准确纠偏。另外，虽然在单一纯色背景下表现出良好的纠偏能力，但基于文字区域的纠偏结果会破坏文稿的原始布局，达不到类似扫描的效果；而基于文稿边缘自适应动态检测方法在单一纯色背景、单一非纯色背景与复杂背景下均表现出了良好的定位精度与准确的纠偏能力，且保留了原始的文稿布局。

4.3 性能分析

为了验证本文方法的实时性与有效性，对完成纠偏的平均时间以及适应场景进行实验。图5显示了基于文字区域方法与基于文稿边缘方法在单一或复杂背景下进行100次纠偏试验的耗时。表1为基于文字区域方法和基于文稿边缘方法在不同场景下的平均耗时与场景适应情况。基于文字区域方法在单一背景下100次实验的平均耗时为0.327 2 s，而基于文稿边缘的自适应动态检测与纠偏方法在单一背景或复杂背景下100次实验的平均耗时分别为0.609 2 s和0.663 8 s，耗时高于前者，但能满足实时检测的要求；而基于文字区域检测与纠偏方法在复杂情况下实验100次的平均耗时为1.666 7 s，且不能准确纠偏。因此，基于文稿边缘的自适应检测与纠偏方法在整体上性能更优。

图5 进行100次纠偏试验的耗时分布

表1 不同场景下的平均耗时与场景适应情况

5 结束语

本文提出了一种基于文稿边缘的自适应检测与纠偏方法。该方法将Canny边缘检测算法运用于文稿边缘检测，结合Canny对边缘检测的优势，引入高斯滤波减少噪声的影响以提升检测性能。另外，通过多边形逼近、最小矩形包裹与面积筛选相结合的方法去除稿件畸变或复杂背景对文稿检测与纠偏的影响，增加了文稿纠偏的适用场景，且满足文稿纠偏的实时性要求。由于在实际纠偏过程中，因光照产生的阴影未得到去除，因此对纠偏后的图像进行阴影去除是下一步研究的内容。