基于多种边缘检测的视频划痕检测技术*

张利平，张红英，吴 斌

（西南科技大学 信息工程学院，四川 绵阳 621010）

1 引言

中国作为一个具有悠久历史的文化大国，在电影业有着百余年的文化积累。那些保存至今的优秀影片资料数以万计，但由于当时技术条件限制、长期存放以及多次播放，造成影片有许多损伤，如灰尘沾染、图像抖动、画面闪烁、划痕、脏点、颗粒增多等。因此，保存和修复这笔珍贵的人类财产刻不容缓，也为开展高清晰度电视内容服务提供了重要节目来源。本文主要针对老胶片中常见的垂直划痕，讨论了对其数字修复之前的检测技术，为后续的自动修复奠定基础。

2 划痕及已有检测技术描述

划痕大致有两种[1]：一种仅限于画格之内的小损伤，另一种出现在一段连续画格上，如直线划痕。划痕大部分由操作不当引起，如当胶片经过摄影机、印片机等设备或胶转磁和扫描过程中，若清洁保养不当等，与胶片接触的细小颗粒都会导致连续划伤。当这些划伤影响了胶片的感光层就无法用物理的方法修复，而需采取数字处理方式修复。

其中，直线划痕是这些划伤中较为普遍的失真，在图像中常呈线状分布。它通常有3～10个像素宽，倾斜角度小于5°（近似直线），亮度呈衰减余弦函数分布。所覆盖区被严重破坏，在同一位置保持若干帧，或呈现轻微移动，以各种长度和对比度出现。在黑白影片中或为黑色，或为白色；彩色影片中可能为高亮度划痕或暗划痕，也可能是彩色（多数情况下是蓝色）。直线划痕又可分为垂直划痕（Vertical Scratch）和水平划痕（Horizontal Scratch）。前者表现为图像从上到下的直线区域像素损失，后者表现为从左到右的直线划伤。前者在旧电影中相当普遍，严重时呈雨状分布，影响了观众对图像的主观质量。直线垂直划痕数学模型如下[2]

式中：Z（k）为划痕信号；A为划痕中心亮度差；p为衰减系数（p<1）；c为划痕中心位置；f0为由局部平均灰度值决定的偏移量；k=（i，j，t）；t为时间。

Kokaram[3]于1998年首先对垂直划痕特征进行了系统性研究，并提出了相应数学模型，检测过程中使用中值滤波和霍夫变换，其研究结果被欧盟AURORA胶片电影修复项目所采用。但该方法存在一些缺陷，如需要人为调整不同门限值，不区分真正划痕和相似场景元素，计算时间长，易漏检长度不及图像高度一半的短划痕等。2004年，V.Bruni[4]修改了Kokaram划痕模型，给出了一个更通用的划痕亮度模型和图像退化模型。此法虽克服了以往算法的一些不足，但该算法仍未很好地解决自然线条物体与划痕相区别的问题。

在工业生产中，也常采集工业器件图像后用数字图像处理技术分析，如阈值分割、形态学处理、连通域标记等来检查器件是否被划伤[5-6]。对于这些内容较简单、背景与所要检测目标的亮度差别较明显的图像，用基本的图像处理技术不论在效果上还是检测速度上都能达到工业检测的要求。笔者提出的划痕检测方法也能用于工业生产中的检测，因为该算法相比以往的算法更为快速，能达到工业检测的要求。

3 基于多种边缘检测的划痕检测算法

本文进行划痕检测时，首先从视频序列中截取一帧存在划痕的图像或在图像中加入划痕，再针对此图像进行处理，检测算法如下：

1）图像灰度化处理。本文主要针对的是灰度图像划痕检测，为后续的Hough变换作准备。在灰度化的处理过程中采用以下公式

式中：R，G，B分别为图像红、绿、蓝颜色通道，每个通道都含有大量信息，采用式（2）灰度化后能满足人眼视觉的要求，且比较快速，为后续的边缘检测和Hough变换节省时间。

2）Sobel算子边缘检测。Sobel算子是图像处理中的边缘检测算子之一，它是一离散性差分算子，用来运算图像亮度函数的梯度近似值。Sobel算子有2个，一个对通常的水平边缘响应最大，一个对通常的垂直边缘响应最大。而图像中的垂直划痕具有明显的梯度特性，本文则采用对垂直边缘响应最大的Sobel算子进行初步边缘检测，见公式（2），目的是突出垂直划痕的特征。虽然该算法能产生较好的检测效果，但是容易检测到伪边缘和形成不闭合区域，所以需进一步的检测定位，公式如下

3）Canny算子边缘检测。鉴于Sobel算子的不足，将在这一步中采用具有最优阶梯型的边缘检测算法，即Canny边缘检测来进一步处理。Canny边缘检测根据信噪比与定位乘积进行测度，从而得到最优化逼近算子。这种检测方法也属于先平滑后求导的方法，既能有效抑制噪声，也能精确确定边缘位置。基本步骤是：先用高斯滤波器平滑图像；再用一阶偏导的有限差分来计算梯度的幅度和方向；然后对梯度幅值进行非极大值抑制；最后用双阈值算法检测和连接边缘。此时，图像中的垂直划痕作为特殊的边缘也被清晰的标识出来。

4）概率Hough变换检测垂直直线。标准的Hough变换虽然能够准确地检测出图像中的直线，但是处理时间较长，为了提高整个算法的速度，本文采用了一种新的Hough变换，即概率Hough变换（PHT）[7]。 其基本理论依据及大致步骤为：每个参数空间的点唯一对应于原图像中的n个特征点。例如直线检测中，Hough参数空间的每个点能被原图的2个特征点表示。假如原图中的特征点为

从原图中随机取一对特征点（di，dj），其中 di=（xi，yi），dj=（xj，yj），这样参数（a，b）可以通过以下公式求得

数组H（a，b）根据求得的结果不断的积累，当一直计算到某个数组超过规定的一个最大值 （这里预先设定阈值T），这个最大的H（a，b）数组就是检测到的直线。返回线段分割，这样更快速有效，对于非贯穿整个图像的较短的划痕也能标识出来。但此时被标识直线包括垂直和非垂直的直线，设定限制直线上点的横坐标即可保留其中的垂直直线。

5）形态学处理并宽度约束得到真正的垂直划痕。通过概率Hough变换已检测出图像中的垂直直线，其中也包括自然垂直物，则需要排除它们。本文先进行形态学中的开运算处理，再设定宽度阈值来排除非划痕。此做法是根据划痕一般为3～10个像素宽，经过开运算后图像中的自然垂直物 （如门框边界等）的相邻边界会连成一个区域，则总宽度就比划痕大出许多；此时真正划痕也比非自然垂直物和非划痕的其他细线噪声宽度大许多，设定相应的宽度范围就可将较细和太宽的垂直直线去除，最终得到真正划痕的位置。

4 实验结果和分析

实验选用了3个实例，第1幅实验图来自文献[8]，只有一条亮度划痕，有很小的噪声，用来检验算法的有效性；第2幅实验图是人为加上黑色划痕的图像，图中左边有自然垂直物，用来检验算法排除自然垂直物的性能；第3幅实验图也是来自文献[8]，它包含了多条暗划痕，且有较大噪声干扰，用来检验算法在噪声下的稳定性。

第1幅图像中的亮划痕长度与图像高度近似相等，如图1a所示；经本文算法过程依次得到图1b，1c，1d。由于该图只含一条划痕，所以无需进行后续的形态学等处理。

图1 第1幅带划痕图像的检测

从图1中可以看出最终检测出来的划痕没有贯穿整体图像，但是划痕最明显的部分已被检测出，说明笔者提出的算法在旧电影处理中是可行的。

第2幅图像经过本文的一系列处理后得到图2，可以看出本文算法能够排除左边自然垂直物，最终得到右侧真正划痕。本实验中宽度阈值范围为[2，12]，宽度在这个区间的为划痕。

图2 第2幅带划痕图像的检测

第3幅图像有一定的噪声，包含多条图像，且长短不一，如图3a所示。利用本文算法依次得到图3b，3c，3d。

图3 第3幅带划痕图像的检测

实验3的结果进一步说明在一定噪声影响下，本算法仍具有很好的稳定性。

本文算法与Kokaram模型方法的检测划痕数目对比如表1所示。

表1 本文算法和Kokaram模型方法的测试数据对比

从上述表格可以看出，实验2中把部有自然垂直物的图像，Kokaram模型发生了误检，而本文算法排除了误检；实验3中由于大量噪声的干扰，Kokaram模型检测效果非常不理想，本文方法却可以比较稳定地检测划痕，虽然那些比较长的划痕是断续的，边缘有一两条误检，但是对于比较短的划痕检测出来了，效果较好。在计算复杂上，本文采用的是概率Hough变换，提高了检测速度。

：

[1]周磊.电影胶片修复及噪声处理关键技术的研究[D].上海：上海交通大学，2008.

[2]ROOSMALEN V.Restoration of archived film and video[D].Holland:Delft University of Technology，1999.

[3]KOKARAM A C.Motion picture restoration digital algorithms for artifact suppression in degraded motion picture film and video[M].Berlin:Springer-Verlag，1998.

[4]JOYEUX L； BOUKIR S； BESSERER B.Film line scratch removal using Kalman filtering and Bayesian restoration[EB/OL].[2009-09-20].http：//neuron2.net/library/scratch.pdf.

[5]李哲毓，高明，马卫红.基于计算机视觉的管壳表面划痕检测技术研究[J].应用光学,2007,28（6）： 803-805.

[6]顶金明.金属镀层工件表面缺陷自动检测系统的研究[D].天津:天津大学，2004.

[7]XU Lei.A new curve detection method：randomized Hough transform[J].Pattern Recognition Letters， 1990， 11（5）： 331-338.

[8]BRUNI V，VITULANO D，KOKARAM A.Fast removal of line scratches in old movies[C]//Proc.the 17th International Conference on Pattern Recognition.Cambridge，UK:[s.n.].2004:827-830.