多特征级联式检测变轮廓运动目标

郭克友，郭晓丽，王艺伟

(北京工商大学 材料与机械工程学院, 北京 100048)



多特征级联式检测变轮廓运动目标

郭克友，郭晓丽，王艺伟

(北京工商大学 材料与机械工程学院, 北京 100048)

总结了变轮廓运动目标的特点，并将其应用到方向盘上操作手数的检测中;提出了先进行方向盘自动定位，再快速检测其上操作手数目的技术路线;预定位中运用Haar特征的AdaBoost分类器进行初检，得到包含目标轮廓的图像;利用HOG特征的Real-AdaBoost分类器进行精确检测，并确定操作手位置点集;对取得的操作手质心点坐标集进行奇异值分解并拟合椭圆，获取图像中方向盘位置，最终实现操作手的快速准确检测;算法在保证了原算法的实时性和准确性外，提高了检测系统应用的灵活性。

智能交通；操作手；特征提取；奇异值分解

0 引言

道路交通事故统计数据分析表明，行车过程中诸如：双手离开方向盘，接打电话等违规操作行为是事故发生的主要诱因之一。对驾驶员操作行为进行督导和安全预警提示在智能交通的范畴内[1]。方向盘上操作手的检测是安全督导系统亟待解决的问题。

操作手，随驾驶人员，位置，姿态，服饰(手套)等变化，其轮廓多变，成像效果不一，常规的检测不能较好的解决问题。Huang D Y采用了自适应肤色模型的方法和Gabor滤波器，并应用主成分分析(PCA)的方法对手势的Gabor特征进行降维，最后利用支持向量机(SVM)识别出手势类别。识别率最高达到96.1%，缺点是实时性有待提高[2]。J.Y.Lee等研究出一种椭圆边界模型来进行肤色分割，采用这种模型能够快速的分割肤色。但因为有很多因素未考虑，特别是带手套情况下，提取的精度较低[3]。笔者在文献[4]提出了一种基于方向盘图形判断操作手数目的算法(后简称“双峰法”)，具有实时性和准确性，但要求安装设备固定，方向盘位置受限，在实际安装和使用过程中禁止驾驶员调整方向盘位置。随系统安装时间增长，路途抖动等引起摄像头位置偏移，检测精确度严重下降，需不间断维护调整。

根据操作习惯，驾驶人员会根据舒适度对方向盘进行位置和角度调整。带来的方向盘位置的未知性和不确定性，给安全督导系统对长时间单手操做，打手机等违规行为的检测带来不便。针对实际应用中操作手检测设备需要满足：安装位置灵活性、检测准确性和运行实时性。本文在双峰法基础上提出双特征的级联式方向盘上操作手数目检测算法，进行方向盘位置自动判定，并以TI公司TMS320DM6437为主处理芯片，进行系统搭建，在保证双峰法实时性及准确性的同时，提高了算法应用的灵活性。

1 算法设计

客车行驶时间长，路况多变，驾驶室内光照变化复杂，利用颜色，形状或纹理特征难以准确识别方向盘。为提高拟合精度，用学习的方法，从多角度提取图像特征，训练多个AdaBoost分类器，级联式精确检测方向盘上分布的操作手位置。软件原理框图如图1。将获得的一帧720*480的图像进行Haar特征AdaBoost检测，得到初检操作手区域。提取其轮廓的最小外接矩形区域，并缩小成32*32的图像，对其进行HOG特征AdaBoost检测，确定操作手，并将其轮廓最小外接矩形的质心作为方向盘上分布的散点。为提高拟合精度，将待检测区域以(180,240)为中心，进行四象限的划定。当每个象限至少有9个散点，进行奇异值分解求线性最小二乘解，进行方向盘椭圆形状的拟合。设定方向盘的宽度为30像素，将椭圆进行双方向15像素扩展，得到椭圆环，以模拟方向盘区域。为提高运算速度，截取椭圆环带最小外接矩形为感兴趣区域，对感兴趣区域进行图像预处理之后，遍历椭圆环带，利用“双峰法”[4],进行操作手的快速检测。

图1 系统软件原理图

1.1 初检目标操作手

初检目标要将所有操作手检测出来，可以误检(即检测出非目标物)，但不能漏检(即将目标物遗漏检测)。

1.1.1 学习算法的选择

选择AdaBoost作为训练算法的原因：

(1)运算过程中更新样本权重，可以加大分类错误的样本权重，提高分类性能。

(2)算法是对弱分类器的加权得到最终的高准确率的强分类器，由若干个正确率稍大于随机猜测概率(50%)的若分类器进行加权，其正确率是指数上升，具有较高的可靠性。

(3)Adaboost训练时，弱分类器的分类误差不需先知。

在应用中发现AdaBoost算法虽具高准确率，但分类器训练比较耗时。试验中，正负样本为3 000，耗时25小时左右，不利于测定分类器的准确度。耗时性的根本原因是：(1)训练样本和特征向量维数庞大，多达十万级。(2)因权重改变，新的一次训练会将所有的弱分类器进行重新训练[5]。

分类器重新训练是保证高准确率的前提，故只能改变训练样本数量和特征维度。而样本的丰富性是准确率高的保证，高维度的Haar特征可以多层次提取图片信息。考虑初检要求，且训练过程为离线，是独立的过程，在操作手检测中牺牲分类器训练时间有必要。

1.1.2 样本Haar特征选择

特征的恰当选取不但降低算法复杂度，也提高分类器效率，使判别函数分类能力强，减小操作手(正样本)和非操作手(负样本)之间距离，即类内距离，增加其类间距离。考虑到操作手图片包含边缘信息较多，选取Haar特征，特征值的计算采用积分图法。原因如下：

(1)Haar特征维数多，能提取较多的信息。

假定训练或检测窗口大小为，在该窗口中的所有矩形特征数目为:

(1)

(2)Haar特征在一定阈值下，能明显区分正负样本。

除Haar特征数多外，其较高的对比度也是本文选取的原因。试验中，随机选取A模板对3 372 个操作手样本和7 879个非操作手样本进行遍历，得到其特征值，求取各个特征值的平均值，得到样本特征分布图像，不失一般性,考虑显示前1 000个特征进行比较，对比效果如图2所示。可知，Haar特征能较好的反映正负样本的本质。

图2 正负样本Haar特征值对比图

1.1.3 分类器训练

在针对不同的衣着、不同的光照、不同的人进行方向盘上操作手检测训练和试验中，进行训练的有3 372个正样本，7 879个负样本，部分正负样本如图3所示。为了提高训练速度，正样本统一缩放到20*20大小。

图3 Haar训练过程正负样本

部分Haar检测的结果如图4所示,除了框出手以外的其他的蓝色框均为误检框,大量的统计检测结果表明，初检后漏检较少，但存在大量的误检。

图4 部分Haar检测的结果

1.2 精检目标操作手

为了将检测结果中的误检框进行消除，本文采用了级联的思想来消除误检，即将Haar特征分类器的检测结果作为hog特征分类器的输入，运用hog特征再次进行AdaBoost检测，精确确定操作手位置，将如图5所示的情形进行改进。

图5 初检示意图

图像梯度方向直方图(Histogram of Oriented Gradients，简称HOG)最重要的思想是光强梯度或边缘方向的分布，可以较好地描述所检测的局部物体外形。且HOG特征描述子对于图像的几何和光学形变都能够保持很好的不变性[7]。学习机器选择对经典AdaBoost分类器基础上有提升和扩展的Real AdaBoost。如图6所示为HOG特征的训练过程流程图。

图6 HOG的训练过程流程图

利用基于Hog特征分类器进行精确检测后的效果如图7所示。

图7 精确检测示意图

1.3 方向盘位置确定

将再检后得到的操作手质心位置记录，作为方向盘上已知的散点集合。对于未知位置的方向盘，可以利用较多数量的散点进行椭圆拟合。在实际安装中，方向盘的成像为非标准椭圆。在笛卡尔系坐标中用5个参数来唯一确定任意椭圆。5个参数为：椭圆中心x0,y0)，半长轴a，半短轴b，长轴与X轴正方向的夹角θ。平面任意位置椭圆方程的表达式用这5个参数写为：

(2)

式(2)是5元4次的非线性方程，不便于求解，故需要将上式进行展开并进行变量替换如下：

x2+Axy+By2+Cx+Dy+E=0

(3)

其中:

式(3)为线性方程，利用最小二乘的思想进行椭圆参数的拟合[8]。由已知的n(n≥5)组散点坐标(xi,yi)，得到最小二乘原理拟合的目标函数：

Cxi+Dyi+E)2

(4)

该正规方程可以写成一下形式:

(5)

利用最小二乘法需要适当选取5个参数的值，使得F的二范数最小。上述方程以下简化为Px=Q,P∈Rn*5。若n=5,且P-1存在，方程组一定有唯一解。若n>5,则需要用广义逆和奇异值分解来求解。获得的质心点坐标都是大于0的，故P的列满秩。由文献[9]，此时

(6)

线性方程有唯一解

(7)

最小二乘法椭圆拟合较容易受坏点影响。如图所示。因坏点个数较少，且位置较极端，在拟合效果未知的情况，本文采取对所有点进行随机划分，所有点为一组，随机选择1/3点为一组，剩余的2/3为一组。将上述三组点分别进行奇异值分解的最小二乘拟合椭圆，从拟合的3个椭圆如图8所示，并从中选取最佳。

图8 椭圆拟合受坏点影像图

1.4 操作手快速检测

方向盘位置确定之后，为缩短检测的时间,对整幅图像设置方向盘感兴趣区域如图9所示。图像分辨率为720×480，感兴趣区域要将整个方向盘及其外30个像素区域都包含在内，以免驾驶员手握方向盘时转到边沿区域超出检测范围出现漏检。本文中方向盘感兴趣区域起点坐标(0,130)，宽度340，高度430。在感兴趣内，以一度为步长沿逆时针方向搜索全方向盘区域，得到与全方向盘对应的V-φ曲线，最后根据V-φ曲线判断方向盘上的操作手数目，具体算法实现详见文献[4]。

图9 遍历方向盘区域

2 算法实现与优化

算法应用于DSP系统，选取TI 公司的TMS320DM6437芯片为核心，应用EMCV库帮助实现。由于EMCV存在功能滞后和适应性低等诸多缺点，针对其在DM6437上的应用，本文对其实现作如下改进：

1)定点化数据。针对嵌入式系统浮点数计算速度慢的特点，通过TI公司的IQmath库将浮点数转换为定点数进行计算[11-12]，可以极大提高系统运行速度。

2)基本数据结构的改造。剔除不符合嵌入式系统应用的冗余判断和定义，增加嵌入式函数接口的数据定义。

3)常用函数的添加和改写。增加与EMCV接口一致的常用函数，如OTSU等函数。

为满足实时检测的需求，结合DM6437内核的特点，通过优化存储器的存取效率和提供程序的并行化来缩短程序运行所需要的指令周期数，加速代码的运行。

本文的试验车型为桂林佳利安中型客车和广州宇通客车，摄像头固定于驾驶员前上方风挡玻璃处。DM6437处理视频帧的分辨率为720×480，改进后，平均每帧图像检测时间由原

来的72 ms提高到36 ms，效果显著，符合实时检测的要求。算法对于驾驶员不同衣着、不同光照、不同驾驶姿态都有较好的检测精度。

设备安装完成后，在车辆正常运行过程中，车载终端会实时检测驾驶员双手操作方向盘行为，当驾驶员双手离开方向盘或长时间单手离开时，程序就会对该帧进行标记，当驾驶员持续两秒双手离开方向盘时，即将当前帧抓拍下来，传输到后台。通过安装30台安全督导系统示范终端，可以远程监控不正确的驾驶行为，提醒驾驶员保持正确的驾驶姿势，达到督导驾驶员安全行车的目的。可以通过登陆网页的形式，查看某一辆车的驾驶员违规操作方向盘的记录。

3 结束语

本文提出一种方向盘预定位机制检测操作手数目，结合Haar特征和HOG特征进行AdaBoost级联式操作手检测，得到方向盘上分布的散点。并利用奇异值分解的最小二乘进行非标准椭圆的拟合，得到方向盘位置，使“双峰值”法得到了完善。试验结果表明，算法具有很好的检测精度和鲁棒性，可行性较高，能够满足实时性要求，对于督导驾驶员安全行车具有重要意义。

[1] 公安部交通管理局.中华人民共和国道路交通事故统计年报[R],2010.

[2] Huang D Y, Hu W C,Chang S H.Gabor filter-based hand-pose angle estimation for hand gesture recognition under varying illumination[J].Expert Systems with Applications,2011,38(5):6031-6042.

[3] Lee J Y, Yoo S I. An elliptical boundary model for skin color detection[A], In Proc.of the 2002 International Conference on Imaging Science, Systems, and Technology[C].2002.

[4] 郭克友,纪彬,陈雪洁,余贵珍. 一种方向盘上操作手数目检测算法[J]. 计算机工程与应用,2015(10)：177-181.

[5] 王海川,张立明. 一种新的Adaboost快速训练算法[J]. 复旦学报(自然科学版),2004(1):27-33.

[6] 文学志,方 巍,郑钰辉. 一种基于类Haar特征和改进AdaBoost分类器的车辆识别算法[J]. 电子学报,2011(5):1121-1126.

[7] 郭金鑫,陈 玮. 基于HOG多特征融合与随机森林的人脸识别[J]. 计算机科学,2013(10):279-282.

[8] 刘书桂,李 蓬,那永林. 基于最小二乘原理的平面任意位置椭圆的评价[J]. 计量学报,2002(4):245-247.

[9] 徐文华,孙学栋. 奇异值分解求线性最小二乘解的理论分析[J]. 贵阳学院学报(自然科学版),2009(4):1-4.

[10] Texas Instruments Incorporated. TMS320DM6437 Digital Media Processor(SPRS345D)[Z], June, 2008.

[11] Texas Instruments Incorporated. TMS320C6000 Optimizing Compiler v7.4 User’s Guide(SPRU187u)[Z]. July, 2012.

Multi-Attribute Cascading Identify Variable Contour Moving Targets

Guo Keyou, Guo Xiaoli, Wang Yiwei

(School of Material and Mechanical Engineering, Beijing Technology and Business University, Beijing 100048,China)

It summarized the characteristics of variable contour moving targets, and applied it to detect operating hands’ position on steering wheel. It raised a means by automaticly detecting the position of steering wheel firstly, and after that detecting the operating hands. For gathering the operating hands’ positions, this paper used AdaBoost on Haar to detect preliminarily and Real-AdaBoost on HOG to detect precisely. It fitted ellipse using SVD based on mass center coordinates of operating hands to simulate steering wheel and detected the operating hands quickly and accurately. Algorithm not only ensures the real-time and accuracy of the original one, but improves flexibility.

intelligent transportation; operating hands; feature extraction; SVD

2015-10-15；

2015-11-11。

交通运输部信息化科技项目(2012-364-835-110)；北京工商大学科研能力计划项目。

郭克友(1975-)，男，博士，副教授，主要从事安全辅助驾驶方向的研究。

1671-4598(2016)03-0263-04

10.16526/j.cnki.11-4762/tp.2016.03.072

TP3

A