基于红外标记视觉的安全带佩戴规范性检测

钟铭恩，黄 伟，温程璐，黄 波，黄杰鸿

(1.厦门理工学院机械与汽车工程学院，厦门 361024；2.福建省客车先进设计与制造重点实验室, 厦门 361024； 3.厦门大学信息科学与技术学院，厦门 361005)



基于红外标记视觉的安全带佩戴规范性检测

钟铭恩1，2，黄 伟1，温程璐3，黄 波1，黄杰鸿1

(1.厦门理工学院机械与汽车工程学院，厦门 361024；2.福建省客车先进设计与制造重点实验室, 厦门 361024； 3.厦门大学信息科学与技术学院，厦门 361005)

针对安全带佩戴规范性仍未引起充分重视的现实问题，借助具有红外敏感表面涂层标记的三点式安全带，基于标记视觉和图像处理技术提出一种安全带佩戴规范性的集成检测方法：利用增强现实技术快速识别定位安全带标记，在此基础上分别设计数量阈值算法、模糊聚类阈值算法、曲线拟合松弛度算法和肩部外轮廓交点定位算法，用以进行安全带是否佩戴和佩戴形式、松紧程度、高低位置是否规范等4种判断，从而实现安全带是否规范佩戴的检测目标。实验结果表明，在各种成像条件和图像背景干扰下，对应上述4种判断的识别准确率分别为95.4%，93.1%，79.5%和85.3%，而安全带佩戴规范性的综合识别准确率达89.5%，验证了所提出算法的准确性、有效性和适应能力。

安全带检测；佩带规范性；标记视觉

前言

安全带被誉为车辆安全技术最伟大的发明之一，是车辆乘员约束系统中最有效的保护装置，在车辆发生交通事故时可大幅降低车载乘员的致死率和致伤率[1]。为督促车辆乘员佩戴安全带，安全带佩戴智能检测技术成为车辆安全领域的一大研究热点。现有研究主要可分为直接检测和间接检测两类。直接检测中最普遍的当属文献[2]中提出的基于安全带卡槽传感信号的方案，此外也诞生了诸如基于安全带伸缩长度[3]、受力状态[4]等信息的检测方案。直接检测技术是当前应用的主流，但当面对驾驶员各类安全带作弊行为时检测准确率将受影响[5]。近年来，基于车载视觉和图像处理的间接检测方案由于具有防作弊、结构简单、易于集成扩展、不干扰驾驶员等优点而备受重视，成为当前安全带佩戴检测技术研究的焦点之一[1,6]。文献[7]中借助具有反光性能的安全带提出了一种安全带佩戴与否和扭曲佩戴的图像检测技术；文献[8]中利用灰度积分投影原理成功提取安全带几何特征并实现了一种佩戴识别率达83.6%的检测方案；文献[9]中基于Adaboost算法并通过高斯混合模型实现了安全带区域的精细定位识别[9]。这些研究成果对于提高车载乘员的安全带佩戴率具有积极意义，但也受到一些实际问题的制约，例如采用Hough直线变换来提取安全带轨迹默认图像中的安全带为直线缠绕车载乘员身体，而实际多为曲线缠绕；又如基于安全带斜率和投影等特征信息的检测方案的准确率容易受驾驶员体型变化(常见于更换驾驶员)、座椅位置调整等因素的影响[10]。

此外，现实中安全带佩戴情况并不能简单地划分为佩戴与不佩戴问题，还包括佩戴的规范性问题。安全带在已佩戴但佩戴不规范时乘员约束保护作用将减弱，甚至可能反而成为车载乘员的伤害来源[6,11-12]。现有关于安全带佩戴的检测技术研究大都针对安全带是否佩戴问题，而对于安全带佩戴是否规范问题(如形式错误、松紧不适、高低不当等)则重视不足。随着我国道路交通安全法规的普及，大部分车辆乘员都能认识到佩戴安全带的重要性，但对于佩戴是否符合规范则普遍缺乏常识或意识。

为正确、有效地使用三点式安全带，本文中基于车载视觉技术，借助具有红外敏感表面涂层标记的三点式安全带，提出一种安全带佩戴规范性检测方案，并详细实现了各类图像处理算法。

1 系统设计

系统设计如图1(a)所示。由于人体对红外光具有不敏感性，本文中采用红外成像方案。这一方面能够避免光源对驾驶员造成驾驶干扰，另一方面有利于克服光照条件变化引起的图像成像质量下降问题。该安全带系统的显著特征在于安全带上每隔一段距离d印制一个红外敏感表面涂层标记(Marker)。标记的图案可自行定义，图1(b)给出了几种参考标记。处理器针对红外成像系统采集的图像进行处理和特征提取，据此判断安全带的佩戴情况并进行必要的提醒。

图1 安全带检测车载红外视觉系统

图2(a)和图2(b)分别为系统所拍摄的实际驾驶过程中驾驶员身穿方形网格迷彩服的强背景干扰和夜间弱光环境下的灰度图像。由图可见，图像中安全带标记的像素信息识别度好，有利于减少图像处理任务量，提高算法效率和抗干扰能力。

图2 不同光照条件下的驾驶过程图像

2 检测流程

安全带佩戴规范性检测流程如图3所示。

图3 基于标记识别的安全带规范化检测流程

当系统获得一幅红外图像后，首先进行灰度化和降噪处理，然后快速识别定位所有标记，最后根据标记的数量、分布和曲线拟合等信息实现安全带佩戴的形式、松紧程度和高低位置的参数识别，判断安全带佩戴是否符合规范。其中Q1～Q5为判断阈值，MN为肩部外轮廓特定区域，这些参数将在后面详细说明。

3 算法设计

本文中获取的原始红外图像为RGB三通道模式，为降低图像处理数据量，对图像进行8位单通道的灰度变换：

式中：V为像素灰度值；r，g和b根据文献[13]中的推荐分别取值为0.299，0.587和0.114。灰度化后，应用3×3模板进行高斯滤波降噪。

3.1 标记识别定位

标记的有效识别定位是本文中提出的安全带佩戴规范性检测的前提。为此，借鉴文献[14]中提出的基于标记的相机姿态估计和文献[15]中提出的基于标记的车辆引导的算法经验，以文献[16]中提出的增强现实标记识别开源算法为基础，结合红外图像的特点在不影响识别准确性的前提下进行算法融合并删选精炼，获得一种标记的快速识别和跟踪定位算法，效果如图4所示。图中，所有被正确识别定位的标记都将以标记中心坐标为基点绘制出符号“×”。

图4 安全带标记的快速识别与定位效果

为进一步验证标记识别定位算法的有效性，在车载乘员分别穿着白色T恤、方形网格衬衣和迷彩服，于白天、黑夜等不同光照条件下，采集1 200张640×480像素精度的红外图像，获得离线测试图像集合P1200。利用上述标记识别定位算法对P1200进行处理，结果显示标记识别定位成功率达96.8%。特别当有头发、衣物、手臂等对安全带标记进行部分遮挡时，算法识别定位出的标记依然具有相当的规模。不足之处是，安全带的拐点和末端的标记由于变形相对严重而很难被识别定位(如图4符号“○”圈围的标记)。

3.2 安全带佩戴与否检测

统计已被识别定位的安全带标记的总数N。一种安全带佩戴与否的简单判定算法为

(2)

IF=1指示乘员佩戴了安全带，IF=0指示乘员未佩戴安全带。判定阈值Q1为与标记印刷间隔和安全带拉伸长度有关的参考值。考虑到安全带拉伸长度受乘员的体型(以体质量为表征)影响较大，本文中在实际测试数据基础上引入Q1参考值：

(3)

式中：函数Ceiling(·)用于取上整数；d为标记间距，m；w为乘员体质量，kg；ρ1称为全局尺度系数。

当d=0.08m和ρ1=0.005时，针对离线图像集P1200进行安全带佩戴与否检测的部分结果如图5所示。

图5 安全带佩戴检测结果

3.3 安全带佩戴形式检测

本文中所指的安全带佩戴形式为两点式佩戴与三点式佩戴，其中两点式又分为斜拉式和横拉式，分别对应乘员仅将安全带肩带部分斜跨在胸前(仅佩戴肩带)或者仅将安全带腰带部分横跨在腰腹(仅佩戴腰带)的行为。安全带正确佩戴应为三点式，两点式佩戴属于一种不规范佩戴。

为实现安全带佩戴形式的检测，提出如下模糊聚类判定法(以图像左上定点为坐标原点)。

步骤1：模糊标记提取。针对所有已识别定位的标记Pi(i=1，…，N)，根据标记中心的像素横坐标xi进行排序，截取xi最小的k个标记Ci(i=1，…，k)并归类为模糊标记。其中：N为标记总数；k=Ceiling(ω·N)为模糊宽度；ω称为模糊系数。

步骤3：肩带标记和腰带标记聚类。遍历所有非模糊标记，如果当前标记的像素纵坐标小于聚类上阈值y1，则归类为肩带标记，记为Ai(i=1，…，n)；如果当前标记的像素纵坐标大于聚类下阈值y2，则归类为腰带标记，记为Bi(i=1，…，m)。

步骤4：根据参数n和m判断安全带佩戴形式，规则如表1所示。

表1 安全带佩戴形式判断规则

表1中，判定阈值Q2和Q3与Q1具有相似的计算公式：

(4)

(5)

式中ρ2和ρ3分别称为肩带尺度系数和腰带尺度系数。

将以上聚类处理后可能存在的仍未被划分类别的标记统一归类为残余标记，记为Di(i=0，…，r)，其中r为残余标记总数。显然，N=n+m+k+r。定义残余系数γ=r/N，其值与ω，α和β有关。为充分利用所有已识别标记的信息，使算法具有较高的精度和抗干扰能力，γ值不宜过大。此外，考虑到D类标记的存在，为避免错检，要求Q2+Q3>Q1，即在选择尺度系数时要求ρ2+ρ3>ρ1。

当d=0.08m,ρ1=0.005，ρ2=0.006,ρ3=0.005,ω=0.2,α=0.9,β=1.1,γ<0.03时，针对离线图像集P1200进行安全带佩戴形式检测的部分结果如图6所示。

图6 安全带佩戴形式检测结果

3.4 安全带佩戴松紧程度检测

车辆发生碰撞事故时，如果安全带佩戴过松则约束保护作用将降低。

观测经验表明，张紧的肩带一般呈现为近似直线，而张紧的腰带多呈现为圆滑的弧线。如果分别根据肩带标记和腰带标记的中心进行曲线拟合，则当安全带处于张紧状态时拟合误差将相对较小，据此可检测判断安全带佩戴的松紧程度是否规范。

针对肩带部分，可根据肩带标记Ai(i=1，…，n)的中心坐标进行最小二乘直线拟合，记拟合直线为L1，获得拟合误差指标为

(6)

为避免误差指标受标记数量n和标记间距d的影响，进一步定义肩带规范化松弛度：

(7)

式中lA为肩带拟合直线的长度。

针对腰带部分，考虑到由于摄像头位置和乘员身体移动等原因造成腰带弧线无论在现实或图像中都可能存在一定的空间旋转，采用圆锥曲线L2进行腰带拟合，拟合方程为

(8)

图7 安全带松紧程度检测结果

记腰带的拟合误差指标为E2，定义腰带规范化松弛度：

(9)

式中lB为腰带拟合曲线的长度。

最后，安全带松紧程度判断规则如表2所示。

阈值Q4和Q5决定了安全带松紧程度判断的灵敏度。图7为Q4=0.05和Q5=0.05时，利用离线图像集P1200进行安全带佩戴松紧程度检测的部分结果。

表2 安全带佩戴松紧判断规则

3.5 安全带佩戴高低位置检测

当车辆发生碰撞时，若安全带佩戴过低则容易因为安全带滑脱而起不到良好的乘员约束保护作用；若安全带佩戴过高则安全带可能伤害乘员的颈部。佩戴过高或过低都属于佩戴不规范。

根据肩带拟合直线与乘员肩部外轮廓线的位置关系可判断安全带佩戴高低位置是否合适，详细原理如图8所示。具体步骤如下。

图8 安全带佩戴高低位置判断原理图

步骤1：提取乘员肩部外轮廓拟合直线L3。

步骤2：计算肩带拟合直线L1与肩部外轮廓线L3的交点O。

步骤3：根据交点O与肩部有效区域MN的位置关系判断安全带佩戴高低位置是否合适。

图9 安全带佩戴高低位置检测结果

有效区域MN对于检测结果有直接影响，与乘员体型等因素有关。基于算法仿真对比结果，本文中将其设置为驾驶员肩部外轮廓的中间1/3区域。图9为利用离线图像集P1200进行安全带佩戴高低位置检测的部分结果。

4 实验验证

为验证上述算法的适应能力和准确性，招募20位驾驶员，依次穿着普通T恤、常规衬衫、方格衬衣和迷彩服，分别开展白天和夜间驾驶实验。前两种服装用于构造标记安全带的简单背景；而后两种服装则用于构造复杂背景，目的在于增加标记识别的干扰。如此共可设置4种实验环境：白天简单背景、白天复杂背景、夜间简单背景和夜间复杂背景。每种实验环境下，分别部署9种安全带佩戴情况：未佩戴、仅佩戴肩带、仅佩戴腰带、肩带松弛、腰带松弛、肩腰带松弛、佩戴过高、佩戴过低和规范佩戴。其中，安全带松弛状态由过度拉伸后采用夹子固定获得；佩戴过高或过低则通过调整安全带高低调节装置实现。于是，针对每位驾驶员可获得36种实验条件。对应每种实验条件，要求驾驶员连续驾驶车辆10min，每分钟随机间隔采集5张红外图像，像素分辨率为640×480。如此共可获得这20位驾驶员分别在36种实验条件下的实车驾驶红外图像样本共计36 000张。实验车辆为一汽大众2008年生产的宝来轿车，在原车安全带上加贴红外敏感表面涂层标记图案，相邻标记中心间隔d=0.08 m。

在参数ρ1=0.005,ρ2=0.006,ρ3=0.005,ω=0.2,α=0.9,β=1.1，γ<0.03和MN取为肩部外轮廓中间1/3段的条件下，安全带佩戴检测情况分别如表3～表7所示。

以上统计结果表明：

(1) 由于应用了红外敏感表面涂层标记安全带和红外成像技术，驾驶员的服装等背景信息对检测准确率影响不大，说明算法具有较好的抗干扰能力；

(2) 针对安全带佩戴与否、佩戴形式和松弛程度的检测，夜间准确率比白天高，这是因为采用红外成像技术使夜间驾驶时安全带标记信息量的图像占比相对白天更高；而针对安全带佩戴高低位置的检测，白天准确率比夜间高，这主要是受驾驶员肩部外轮廓线的影响，其在光线充分的白天更容易获取；

表3 白天简单背景下的安全带佩戴检测情况

表4 白天复杂背景下的安全带佩戴检测情况

表5 夜间简单背景下的安全带佩戴检测情况

(3)安全带松紧程度的检测准确率在所有检测项目中最低，仅为79.5%，这主要是因为安全带在图像中可能存在旋转扭曲，使标记轨迹偏离现实情况，导致误判率升高；

表6 夜间复杂背景下的安全带佩戴检测情况

表7 综合实验条件下的安全带佩戴检测结果

(4) 安全带佩戴与否和佩戴规范性检测的综合准确率分别为95.4%和89.5%，且在各种实验条件下稳定性较好，这说明本文中提出的基于标记视觉的检测算法具有较高的准确率和较好的适应能力。

5 结论

本文中借助印刷红外敏感表面涂层标记的安全带，基于红外车载视觉和数字图像处理技术，详细设计了安全带佩戴与否、佩戴形式、松弛程度和高低位置的检测算法，综合实现了车载乘员安全带佩戴与否和佩戴规范性的检测目标。实验结果验证了设计算法的准确性、有效性和适应能力。

存在的问题主要是针对安全带松紧程度的检测准确率不高，且由于夜间驾驶环境下乘员肩部外轮廓线的拟合误差较大导致安全带高低检测的准确率不理想。此外，所提各类检测算法中的全局尺度系数ρ1、肩带尺度系数ρ2、腰带尺度系数ρ3、模糊系数ω、上下边界系数α与β、残余系数γ和区域MN的选取范围对于检测结果有何影响、如何优化等问题仍未探明，本文中选用的参数主要根据现有测试仿真对比进行经验取值。今后将针对这些问题继续进行研究。

[1] World Health Organization. Global status report on road safety: Supporting a decade of action[M].Geneva: WHO Press, 2013.

[2] INAYOSHI M, ENOMOTO A, FUJII H. Seat belt warning device: US8285455B2[P]. 2010-6-25.

[3] 李仲兴，王吴杰，琚龙玉，等. 一种新型安全带提醒装置：201310162614.5[P].2013-07-01.

[4] 惠辉，杨国都，潘震，等. 防作弊安全带报警装置、报警器总成、安全带总成及车辆：201420571397.5[P].2014-09-30.

[5] 俞学群，武阳丰. 机动车安全带的作用、使用现状及干预策略[J]. 中国预防医学杂志，2008，9(5)：439-442.

[6] 胡满江. 基于车载机器视觉的安全带识别方法研究[D]. 镇江：江苏大学，2014.

[7] LEVY U. Vision-based seat belt detection system: US20070195990A1[P].2007-2-15.

[8] 葛如海，胡满江，符凯. 基于灰度积分投影的安全带佩戴识别方法[J]. 汽车工程，2012，34(9)：787-790.

[9] 陈雁翔，李赓. 基于Adaboost的安全带检测系统[J]. 电子测量技术，2015，38(4)：123-127.

[10] ABU-ZIDAN F M, ABBAS A K, HEFNY A F,et al. Effects of seat belt usage on injury pattern and outcome of vehicle occupants after road traffic collisions: prospective study[J]. World Journal of Surgery, 2012, 36(2):255-259.

[11] CARTER P R，MAKER V K . Changing paradigms of seat belt and air bag injuries: What we have learned in the past 3 decades[J]. Journal of the American College of Surgeons, 2010, 210(2): 240-252.[12] 马伟杰，逯艳博，朱海涛. 安全带非正常佩戴位置对假人胸部压缩变形量的影响[J]. 汽车安全与节能学报，2014，5(1)：65-69.

[13] 张铭钧，李煊，王玉甲. 基于灰度化权值调整的水下彩色图像分割[J]. 哈尔滨工程大学学报，2015，36(5)：707-713.

[14] GARRIDO J S, MUOZ S R, MADRID C F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47(6):2280-2292.

[15] LEE Jeisung, HYUN Chang-Ho, PARK Mignon. A vision-based automated guided vehicle system with marker recognition for indoor use[J]. Sensors,2013,13(8):10052-10073.

[16] KURPYTÉ D, NAVAKAUSKAS D. Anefficiency analysis of augmented reality marker recognition algorithm[J]. Electrical, Control and Communication Engineering, 2014, 5(1):54-60.

Detection on Proper Wearing of Seat Belt Based on Infrared Mark Vision

Zhong Mingen1，2, Huang Wei1, Wen Chenglu3, Huang Bo1& Huang Jiehong1

1.SchoolofMechanicalandAutomotiveEngineering,XiamenUniversityofTechnology,Xiamen361024;2.FujianProvincialKeyLaboratoryofBusAdvancedDesignandManufacture,Xiamen361024;3.SchoolofInformationScienceandEngineering,XiamenUniversity,Xiamen361005

In view of the problem that whether seat belt is properly used or not haven’t yet attracted sufficient attention, an integrated detection method of the proper use of seat belt is proposed by means of the three-point safety belt with infrared-ray-sensitive coat marks and based on mark vision and image processing technologies: Augmented reality technology is used to rapidly identify and locate the marks on seat belt, based on which the algorithms of number threshold, fuzzy clustering threshold, curve fitting relaxation and shoulder profile intersection locating are developed respectively to conduct four judgments of weather seat belt is used or not, the wearing forms of seat belt, belt tightness and belt height, and hence achieve the detection goal of the proper use of seat belt. Experiment results show that under various image forming conditions and image background interferences, the identification accuracies of the algorithms used corresponding to above mentioned four judgments are 95.4%, 93.1%, 79.5% and 85.3% respectively with an overall identification accuracy of 89.5%, verifying the correctness, effectiveness and adaptability of the algorithms proposed.

seat belt detection; proper use of seat belt; mark vision

10.19562/j.chinasae.qcgc.2017.07.006

*国家自然科学基金(61104225)和福建省自然科学基金(2015J01672)资助。

钟铭恩，副教授，博士，E-mail：zhongmingen@xmut.edu.cn。

原稿收到日期为2016年7月4日，修改稿收到日期为2016年9月23日。