基于计算机视觉的网约车车载智能监控系统研究

钟建勇 沈哲 孙何涛

关键词：计算机视觉;网约车;车载监控;人脸检测

1绪论

随着网约车数量剧增，覆盖时段、覆盖区域也大大增加，乘车安全问题逐渐涌现，这告诉我们，现有的安全措施只能“亡羊补牢”，真正的安全是要做到“未雨绸缪”，将伤害控制在危险发生之前。然而某网约车软件内置的一键报警、添加紧急联系人等防范措施在一些受限环境下并不能有效阻止伤害的发生，同时，现阶段的车载监控系统往往只起到事后查证的作用，对正在发生的危险并不能进行智能预警。因而我们亟须一种网约车智能安防监控系统，来对车内发生的异常行为进行实时的智能研判，从而避免安全事故的发生。

基于上述分析，本文开发了一种基于计算机视觉的网约车车载智能监控系统，处理不同条件下的异常行为，包括背景变化、主体数量（个人、两个人或更多人）以及一系列不同的异常人类活动，通过视频图像采集，结合人工智能算法对车内高度异常行为进行实时监控，当有危险发生可迅速进行人工干预并自动报警，及时避免危险，有效保障网约车司机和乘客的人身财产安全。

2系统概述

针对网约车智能监控系统缺失，现有监控设备仅有记录功能，并不能有效保障乘车和驾驶员行车安全的问题，本文开发了一种基于计算机是觉得网约车车载智能监控系统，通过一个基于嵌入式技术的车载终端实时采集网约车车内数据，利用4G/5G网络上传至数据中心服务器进行汇聚和分析，在服务器中，自主研发并部署了人脸检测、车内异常行为检测等计算机视觉技术模块，可以实时可靠的对网约车内的异常行为进行分析预警，从而有效保障司机和乘客的人身安全。系统总体设计框架如图1所示。

3系统设计与开发

3.1系统硬件设计

在车载数据采集终端的设计上，采用四代RaspherryPi，其中，主控芯片使用的是博通BCM2711（四核1.5GHz，Cortex A72架构），通信采用SIM7600CE通信模块，上行最大速率50Mbps，下行最大速率150Mbps，支持TCP/IP、PPP通信协议。SIM7600CE和处理器的USB2口直接相连，工作电压4.2V，借助4G无线通信模塊强大的数据传输能力实时的和数据中心服务器进行通信。北斗定位模块采用NEO-M8T模块，该模块同时支持北斗、GPS独立定位和多系统联合定位，选用串口通信的方式和BCM2711处理器进行通信，车载终端实物如图2所示。

3.2系统软件设计

3.2.1人脸检测模块

人脸检测模块采用了经典的Harr-like特征+Adaboost分类器的解决方案，并针对车内环境增加了人脸正负样本数据集，通过对候选区域进行积分图计算，快速计算Har-like特征，并利用AdaBoost算法将Hat-like特征生成的弱分类器叠加成为强分类器，再将多个强分类器级联组成更强有力的人脸检测分类器。同时，为了保证人脸检测的实时性，本文仅采用如图3所示的一维Haar-like特征。

级联结构人脸检测分类器的每一级都采用AdaBoost算法进行训练。通过AdaBoost习算法将Harr-like特征生成的弱分类器叠加成为强分类器，使之具有很强的泛化能力。

具体训练算法如下：

（1）给定n个样本图像（x，y），（x2，y2），…，（x，yn），x是输入样本图像，y是类别标志。其中，y=0，1分别表示为非人脸样本和人脸样本。

（2）初始化权重：

3.2.2异常行为检测模块

考虑到算法的实时性和准确性，本文采用帧问差分结合单个像素点平均变化值对两帧问的异常行为进行监控，同时引入自适应阈值算法，当帧间单个像素点变化值大于画面的像素平均变化值时，就认为该像素点为异常像素点。当异常像素点大于全部图像像素点的1/2时，触发异常行为预警。若行车途中未发生异常行为，则不触发异常行为预警，始终为正常状态（Normal）。若行车途中发生异常行为，异常行为预警自动触发（Abnormal），位置、图像等数据发送至数据中心服务器进行后续处理。

3.2.3上位机图形界面设计

本文上位机图形界面采用Qt和c++使用QT Creator进行开发，主要包含登录数据中心服务器、实时查看当前车载终端隋况以及一键报警灯功能。上位机图形界面设计如图4所示。

4实验结果与分析

为了验证本文所述方法的效果，使用python作为开发语言，结合OpenCV以及sldearn等模块，对摄像头采集到的普通光照下的人脸数据进行实时跟踪实验。操作系统为Windows10，CPU为Intel 17 7700，3.6GHz，16GB DDR4 2666内存，摄像头为500万像素ov5647型号，采集分辨率为2592x1944像素。系统采用OpenCV+sklearn技术方案重新训练了人脸检测器，无论是车内有几人都可以较好的检出人脸，在只有驾驶员一人时，系统为监控状态（Monitoring mode），当有乘客上车，系统会自动切换为预警状态（Alert mode），对车内情况进行实时分析，如图5所示。

5结论

针对当前网约车车载监控系统只能事后回溯，无法实时处理数据的问题，本文提出了一种基于计算机视觉的网约车车载智能监控系统。首先使用基于Haar-like特征的人脸检测器遍历图像，记录车内人员数量，然后使用帧间差分算法对车内异常行为进行智能识别。实验结果表明，本文所提方法能准确检测人脸并输出车内异常情况，有力保障了网约车行车安全。