车载眼动追踪技术应用集成系统开发

贾文伟 张成阳 殷玉恩

摘 要：眼动追踪技术[1][6]是当代心理学研究的重要技术，广泛运用于实验心理学、应用心理学、工程心理学、认知神经科学等领域。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测人的状态和需求，并进行响应，达到用眼睛控制设备的目的。本研究结合眼动追踪识别技术，研究在车载方面的应用，实现了追踪驾驶员眼球动作控制智能后视镜的开启和关闭的功能。

关键词：眼动追踪； 头部姿态识别； CAN总线通讯； 红外摄像头

中图分类号：TP391.4 文献标识码：A 文章编号：1005-2550（2019）01-0046-07

Abstract： The lower swing arm， the upper swing arm， the toe tie rod， the longitudinal arm and the sub-frame in the E-type multi-link rear suspension are flexed by the finite element software Hypermesh.They are imported into ADMAS/Car software for multi-body dynamics modeling and simulation analysis. The simulation results are compared with the experimental results. The analysis shows that the combination of different rigid-flexible components has a great influence on the change of toe angle.

Key Words： Eye-Tracking； Head Pose Recognition； CAN Bus Communication； Infrared Camera

1 前言

眼動追踪技术是当代心理学研究的重要技术，广泛运用于实验心理学、应用心理学、工程心理学、认知神经科学等领域。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征[2]，从而实时追踪眼睛的变化，预测人的状态和需求，并进行响应，达到用眼睛控制设备的目的。本系统采用眼动追踪技术追踪驾驶员眼球的变化，实时监测驾驶员的注视方向。通过监听分析汽车CAN总线数据得到汽车的运行状态（车速、档位），实现了眼动追踪技术控制汽车后视影像系统，扩大了驾驶员驾驶汽车时的视野，提高了驾驶的安全性。

本系统旨在研究掌握眼动追踪技术在汽车上集成的技术应用规范和建立通用眼动算法测试验证平台。本文将从眼动追踪系统集成层面，从系统设计、硬件设计、结构设计、问题分析等方面进行阐述。

2 系统架构

本系统采用北汽绅宝C80为改装平台，完整准确的车型设计数据保证了系统总体设计方案的可行性，包括总线接口设计、摄像头模组结构设计、系统布置方案设计等。红外摄像头模组采用主动红外补光，保证眼动识别系统白天和黑天都能正常工作，使得系统应用场景更广，实用性更强；摄像头模组和工控主机的结构设计综合考虑了安装位置和安装方法，满足眼动追踪系统对摄像头模组位置的要求，方便系统安装调试，保证系统工作的可靠性；眼动追踪系统通过红外摄像头[3][7]实时传输驾驶员的眼部特征图像给算法处理主机，眼动追踪算法识别驾驶员的“眼神”。算法识别到驾驶员意图通过车内后视镜观测车后情况时，算法处理主机发送指令给系统控制板，系统控制板结合车辆运行状态自动控制车内智能后视镜打开。本系统硬件模组包括摄像头及照明模块、接口控制板、算法工控主板和后视影像系统，软件模块包括眼动追踪算法软件、工控主机逻辑控制软件、接口控制板总线接口软件。系统整体架构如图1：

3 系统设计

3.1 摄像头及补光模组设计

摄像头模组安装在试验车绅宝C80中控台台面上，摄像头及补光模组的结构设计考虑了摄像头角度、补光灯照射角度、以及方便安装等因素，外观见图2。

摄像头及补光模组内部主要包括摄像头模组及红外补光、LED指示灯板、USB视频传输主板和对外接口板。详见图3、图4：

摄像头模组的关键器件是图像传感器，本系统摄像头模组的图像传感器旋转安森美AR0135AT， 该器件的主要技术参数如表1：

摄像头模组选用上海科世达设计的车载摄像头，其设计框图如图5，实物如图6。

摄像头图像数据传输选择Cypress Usb3.0传输芯片方案。红外LED选择三颗OSRAM的850nm波长的红外LED。LED驱动芯片选择TI的LM3409驱动芯片。该

驱动芯片既可以通过PWM调制LED的发射强度，也可以通过模拟电位计手动调节红外LED的发射亮度。本系统采用PWM方式调节LED的发射强度。驱动芯片的典型电路如图7：

3.2 工控主机方案

工控主机运行眼动追踪算法软件及逻辑控制软件，采用了英特尔NUC迷你电脑，型号NUC5I7RYH（如图 8）。主要参数：Intel Core i7处理器，8GB DDR3内存，2 x USB3.0接口。该主机能够满足本系统的对处理速度及接口的要求。

工控主机、总线接口控制板和电源模块集成在同一个控制盒内[8]，设计的控制盒的结构方便安装布置，内部结构方便主机，控制板和电源的固定，控制盒与外部的接口设计也方便插拔。电源模块负责把车载12V电源转换为19V电源给工控主机供电。控制盒的外观如图9，内部结构如图10：

3.3 控制板方案

控制板的功能是连接汽车CAN总线，监听汽车总线数据通过运算得到汽车运行状态数据，通过串口把数据传输给工控主机，同时它还接收工控主机的命令，控制车内智能后视镜的打开和关闭。除了数据命令的上传下达，它还输出PWM信号控制补光模块的开关以及补光强度的调节。其功能框图如图11：

主控板的电源选用英飞凌的TLE4275D汽车级IC。CAN收发器选择符合车规要求的NXP 芯片TJA1055（电路如图12）。主控MCU选择瑞萨车规级RL78/F1x系列芯片，其内部功能及外设接口如图13：

LED1和LED2是主控MCU的两个通用输入、输出端口，可以分别控制两个LED指示灯的亮、灭。LED1为绿色指示灯，LED2是红色的指示灯，若系统上电正常工作，则红色的指示灯LED2被点亮，绿色的指示灯LED1处于熄灭状态；当系统检测到驾驶员注视内后视镜区域一定时长后，会触发点亮绿色的指示灯LED1。

控制板的串口用来与工控主机通讯，双方通过RS232串口线连接。控制板的串口电平转换芯片选择美信半导体的MAX232系列芯片，具体电路如下图14：

3.4 后视影像系统

本系统后视影像系统选择凌度智能后视镜（图15），其安装布置示意图如图16。通过控制后视影音系统的后视摄像头的LED电源电路，实现对其内置显示屏的后视影像功能的开关控制。通常情况下，后视摄像头的LED电源线是接到倒车灯的两端，当驾驶员挂上倒车档位时，倒车灯电源接通，同时后视倒车摄像头的LED被点亮。同时后视镜主机获取到该信号，触发倒车辅助功能，显示屏显示后视摄像头的影像。本系统利用控制板的输出信号触发该功能，控制原理如图17：

3.5 眼动追踪算法

本系统采用供应商提供的眼动追踪算法，包括人脸关键点对齐[4]、头部姿态的估计、眼睛定位算法、视线方向分类算法等算法模块。本项目开发环境为VS2015，辅助开源库有opencv3.1，供应商提供的眼动算法库libEyeGaze.dll，使用方法参考相关眼动追踪算法说明及调用示例。

本项目供应商提供的视线追踪[5]算法需要前期进行训练，供应商提供算法训练软件及方法。训练阶段结束后会得到训练数据库（train.xml），把该数据库加载到眼动追踪算法软件中，算法软件就可以追踪训练时眼睛注视的方向。测试人员训练数据库时，需坐在驾驶座上采集各个角度注视车内后视镜的数据，算法训练软件提取特征值得到该使用场景的训练数据库。

4 系统测试

4.1 系统部署

本系统电源和CAN总线信号通过汽车OBD诊断接口获得。系统结构件部署安装主要有三个：后视影像系统，眼动摄像头，主机控制器；安装位置如图 18，眼动摄像头②布置在中控台面上，摄像头和补光灯方向朝向驾驶员；后视影像系统①安装在车内后视镜上；主机控制盒③部署在副驾驶杂货箱内。各个部件的连接线采用防火高温胶布包裹，插接件选用车规级带锁扣的插接件，保证连接的可靠性。系统部件线束连接示意图见图19：

4.2 测试用例设计

测试用例分为几类：正常功能测试，防误动作测试，头部距离测试以及车辆状态测试。系统部分功能测试用例如下表2（附后）。

5 结论

本文所述的眼动追踪技术应用集成系统平台，能够测试标定眼动追踪识别技术的功能及性能。工控平台方案完全满足眼动追踪算法软件对运算速度的要求，红外摄像头的性能参数也完全满足眼动追踪算法对图像分辨率和帧率的要求，本系统为测试不同供应商的眼动追踪算法提供了公共平台，通过本系统的开发提高了后续眼动追踪算法的测试验证效率，推动了眼动追踪技术的车载应用进程，为进一步提高汽车的智能化水平，让汽车更懂驾驶员提供了一种技术可能性。本系统所实现的眼动追踪技术车载功能，增强了车内后视镜的用途，车内后视镜除了观察后排座椅情况外，还有就是观察车辆后面的情况，但通过后车窗玻璃观察车后情况视线有些受阻，本系统改善了这种情况。

参考文献：

[1]陈庆荣，周曦，韩静，等.眼球追踪：模式、技术和应用[J].实验室研究与探索，2012，31（10）：10-15.

[2]刘瑞安.单摄像机视线跟踪技术研究[D].天津大学，2007.

[3]周锋宜.基于视频图像处理的视线追踪技术研究[D].北京理工大学，2015.

[4]徐国庆.在线模板的人脸特征点对齐[J].计算机工程与设计，2013，34（11）：4021-4026.

[5]迟健男，王志良，张闯.视线追踪[M].机械工业出版社，2011.

[6]佚名.汽车加入眼球追踪技术 注意力不集中就熄火[J].农业装备与车辆工程，2016（10）：68-68.

[7]宫德麟.基于单目视觉的视线跟踪技术研究[D]. 北京理工大學，2016.

[8]刘亮.基于因特尔感知计算技术的眼球追踪系统设计与实现[D].东南大学，2015.