航空仪表图像自动监测系统研究

伍瑞卿,张 雷,李小翠,文茂森,姜继琦

(1.电子科技大学，四川 成都611731；(2.中国电子科技集团公司第五十四研究所，河北 石家庄050081)

航空仪表图像自动监测系统研究

伍瑞卿1,张 雷2,李小翠1,文茂森1,姜继琦1

(1.电子科技大学，四川 成都611731；(2.中国电子科技集团公司第五十四研究所，河北 石家庄050081)

针对航空虚拟仪表系统的研发、生产过程中测试操作繁琐、重复劳动强度大等问题，设计了座舱仪表图像自动监测识别系统，系统包括图像采集、变化检测、仪表图检测和识别、检测结果归档4个部分。基于航空虚拟仪表图的结构特点，提出了一种分层模板图快速匹配的仪表图像检测算法，采用二值化的模板图与搜索区域的二值化图进行分级匹配方法实现快速检测。测试结果表明，提出的方法均能快速准确检测出屏显上出现的单仪表图和重复的多仪表图，系统整体上能达到准实时处理高清屏幕图的监测。

航空座舱；虚拟仪表；分级匹配；监测系统

0 引言

近年来，液晶显示和触屏技术促进了图形、图像显示控制系统的迅速发展。由计算机显示和仪表技术相结合的虚拟仪表，因其具有外表美观、操控灵活、空间利用率高等优点，广泛应用于航空航天[1]、交通设备[2]和医疗仪器等多个领域。原本由机械按钮、灯管等构成的物理仪表以虚拟仪表的形式绘制在显示屏上，并且可以随意切换，极大地节省驾驶舱空间。在正常状态下可以仅显示主要参数，其他参数则随调随看，极大地减轻了飞行员的视觉负担。在航空领域，国外先进飞机已采用触摸液晶屏幕构成座舱显示系统，使得机身重量更轻、性能更好[3]。航空座舱的显控技术正在朝着智能化和人性化方向发展[4]。

航空虚拟仪表关联了大量的机载设备，在其开发和生产过程中，涉及大量的测试环节。测试过程需要人工对状态参数显示界面进行观察、记录和判断，劳动强度大、效率低，极易导致人眼疲劳和误判[5]。因此，本文利用视频采集相关技术，结合图像处理方法，提出并设计了针对座舱虚拟仪表图像的监测系统，以降低人工值守和判断的劳动强度，提高系统自动化测试的效率。

1 系统总体设计

座舱仪表图自动监测系统以通用计算机为硬件平台，结合视频采集技术，以图像处理算法设计为重点。自动监测系统的总体框架如图1所示。系统架构采用分层化设计模式[6]，主要分为3个层次：用户交互层、功能控制与参数配置层、数据处理层。

图1 监测系统总体框架及流程

用户交互层为系统最顶层，是直接显示信息和捕获用户操作的模块，主要包含信息显示区域、按钮控件和菜单栏等工具选项。功能控制与参数配置层实现各项功能的启动控制和初始化参数的配置，主要包括视频显示及播放的控制、输入端口的选择、监测中各子功能的开关控制等。数据处理模块是监测系统的核心处理部分，按数据流程分别包括视频获取、变化检测、仪表处理和存档管理等模块。

自动监测系统的数据源于仪表屏中的屏幕图像。图像获取模块支持工业相机拍摄仪表屏幕、专业采集卡从屏幕的视频通用输出口采集视频、网络屏幕共享等多种方式获取屏幕图像。本文利用视频采集卡直接采集屏幕图像。对获取到的每帧图像，首先进行图像的滤波和灰度化等预处理，以消除图像采集过程中产生的噪声，进而利用运动检测算法实现对图像动态检测，从而获取图像变化区域。为提高算法实时性，仅对变化区域调用仪表的检测和识别算法，对检测和识别结果生成仪表特征参数描述符，并记录、重构和保存这些特征参数，最终归档保存到数据中心。

2 关键算法的设计

座舱仪表屏幕以图形化、虚拟化直观显示飞行器各项状态参数进行[7]。虚拟仪表具有线条清晰直观、结构固定、色彩灵活搭配、符合人体工学等特点。虚拟仪表图既能直观形象地展现飞行器的状态，又能够醒目地实现故障预报、异常报警等功能，还可以表达复杂而多样的含义。因而，检测和识别座舱仪表所示的状态参数是自动监测系统的主要内容。座舱仪表屏幕包括虚拟仪表图和部分字符读数值，其中仪表图最为显著。仪表图像在显示过程中，伴随着颜色和指针位置变化，但总体结构不会改变，背景相对简单。针对航空仪表的这些特点，提出了一种以分层金字塔与有效点相结合的搜索方法，以及以双阈值与全匹配相结合作为判别准则的仪表检测算法，快速检测和识别各个仪表图。数据处理主要包括：图像预处理、变化检测、仪表检测、参数识别和仪表特征参数描述等几个关键部分。仪表检测的主要流程如图2所示。

图2 仪表检测流程

2.1 图像预处理

仪表图像的预处理主要包括：彩色图转成灰度图、变化检测、降噪滤波和二值化分割，最后生成金字塔图像。预处理算法流程具体步骤如下：

① 对采集到的单帧彩色图像I(x,y)进行预处理操作，先将I(x,y)进行灰度化操作转换为灰度图Igray(x,y)，再使用高斯滤波器h(x,y)对Igray(x,y)进行滤波，消除采集过程中产生的噪声。滤波过程为：

Ifilter(x,y)=I(x,y)*h(x,y)=

② 利用当前帧图像与前一帧图像做差分，根据像素差值的范围限制计算出图像中的变化区域，以变化区域作为匹配搜索区域。

③ 利用自适应阈值分割法分别对待匹配图像和仪表模板图像中的各个像素计算局部阈值，计算方法如下：

(1)

式中，Ifilter(x,y)为待处理图像Ifilter在(x,y)坐标处的像素值；n表示局部的大小；th(x,y)为待分割像素点(x,y)的局部阈值。结合二值化分割方法实现获得分割图像Ibw，二值化分割方法如下：

(2)

④ 对分割后的二值化图像Ibw采用邻近值采样方法分别构建待匹配二值图像金字塔和模板二值图像金字塔；设金字塔各层按照分辨率从小到大分别为{G0,G1…Gn}，分别表示第0～n层图像，金字塔分级图像创建过程表示为：

(3)

2.2 单仪表模板检测与匹配

单仪表模板图是指某类的仪表在同一时刻或者同一帧屏幕图像中最多出现一次，同一个仪表图不会多个同时重复出现同一帧图像中。记模板图为Tn,其宽和高分别为Wn和Hn。针对这类仪表模板图的检测和匹配算法步骤如下：

① 在变化区域内，对待匹配图像的最上层图像进行扫描，获得其中的有效点，即像素值为1的点，待匹配图像中所检测出的有效点作为搜索空间Cp，

Cp={I|Ibw(x,y)=1}。

(4)

同时计算模板图的有效点，获得其外接矩形，并记录位于最上方的有效点与外界矩形的左上角定点位置关系(dx,dy)。

② 遍历Cp，获得一个有效点(i,j)后，通过式(5)计算其对应左上角的坐标(x,y)，

(5)

通过(x,y)获取与模板图对应的待匹配子图Sxy，

Sxy=Ibw(x,y,Wn,Hn)，

(6)

式中，x、y为子图左上角起始坐标。采用归一化平方差的判别准则，计算子图与二值模板图像的相似度[8]，因参与匹配计算的结果图像为二值图像，平方差计算过程可以表示成2幅图像的异或运算过程：

(7)

式中，Sxy、Tn分别为待检测子图和仪表模板图。使用异或运算代替平方求和运算，可降低算法复杂度，节省时间。

③ 判定步骤②的相似性度R(x,y)是否小于阈值Threshold。阈值的计算方法为：

Threshold=α*sum(Ibw)/(W*H),

(8)

式中，Ibw为模板二值图像；W、H分别为对应层模板图像的宽和高；α为比例系数。若R(x,y)大于阈值Threshold，返回第②步继续搜索当前点(i,j)的下一个候选点。若R(x,y)小于阈值，则记录粗匹配点坐标(x,y)，进行下一步。

④ 切换到下一层图像，根据步骤③获得的粗匹配点(x,y)，通过式可得

Gk(x,y)=Gk-1(2x,2y)，k=1,2…n。

(9)

利用式(9)获得在下一层图像上对应的新坐标(2x,2y)，同时获取以坐标(2x,2y)为中心的3*3邻域。搜索邻域内的9个点，若所有点的计算结果大于阈值Threshold，则返回步骤②，继续在Gk-1层搜索(x,y)的下一个候选点。如果存在位置点(x0,y0)小于阈值Threshold，则获取结果最佳匹配点(x0,y0)，进入下一步。

⑤ 对于点(x0,y0)，进行灰度图匹配，若结果大于阈值Tg，返回步骤①，若结果小于阈值Tg，则为最终的匹配结果。如果Cp遍历未结束则将遍历范围按照模板尺寸作为步长，进行一次宽高步进，计算搜索范围内下一个点。

通过对单个虚拟仪表检测过程进行扩展，添加检测结果记录矩阵，利用结果矩阵记录下各个仪表检测的相似度检测结果，通过对相似性检测结果进行比较判别，保留结果最为准确的目标区域。

2.3 多仪表模板检测与匹配

与单仪表模板不同，部分仪表可能在座舱屏幕同时出现多个同类型仪表图。比如2个发动机的状态指示仪表同时出现在屏幕上，虽然仪表读数值可能不一样，但是仪表图像完全相同。这类多仪表图的检测可以借助单仪表模板的方法，其主要过程如下：

① 创建结果记录矩阵M，

M(x,y)={R(x,y);Rect(x,y,w,h)}。

(10)

初始化大小与待检测图像相同，点(x,y)记录的信息为R(x,y)、Rect(x,y,w,h)，分别表示为相似性匹配结果和检测区域2类信息。

② 所有仪表模板作为搜索空间CT，

CT={T0,T1…Tn},

(11)

式中，Ti为仪表模板序号；n为仪表模板总数。

遍历CT，调用单仪表检测算法，获取检测结果Pk，

Pk={Ti;R(x,y);Rect(x,y,w,h)}，

(12)

Pk为模板序号为Ti的仪表的检测结果，其中包含相似度值R(x,y)和目标区域；k为检测目标序号。若Pk中数据有效，则进入下一步，否则继续遍历CT。

③ 获取检测目标点的匹配区域以及相似性匹配结果，同时获取结果记录矩阵中对应检测目标点3*3邻域的所有点的记录信息，若含有有效的检测结果，分别对当前检测结果进行比较，比较更新方式如下：

如果M{R(x,y)}≥Pk{R(x,y)}，则M(x,y)不变；如果M{R(x,y)}

根据上述更新方式，对比记录信息中的相似度结果，选择相似度结果较大的为新的匹配信息，更新结果矩阵。

④ 判定遍历仪表模板是否完成，若未完成，返回步骤②，若完成，按照结果记录矩阵中的检测信息获得最终的检测结果。

2.4 仪表属性参数描述

为了便于快速观察和识别座舱屏幕上的仪表参数值，通常图形化的仪表伴有字符型的读数值，而且图形仪表与其对应的读数字符串的位置相对固定。通过仪表模板检测获得仪表所在区域和类型，进而获取刻度值读数的子图像，利用OCR模块识别出读数值[9]。

座舱屏幕中不同仪表的属性各不相同，主要包括固有属性、纹理信息描述、仪表参数描述三大类。固有属性是仪表本身特定的属性，不会发生改变，包含仪表序号、仪表中包含结果参数的数目、仪表结构和尺寸；纹理信息中包含仪表的主要颜色、次要颜色和其闪烁频率；仪表参数信息中包含检测到的目标位置坐标信息和仪表中的结果读数。

自动监测系统对各种不同种类的仪表特征信息按照统一方式进行描述，使其归档信息具备完备性和可扩展性，便于后续信息检索和分析。为了更好地对仪表特征进行描述、简化系统实现过程，仪表中的文字性标题以及多字符信息均通过创建数字映射表的方式实现。通过创建数据字典，建立编码集合Code={0,1…n}和字符描述集合String={title1,title2,…,titlen}，映射关系如下：

F:Code(k)→String(k)。

通过上述映射关系，使用码字描述代替字符信息描述。信息记录过程中，首先将当前时间、当前帧数和仪表检测总数按照统一结构组成文件信息头进行记录，进而按照顺序，以节点形式依次记录下所有检测出的仪表特征描述符，最后将记录文件归档到数据中心。

3 实验及结果分析

为了验证上述方案及算法性能，首先基于VS 2010开发平台建立软件框架，设计人机交互界面，并利用DirectShow以及外部通用视频接口实现视频采集，同时基于OpenCV库实现仪表检测与识别算法，对检测到的仪表生成仪表特征描述符，并将结果写入XML文件中保存。算法实现过程中，自适应二值化采用3*3区域，金字塔层数设为2层搜索，阈值因子α取经验值为0.53。为了检验算法的时间效率和准确率，对分别编号的11种不同尺寸、不同特征的仪表图像进行匹配检测，每一对图像进行10次计算，取平均值作为运算时间。分别采用基于三通道图像FFT加速匹配、基于灰度图FFT加速匹配以及采用分层金字塔并结合FFT加速匹配3种匹配策略作为对比，经过测试，各方法的检测率均达到100%，时间效率如图3所示。

图3 不同算法的时间消耗对比

采用单通道灰度图进行匹配时，平均耗时约为70 ms；采用分层金字塔搜索，FFT进行相关加速，时间消耗约为30 ms；采用本文改进的方法进行测试时，时间平均约为20 ms。在保证准确率的情况下，较大程度地减少了耗时，提高了系统的实时性，达到了系统设计要求。

对监测系统的整体测试中，以1 280*720分辨率的视频作为数据源进行实时处理。在视频源中仪表的颜色、数据间断发生变化，同时通过外部人为控制仪表的调出和隐藏，通过长时间测试，在利用检测结果重构的图像与视频源对比后，系统的整体处理速度约为8帧/s，准确率达到100%，在系统测试开发过程中，基本能够满足实时监测的需要。

4 结束语

本文针对航空座舱显示屏的虚拟仪表图像的特征，设计了图像自动监测系统的方案，并提出了快速匹配的仪表图检测算法。该航空仪表检测算法能够有效、快速地将液晶显示器中的航空仪表准确定位和识别，同时通过对检测到的仪表进行特征描述，采用统一方式创建、记录，既简化了系统实现过程、利于规范性信息检索，又利于后期扩展补充。监测系统具有友好的操作界面，能够方便地控制视频的采集、仪表的检测以及结果的查看，可以在无人看守下自动对屏幕仪表的状态进行监测记录。

[1] 李皖玲.VAPS 技术在载人航天器 MFD 软件开发中的应用[J].航天器工程,2008,17(5)：70-76.

[2] 刘善坤,窦立谦,宗群,等.车载虚拟仪表及诊断系统的设计与实现[J].计算机应用与软件,2016,33(8):229-233.

[3] MICHAEL S.F-35 Lightning II Cockpit Vision[J].SAE International Journal of Passenger Cars-Electronic Electrical Systems,2010,3(2)：131-140.

[4] 吴健,吴启兵,颜正.战斗机座舱发展与设计展望[C]∥沈阳:第六届中国航空学会青年科技论坛,2014:35-40

[5] 毛姬琛,范竹荣.图形识别在航空指示仪表检测中的应用[C]∥西安：2011年航空试验测试技术学术交流会,2011:253-255.

[6] 杜栓柱,谭建荣,陆国栋.基于界面构件关联图的软件功能测试技术[J].计算机研究与发展,2002,39(2)：148-152.

[7] 王鹤,邱云飞.飞行仿真中虚拟航空仪表显示系统的开发[J].微计算机信息,2011(5):180-181.

[8] 刘宝生,闫莉萍,周东华.几种经典相似性度量的比较研究[J].计算机应用研究,2006,23(11)：1-3.

[9] SMITH R,ANTONOVA D,LEE D S.Adapting the Tesseract Open Source OCR Engine for Multilingual OCR[J].Proceedings of the International Workshop on Multilingual OCR.ACM,2009,1:1-8.

StudyofAuto-monitoringSystemforAviationInstrumentImage

WU Rui-qing1,ZHANG Lei2,LI Xiao-cui1,WEN Mao-sen1,JIANG Ji-qi1

(1.UniversityofElectronicScienceandTechnologyofChina,ChengduSichuan611731,China; 2.The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

In order to reduce the manual operation and improve the efficiency during the design,manufacture and testing of virtual aviation instrument systems,an auto-monitoring and recognition system is designed for virtual instrument of aircraft cockpit,which consist of four modules,including image acquisition,frame change detection,location of meter diagram and storage of structured data.Furthermore,a hierarchical binary template fast matching algorithm is proposed to detect and locate the meter image and recognize the reading.Finally,the auto-monitoring system is implemented to verify the proposed algorithms.Experiment results show that the algorithms can accurately detect the single and multiple meter diagrams in screen image,and the system has a strong capability for quasi-real time processing HD images.

aircraft cockpit;virtual instrument;hierarchically matching;monitoring system

10.3969/j.issn.1003-3106.2017.12.07

伍瑞卿,张雷,李小翠,等.航空仪表图像自动监测系统研究[J].无线电工程,2017,47(12):30-33,48.[WU Ruiqing,ZHANG Lei,LI Xiaocui,et al.Study of Anauto-monitoring System for Aircraft Instrument Image[J].Radio Engineering,2017,47(12):30-33,48.]

TP391.41

A

1003-3106(2017)12-0030-04

2017-04-12

四川省科技厅应用基础研究计划基金资助项目(2014JY0209)。

伍瑞卿男，(1977—)，副教授。主要研究方向：图像处理和网络通信。

张雷男，(1989—)，硕士研究生。主要研究方向：图像处理、复杂系统仿真与测试技术。