基于图像处理技术的人机交互系统设计与实现

张青 常能

关键词： 图像处理; 人机交互; 系统设计; 特征点坐标; 数字信号; 维纳滤波算法

中图分类号： TN911.73?34; TP393                 文献标识码： A                 文章编号： 1004?373X（2018）24?0149?04

Design and implementation of human?machine interaction system

based on image processing technology

ZHANG Qing， CHANG Neng

（ShanDong JiaoTong University， Jinan 250357， China）

Abstract： Since the human?machine interaction system based on mixed EEG signals and visual information cannot effectively repair the defective images in complex environments， and has poor human?machine interaction performance， a human?machine interaction system based on the image processing technology is designed. The system is divided into the on?chip functional module and external circuit module. The image processing module in the on?chip functional module preprocesses images， restores images， and collects the feature point coordinates. In the system， the 8255A chip is used as the hardware interface of the human?machine interface. The A， B and C interfaces of the chip are respectively connected to the data line， control line， and alignment line， so as to realize information transmission of the human?machine interaction interface. The system converts images into digital signals by using a camera with a USB. After sending the digital signals to the computer， images are repaired by using the Wiener filtering algorithm. The experimental results show that the designed system can complete the applicator′s action instructions accurately， has a high instruction recognition accuracy rate and recognition speed， and has good human?machine interaction performance.

Keywords： image processing; human?machine interaction; system design; feature point coordinate; digital signal; Wiener filtering algorithm

0  引  言

人机交互系统是指通过计算机的输入、输出设备，运用有效的方式实现人和机器交流、对话、交换信息的系统。应用者可以使用键盘、鼠标、操作杆和位置追踪器等设备，通过手、脚、声音、肢体动作甚至脑电波等向人机交互系统中传达信息，人机交互系统则依照应用者的指示完成相应的指令和操作。因此，人机交互系统在医疗、军事、工业等领域具有重要的应用价值。当前人机交互系统已经处于多通道、多媒体的智能人机交互阶段。相关人员设计出的人机交互系统都存在一定的问题，如文献[1]中设计的基于混合脑电信号及视觉信息的智能轮椅人机交互系统，基于海量电脑信号以及视觉信息进行交互分析，在复杂环境中无法对瑕疵图像进行有效修复，人机交互性能差;文献[2]设计了基于Leap Motion的虚拟农作物人机交互系统，该系统采用Leap Motion仿真软件实现虚拟人机交互，交互过程存在图像呈现效果差，对操作人员的指令识别正确率较低的弊端。因此，设计基于图像处理技术的人机交互系统，实现高质量高效率的人机交互体验。

1  基于图像处理技术的人机交互系统设计与实现

1.1  系统框图设计

本文设计的基于图像处理技术的人机交互系统使用国外某公司的DE2主板[3]作为系统硬件平台，其由片上功能模块以及外部电路模块构成，系统整体框图如图1所示。图中虚线内部分是Verilog语言编辑的片上功能模块，采用AVALON?MM总线[4?5]和NIOS接口;虚线外是不能在片内实现的外部电路模块。系统所有图像特征点坐标的获取都是由图像处理模块单独实现，该模块在NIOS CPU的协助下，與PS/2模块共同构成一个用于选取参考点的用户接口[6]。CPU通过图像处理模块读取当下帧的特征点坐标，并根据连续几帧图像中特征点方位的变化情况通过USB通信接口以鼠标和键盘的方式把指令传送给计算机。

1.2  系统软件设计

1.2.1  利用维纳滤波算法对图像进行修复

运动模糊图像的恢复是图像模型化的一个重要方式，即根据图像的物理特征推算它的数学模型[7?8]。以运动模糊图像恢复为例，当图像传感器和被拍摄物体间的相对运动足够快时，图像传感器所获取的图像就会产生“运动模糊”，即图像拍摄时受到图像和传感器间的均匀线性运动影响而产生的模糊现象[9]。有很多算法可以从噪声中获取信号波形，维纳滤波算法是最基础的算法，该算法适用于需要从噪声中提取出整个有效信号的处理。维纳滤波算法的计算过程框图如图2所示。

图2中，图像被线性点扩展函数模糊，并且图像在叠加噪声中形成了退化图像，维纳滤波算法通过滤波器去除卷积，得到恢复图像。

1.2.2  VC++上位机利用串口发送数据

所设计的系统中，人机交互界面与芯片控制器是通过无线通信进行信息交流的，芯片控制器能够应用标准SCI通信协议，因此在VC++上位机中采用MSComm部件进行开发。此部件允许应用程序访问串口，在应用程序中嵌入MSComm部件后便能够实现计算机串口接收发送数据的操作[10]。

操作时只需将VC++上位机设定成串口通信模式，运用通信模块将信号传输出去，芯片控制器便能够准确获取信号并展开相应的数据处理工作。串口发送数据流程图如图3所示。

2  实验分析

2.1  指令识别正确率和识别速度验证

为了验证本文系统的性能，实验在不同光照条件、不同指令数的情况下，对本文系统进行性能测试。实验采用主频为2.5 Hz，内存为512 MB的计算机，图像获取设备采用带有USB接口的CMOS彩色摄像头，获取图像的大小为640×480像素，此外实验还运用了照度计和色溫箱。

本文系统中手指被摄像头捕捉的细微动作通过处理后转换成操控计算机的指令代码。实验时，某位操作人员任意选取指令数1～16中的一个数值，另一位操作人员将手指在摄像头前做出与指令相对应的细微动作，摄像头捕获一系列手指细微动作的视频流，通过人机交互系统的解析，通过屏幕显示出指令识别的结果。实验主要通过识别率、识别速度和识别指令来衡量本文系统的性能;选取基于混合脑电信号及视觉信息的人机交互系统和基于Leap Motion的人机交互系统作为对比对象。当指令数为5时本文系统的实验数据如表1所示，另外两种系统的实验数据分别见表2、表3。

根据表1～表3的实验数据，可以得出以下结论：

当环境照度在10 lux以上时，光照强度的变化对系统的识别速度和识别效果影响不大，当照度低于10 lux时，三个系统的正确率均较低，人机交互系统基本无法正常工作。当照度高于10 lux时，相同光照条件下，本文系统对指令识别的正确率均在99%以上，而另外两个系统的正确率仅在80%～90% 之间。此外，在指令识别速度上，本文系统平均每次识别的时间在140 ms左右，而另外两个系统平均每次识别的时间分别为160 ms左右和180 ms左右。由此可见，本文系统具有较高的指令识别正确率和识别速度。

2.2  输出图像精确度验证

将本文系统与基于混合脑电信号及视觉信息的人机交互系统、基于Leap Motion的人机交互系统的输出图像的稳定性进行对比实验。测试人员在屏幕上输出6个不同的点作为标记点，同时在摄像头获取到的图像点上添加了标准差为2像素的高斯噪声。实验对系统输出的投影图像进行100次运算，计算因修改标记点和投影基点数量造成的图像误差的平均值，实验得到3个系统输出图像的精确度结果如图4所示，由该图可以看出，相对于其他两种系统，本文系统在相同标记点和投影点的情况下，具有较低的输出图像误差，说明本文系统输出的图像具有较高的精确度。

3  结  论

本文基于图像处理技术的人机交互系统通过识别操作者的肢体动作来实现对PC的控制。实验表明，本文系统在光照良好、光照一般条件下进行人机交互过程中，对于指令识别正确率都高于99.4%，而在光照很暗的条件下利用本文系统进行识别的正确率达到62.3%，说明本文系统进行人机交互时精度高、稳定性强;并且本文系统进行人机交互的时间保持在141～143 ms之间，低于其他两种系统的识别速度，说明本文系统是一种高质量的人机交互系统。

参考文献

[1] 张毅，尹春林，蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J].智能系统学报，2016，11（5）：648?654.

ZHANG Yi， YIN Chunlin， CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human?machine interactive system [J]. CAAI transactions on intelligent systems， 2016， 11（5）： 648?654.

[2] 吴福理，丁胤，丁维龙，等.基于Leap Motion的虚拟农作物人机交互系统设计[J].农业工程学报，2016，32（23）：144?151.

WU Fuli， DING Yin， DING Weilong， et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（23）： 144?151.

[3] LI J， BAI Y F， HE J L. Design and implementation of embedded video surveillance system based on human detection [J]. Applied mechanics & materials， 2014， 513： 4535?4538.

[4] 马莉，王建国，韦勇宇，等.基于图元的火控系统人机交互界面的实现[J].火力与指挥控制，2017，42（7）：170?174.

MA Li， WANG Jianguo， WEI Yongyu， et al. Realization of the human?computer interaction interface of fire control system based on graphic element [J]. Fire control & command control， 2017， 42（7）： 170?174.

[5] 符斌，任鸿翔，李小涛.触控式航海模拟器人机交互系统优化设计[J].舰船科学技术，2017，39（11）：110?114.

FU Bin， REN Hongxiang， LI Xiaotao. Optimal design of touch?sensitive human?computer interaction of ship maneuvering simulator [J]. Ship science and technology， 2017， 39（11）： 110?114.

[6] 夏鲲，曾彦能，葛越，等.户用光伏并网逆变器人机交互系统开发及应用[J].电源技术，2016，40（2）：379?381.

XIA Kun， ZENG Yanneng， GE Yue， et al. Development and applications of human machine interface system in photovoltaic grid?connected inverter for household [J]. Chinese journal of power sources， 2016， 40（2）： 379?381.

[7] 胡云普，麥宋平，谢翔.一种基于高频率投影仪—摄像头的人机交互系统[J].计算机应用研究，2017，34（3）：907?910.

HU Yunpu， MAI Songping， XIE Xiang. High?frequency pro?cam based human?computer interaction system [J]. Application research of computers， 2017， 34（3）： 907?910.

[8] 王道档，赵超杰，孔明，等.基于图像处理的胶囊外形快速检测系统设计[J].电视技术，2014，38（19）：216?220.

WANG Daodang， ZHAO Chaojie， KONG Ming， et al. Design of rapid detection system for capsule shapes based on image processing [J]. Video engineering， 2014， 38（19）： 216?220.

[9] 罗杰，张之明.基于图像处理技术自动报靶系统综述[J].激光杂志，2016，37（7）：1?6.

LUO Jie， ZHANG Zhiming. Survey on automatic target?scoring system based on image processing technology [J]. Laser journal， 2016， 37（7）： 1?6.

[10] 戴美松，张小斌，李秀根，等.基于图像处理技术梨果实尺寸测定系统的研发与应用[J].园艺学报，2016，43（4）：763?770.

DAI Meisong， ZHANG Xiaobin， LI Xiugen， et al. Development of a size measurement system for pear fruit based on image processing technology [J]. Acta Horticulturae Sinica， 2016， 43（4）： 763?770.