手势识别车载人机交互系统虚实结合实验教学项目研究与实践

马学条，陈 龙，程知群，牛小燕，杨 柳，郑雪峰

手势识别车载人机交互系统虚实结合实验教学项目研究与实践

马学条，陈 龙，程知群，牛小燕，杨 柳，郑雪峰

（杭州电子科技大学 电子信息技术国家级虚拟仿真实验教学中心，浙江 杭州 310018）

将手势识别车载人机交互系统虚实结合实验教学项目引入到数字电路实验教学中，设计了基础实验、能力提高和延伸拓展3层次、递进式实验任务。虚实结合实验教学项目面向电子信息类学生开放，在培养学生设计复杂数字系统能力方面取得了一定成效。

图像处理；手势识别；虚实结合；教学改革

在国家创新驱动发展战略大背景下，如何培养本科生的工程实践和创新能力已成为近年来工科高校教学改革的主旋律。然而，国内多数高校数字电路实验教学仍停留在几十年一贯制的基于74系列器件进行验证性实验设计的传统教学阶段，使学生以较低的起点和过窄的视野去面对大量与之紧密联系的后续课程学习，不利于学生工程创新能力的培养[1]。传统数字电路实验教学的下列不足越来越凸显：

（1）实验教学以验证理论知识为主，采用中小规模集成门电路进行逻辑设计，实验项目对知识的深度与广度要求缺少层次，缺乏分析研究的空间；

（2）教学内容涉及的实验项目彼此孤立，大都围绕课本知识点而设置，缺少学科间的交叉融合，脱离工程实际，使学生在遇到实际工程问题时感到不知 所措；

（3）现有实验教学与实验管理滞后于信息技术发展，实验教学模式单一，忽视学生能力的培养和达成，难以适应现代社会发展的需要。

基于上述情况，我校数字电路课程组教师将虚实结合实验教学项目“手势识别车载人机交互系统”引入到数字电路实验教学中。团队教师以实验项目为载体，以解决复杂工程问题为轴心，落实产出导向（outcomes-based education，OBE）教学理念，将工程创新能力培养贯穿实验的各个环节，着力培养学生“大工程”观念，提高学生综合解决复杂工程问题的能力[2]。

1 项目建设思路

将虚拟仿真技术应用于数字电路实验教学，建设虚拟仿真软件资源和虚实结合的实验项目，将仿真实验融于实验教学，以解决实验实施中面临的条件、时间、成本等方面难题。虚实结合的实验教学对于探索教学新模式、培养与现代社会发展相适应的工程创新型人才具有重要意义[3]。“手势识别车载人机交互系统”虚实结合实验教学项目的建设主要围绕以下3方面展开。

1.1 突破传统数字电路实验教学中的时空局限

鉴于数字电路实验受到器材、课时数和场地等制约，依托我校国家级虚拟仿真实验中心，基于FPGA设计开发“手势识别车载人机交互系统”虚拟仿真实验教学项目，学生可通过网络在线完成手势图像噪声滤除的仿真设计，使实验教学突破了时空限制，实现了“处处能学、时时可学”的泛在化学习[4]。

1.2 基于工程背景设计多学科交叉融合教学项目

基于项目背景工程性和实验过程探索性，设计开发多学科交叉融合的“手势识别车载人机交互系统”实验。实验教学项目将数字电路、模拟电路、高等数学、人工智能、信号处理等课程内容进行了实质性的交叉和融合。随着实验进程推进，学生不仅要理解各课程的核心知识，还要掌握解决实际工程问题所需的实验技能，拓展学科视野，培养工程实践能力、创新能力和团队合作能力，提升专业素养和创新素养。

1.3 根据教学进程设置3层次递进式实验任务

根据实验教学进程及由浅入深、由点到面的认知规律，将实验教学项目设置为基础实验、能力提高、延伸拓展3层次递进式实验任务。基础实验任务为基于FPGA进行手势信号采集的仿真设计，注重基本实验知识及技能的运用；能力提高任务为根据仿真数据选取合适的图像噪声滤除方式，让学生掌握二值形态学和连通域分割的图像处理方案；延伸拓展任务为结合实物平台进行车载人机交互系统的硬件测试与方案优化，降低系统对硬件指标的要求，培养学生成本控制意识[5]。

2 项目内容设计

本虚实结合实验教学项目包括手势图像噪声滤除的仿真设计和人机交互系统硬件平台性能优化2部分。学生根据仿真数据进行多因素敏感性分析，选取较佳的二值形态学和连通域分割方案；通过实验室搭建的硬件平台进行实际实验测试与研究，提高手势识别的准确度和灵敏度；实现仿真数据指导实际实验、实际实验验证仿真数据的闭环设计流程[6]。

2.1 实验原理

如图1所示，手势识别车载人机交互系统包括摄像头采集模块、异步FIFO模块、SDRAM模块、形态学运算模块、连通域分割模块、手势库建立及匹配模块等。

通过IIC配置摄像头，使其将采集到的8位特定分辨率信号转化为RGB565格式的16位信号；将每16位的像素通过FIFO缓存，然后存入SDRAM；再将每个像素从RGB565转成RGB888格式；预处理后的手势图像经中值滤波、形态学运算、连通域分割等提取有效的手势命令，经手势库匹配运算转换为系统控制指令，实现手势图像对人机交互系统的控制[7]。

手势图像噪声滤除中涉及膨胀、腐蚀、开、闭等运算，其数学模型及FPGA设计实现如下，其中A为输入的手势图像，B为结构元素。

（1）膨胀运算数学模型为：

（2）腐蚀运算数学模型为：

（5）3×3结构元素FPGA设计为：

reg [0:0]window11; reg [0:0]window12; reg [0:0] window13;

reg [0:0]window21; reg [0:0]window22; reg [0:0] window23;

reg [0:0]window31; reg [0:0]window32; reg [0:0] window33;

（6）膨胀运算FPGA设计为：

corrosion1<=window11 | window12 | window13;

corrosion2<=window21 | window22 | window23;

corrosion3<=window31 | window32 | window33;

（7）腐蚀运算FPGA设计为：

corrosion1<=window11 & window12 | window13;

corrosion2<=window21 &window22 | window23;

corrosion3<=window31 & window32 | window33;

闭运算为先执行膨胀运算再执行腐蚀运算；开运算为先执行腐蚀运算再执行膨胀运算；腐蚀运算和膨胀运算不能同时执行。

2.2 实验任务

手势识别车载人机交互系统3层次递进式实验任务，如图2所示。

图2 手势识别车载人机交互系统实验任务

基础实验任务。完成图像采集模块、存储模块、VGA显示模块等设计。使用OV5640摄像头进行手势图像采集，在完成摄像头的上电时序后，FPGA通过IIC配置寄存器，完成RGB565格式和1024×768像素分辨率的配置。存储模块需要2个FIFO（记为FIFO1和FIFO2）以及SDRAM模块；FIFO1负责缓冲来自摄像头采集的像素，然后交给SDRAM缓存；FIFO2负责接收来自SDRAM的像素信号，然后输出到VGA显示； SDRAM模块需要完成初始化、刷新、写操作、读操作等设计。VGA显示模块中分辨率为1024×768像素，在显示过程中，需要对帧同步信号、行同步信号以及相关时序参数进行描述。

能力提高任务。完成结构元素、形态学运算、连通域分割等设计。结构元素采用×矩阵因子对手势图像执行单次腐蚀运算，分析不同类型矩阵因子达到的噪声滤除效果和占有的逻辑资源，针对手势图像设计合适类型的结构元素。形态学运算设计中，采用腐蚀、膨胀、开、闭等运算对手势图像执行单次或多次组合运算，归纳和分析各形态学运算的特点及适用条件，寻找为达到更好的噪声滤除效果所需的形态学运算方案。连通域分割模块设计中，采用2×3行缓存方式对手势图像进行逐点扫描，根据手的面积和手势包围盒边长的大小进行手势图像判断，标记并分割出有效的手势图像[8]。

延伸拓展任务。根据仿真数据及噪声滤波效果，进行多因素敏感性分析，总结手势图像噪声去除效果的变化规律，寻找较佳的图像处理方案。根据手势图像的特征值建立手势指令控制库，并结合车载人机交互系统硬件平台，进行手势识别准确度和灵敏度测试，实现人机交互系统的性能优化。

2.3 实验结果

数字电路课程组教师采用“实验慕课”和“翻转实验室”的方法，把课内实验变革为自主开放模式，让学生自行思考和分析项目的实施进程。学生按实验任务完成仿真设计和硬件测试，记录手势图像噪声滤除过程中涉及的仿真数据和图形，并结合硬件测试效果探究各参数间的影响规律[9]。

系统采用OV5640摄像头进行手势图像采集，图像经不同的处理方案得到不同的噪声滤除效果，其仿真结果如图3所示。学生在进行结构元素设计、形态学运算、连通域分割时，需从消耗的逻辑资源、占用的存储空间、噪声滤除效果等多方面进行综合考虑，给出较佳的图像处理方案[10]。

(a) 摄像头采集的原始手势图像(b) 3×3结构元素单次腐蚀运算 (c) 7×7结构元素单次腐蚀运算(d) 7×7结构元素先腐蚀再闭运算

选用Altera公司的Cyclone V开发板为核心控制单元进行硬件平台搭建，包括摄像头模块、雨刮器模块、音响模块、显示模块、LED灯模块等。学生可使用石头、剪刀、布、大拇指等特定的手势及手势组合完成车载人机交互系统的远程控制，如表1所示。

表1 手势动作与对应的控制功能

完成手势图像噪声滤除仿真设计后，在Quartus Ⅱ仿真软件中对顶层电路的输入、输出信号进行引脚锁定，编译生成.sof文件，下载到硬件平台进行控制功能验证。

3 项目实施情况

“手势识别车载人机交互系统”虚实结合实验教学项目是面向电子、通信、自动化等专业学生。不同于传统的实验教学项目，该项目以多学科交叉融合的工程项目为背景，通过3层次递进式实验任务激发学生创新意识，可以提高学生设计复杂数字系统的能力[11]。表2为虚实结合实验教学和传统数字电路实验教学在实验模式、实现方式、设计能力等方面的对比情况。

表2 虚实结合实验教学与传统实验教学对比情况

学生通过虚拟仿真设计、多因素敏感性分析、设计方案优化、硬件平台测试等实践环节，提高工程实践能力和参与学科竞赛的积极性[12]。经数字电路实验课程培养的学生，近3年获各类学科竞赛国家级、省级奖励47人次，发表论文18篇，授权专利17项，主持国家级、省级创新创业计划23项。

4 结语

基于虚实结合实验教学，课程组教师对我校数字电路实验进行了系列改革研究。在保证教学成效和不减少必备的基础知识教学前提下，将传统数字技术与现代数字技术进行了有机融合，在实验课程中引入基于FPGA设计的虚实结合实验教学项目[13]。该教学改革模式已在我校实践多年，具有如下特点：

（1）将虚拟仿真技术深度应用于实验教学，学生通过云端服务器远程调用仿真软件，完成车载人机交互系统仿真设计，打破了时空限制，丰富了教学手段；

（2）实验教学项目基于工程背景，融合多学科知识点，教学模式由单一的实验技能训练向创新能力素养培养转变；

（3）采用基础实验→能力提高→延伸拓展3层次递进式的实验教学任务，因材施教，逐步提高学生分析、解决实际工程问题的能力。

[1] 潘松，陈龙，黄继业.数字电子技术基础[M].北京：科学出版社，2014.

[2] 陈龙，牛小燕，马学条.现代数字电子技术基础实践[M].北京：机械工业出版社，2017.

[3] 祖强，魏永军，熊宏齐.省级在线开放虚拟仿真实验教学项目建设探讨[J].实验技术与管理，2017, 34(1): 153–157.

[4] 马学条，程知群，郑雪峰，等.电子信息技术虚拟仿真实验教学平台的建设与实践[J].实验技术与管理，2018, 35(11): 130–133.

[5] 刘峰，石永军. OBE理念下机械创新设计实践课程教学研究与实践[J].实验室研究与探索，2018, 37(10): 196–200.

[6] 牛彦杰，于爱荣，张东戈，等.面向创新思维的探究式教学方法探索与实践[J].大学教育，2015(11): 41–43.

[7] 马学条，程知群，陈龙.数字电路虚拟仿真实验教学改革研究[J].实验技术与管理，2018, 35(10): 121–124.

[8] 贾永霞.创新性实验教学的探究与实践[J].实验室研究与探索，2018, 37(12): 206–208.

[9] 马学条，陈龙.基于虚拟仿真技术的数字电路实验教学探索[J].实验技术与管理，2016, 33(10): 127–129.

[10] 王心刚，贺利，张冬至，等.电工电子学课程研究性实验教学模式改革与实践[J].实验室研究与探索，2017, 36(4): 188–191.

[11] 张建良，卢慧芬，赵建勇，等.跨学科综合性实验平台的探索与设计[J].实验技术与管理，2017, 34(1): 194 –197, 216.

[12] 马学条.数字电路实验课程小班化虚拟仿真教学的探索[J].杭州电子科技大学学报（社会科学版），2016, 12(6): 64–67, 71.

[13] 陈龙，郄小美，马学条.数字电子技术综合性虚拟仿真实验教学改革研究[J].实验室研究与探索，2017, 36(5): 110–113.

Research and practice on experiment teaching project of combining virtuality and reality in gesture recognition vehicle human-computer interaction system

MA Xuetiao, CHEN Long, CHENG Zhiqun, NIU Xiaoyan, YANG Liu, ZHENG Xuefeng

(National Virtual Simulation Experimental Teaching Center of Electronic Information Technology, Hangzhou Dianzi University, Hangzhou 310018, China)

With the introduction of the experiment teaching project of combination of virtual and real of gesture recognition vehicle human-computer interaction system into digital circuit experiment teaching, the three-level and progressive experiments tasks for the basic experiment, ability improvement and extension are designed. The experimental teaching project of combining virtuality with reality is open to students of electronic information, which has achieved some results in training students’ ability to design complex digital systems.

gesture recognition; image processing; combination of virtuality and reality; teaching reform

G642.423

B

1002-4956(2019)10-0183-04

2019-02-15

浙江省高等教育“十三五”第一批教学改革研究项目（jg20180101）；杭州电子科技大学实践类教学改革项目（sjkg201805）

马学条（1984—），男，浙江温州，硕士，实验师，研究方向为数字电子技术教学与研究、嵌入式系统设计与应用。E-mail: mxt@hdu.edu.cn