基于ARM9的图片动态手势识别系统

安康学院科研处　陈　强

基于ARM9的图片动态手势识别系统

安康学院科研处陈强

为了实现图片的动态手势操作，设计了图片动态手势识别系统。系统以ARM为硬件处理核心，以Linux为软件操作系统，使用数字图像处理技术和嵌入式视觉技术，实现图片操作的动态手势识别过程。由USB摄像头扑捉帧图像，经Opencv技术处理识别后，发出相应命令操作显示屏上的图片，从而实现以非接触式的方式放大、缩小、切换图片等功能。经测试验证取得了良好的效果，所提出的设计理念为手语输入、人机交互的设计提供了参考。

ARM；手势识别；图片操作；Linux

1　引言

人机交互的输入方式一般有键盘输入、鼠标输入、触摸屏输入、语音输入、扫描输入、视觉输入［1，2］。而现在基本是鼠标、键盘和触控的时代。这些方式都有一定的瑕疵——接触。假如有这样一种设备，它是一个小型的、能够放在胸前的电脑，其摄像头能捕捉到手部运动，从而转换成对应的命令执行。这不就可以让人摆脱人机交互时，接触的限制吗？而其中关键技术是数字图像处理技术和嵌入式视觉技术。在这个过程中，数字图像处理技术的主要作用是将获得的低质量图像用计算机处理成更适合人眼观察或仪器检测的图像［3］。嵌入式视觉技术的主要作用是使用摄像机和计算机代替人眼对目标进行识别、跟踪和测量［4］。本系统的意图即是使用上述技术实现这一过程，通过动态的手势，操作显示屏上的图片，实现以非接触的方式放大、缩小、切换图片等功能。

2　系统硬件架构

如图1所示，动态手势识别硬件系统主要由s3c6410处理器、USB摄像头、USB 控制器、LCD控制器、存储器控制器等组成［5］。

图1　动态手势识别硬件框图

图2　软件架构框图

s3c6410处理器的部分硬件特性如下：采用ARM1176JZF-S核，包含16KB的指令数据Cache和16KB的指令数据TCM，ARM Core电压为1.1V的时候，可以运行到553MHz，在1.2V的情况下，可以运行到667MHz；支持TFT 24Bit LCD屏，分辨率能支持到1024x1024；独立的USB Host控制器，支持USB Host 1.1；支持SDRAM，DDR SDRAM，mobile SDRAM和mobile DDR SDRAM；具有图像处理模块；支持JPEG编解码功能，最大尺寸为4096x4096；翻转模块支持对YUV420/422和RGB565/888的数据进行硬件翻转。

3　系统软件设计

系统软件架构主要由Linux操作系统、OpenCV、QT/E构成。Linux操作系统负责整个系统资源的分配和管理；OpenCV及QT/E完成图像采集、图像处理、动作识别、图像显示等功能［6，7］。软件架构如图2所示。

3.1算法实现原理

本系统通过判断人手的运动方向和帧中人手的面积，操作显示屏上的图片。为了处理方便，系统中规定运动方向为水平，以帧差法为基础，通过记录两帧中人手的坐标信息或者面积信息，将次时刻的数据与前一时刻的数据进行相应的运算处理，即可判断人手的运动方向，从而操作显示屏上的图片［8，9］。本系统以显示屏的左上角为坐标原点，坐标轴方式如图3所示。人手动作判断方法如表1所示。人手运动示意图如图4、图5所示。

图3　坐标轴示意图

图4　切换图片运动示意图

图5　缩放图片运动示意图

表1　人手动作判断方法

3.2软件流程图

图片动态手势识别系统的程序设计基于C语言程序，采用模块化的设计结构，由系统初始化、图像采集、图像预处理、图像识别和图片操作等子程序构成。程序流程图如图6所示。

4　测试验证

主要测试设备包括USB摄像头、s3c6410平台、320*240 TFT屏。在摄像头视野内，若人手从左向右划过，则TFT显示屏上的图片从左向右滑动切换至前一张图片；若人手从右到左划过，则TFT显示屏上的图片从右向从滑动切换至下一张图片。若人手靠近摄像头，则TFT显示屏上的图片放大一定倍数；若人手远离摄像头，则TFT显示屏上的图片缩小一定倍数。测试结果如图7、8所示。

图6　软件流程图

图7　图片切换效果

图8　图片缩放效果

5　结束语

本文详细阐述了动态手势操作图片的方法，并简单介绍了Linux、OpenCV视觉库及QT/E的应用。在系统的设计过程中，不断更新设计思路、调整设计流程，优化设计算法、调试设计程序，极力争取找到速度和性能的最佳平衡点，实现了动态手势操作图片的功能。

［1］陈文广，董士海，岳玮宁，等.手持移动计算中的人机交互技术研究［J］.计算机应用，2010，25（10）：2219-2223.

［2］饶丹，侯喆，姜利华. 嵌入式人机系统软件开发方法学研究［J］.微型机与应用，2007，6：1-3.

［3］王晓雪，苏杏丽.数字图像处理在车牌识别中的应用［J］.自动化仪表，2010，31（7）：22-25.

［4］王思华，刘崇春，陈立峰，等.计算机视觉新技术及其在IC标记质量检验中的应用［J］.电子技术应用，2000，26（9）：25-27.

［5］李文昊.基于SPCA563B芯片的图像识别系统设计［J］.单片机与嵌入式系统应用，2006，（8）：40-43.

［6］欧文盛.ARM嵌入式Linux应用实例开发［M］.北京：中国电力出版社，2008.

［7］杨柳，岳坤，庞和明，等.Qt/Embedded及嵌入式Linux在智能监控系统控制中的应用［J］.计算机应用，2010，30（1）：289-291.

［8］魏志莲，汪剑鸣，窦汝振，等.一种新的室内机器人手势指令识别系统［J］.天津工业大学学报，2010，29（1）：72-76.

［9］孔晓明，陈一民，陈养彬，等.基于视觉的动态手势识别［J］.计算机工程与设计，2005，26（11）：2934-2936.

Image dynamic gesture recognition system based on ARM9

Chen Qiang
（Department of Science and Technology， An kang University， An kang 725000）

In order to realize the dynamic gesture of the picture， a picture dynamic gesture recognition system is designed. The ARM is system taken as the hardware processing core and Linux as the software operating system in the system， The digital image processing and embedded vision technology are adopted in the system to capture frame by camera， process and identify images by Opencv technology， manipulate pictures on the TFT screen， and achieve the zoom and switch operation of non-contact pictures. The experiment and testing achieced good results. The proposed design provides a reference for the design of sign language input and human computer interaction.

ARM; gesture recognition; picture manipulation; Linux

资助基金：安康学院2013年国家级大学生创新创业训练计划项目（201311397005 ）；安康学院2013年校级大学生创新创业训练计划项目（2013aku015）。

陈强（1983-），男，湖北黄冈人，学士，实习研究员，研究方向：计算机系统集成。