基于弹性导电包覆纱的手势识别系统设计

曾玮宸 刘 茜

（上海工程技术大学，上海，201620）

随着人工智能技术的不断发展，手势识别技术的应用领域越来越大，利用手势识别技术，可以实现远程控制［1］、虚拟现实［2］、生活助理［3］等功能。手势识别技术按照识别原理的不同主要分为基于图像分析的手势识别和基于传感器的手势识别。图像分析识别是通过摄像头获取手指关节图像，然后在经过特定的图像识别算法对手势进行分析，可以裸手识别，但是图像识别受环境影响，在背景复杂、光线较暗的地方识别准确率会下降，由于摄像头通常不能伴随人一起移动，难以适应运动、旅游等情况［4］；传感器识别是在手上佩戴智能手套或者其他可穿戴传感器设备，通过传感器测量弯曲［5］、肌电［6］、惯性［7］等信号，然后用特定算法对这些信号进行分析后获得手势信息。

本研究基于包覆纺纱技术，纺制了兼具优良弹性和导电性的镀银锦纶氨纶包覆纱，将该纱线和弹性手套相结合，制备了能检测手指关节弯曲变形的应变传感器。基于这种传感器，设计了一个手势识别系统，包括具有信号采集和传输功能的硬件设备，以及对信号进行分析的识别算法和软件，可以实现对人体静态手势的识别。

1 镀银锦纶氨纶包覆纱的纺制

1.1 试验材料

氨纶复丝（155 dtex，海宁凯威纺织有限公司），镀银锦纶复丝（155 dtex，单位电阻30Ω/cm，大致远防辐射面料有限公司），弹性手套（锦纶材质，双层结构，常熟馨宏手套有限公司）。

1.2 试验设备

XS（08）XT型单纱强力仪（旭赛仪器有限公司），B35型万用表（利利普光电科技有限公司）。

1.3 试验步骤

以氨纶复丝为芯纱，镀银锦纶复丝为外包纱，在包覆纺纱机上纺制弹性导电包覆纱线，保持包覆机的成纱卷绕速度不变，通过控制外包纱缠绕轴的速度控制外包纱线缠绕在单位长度芯纱上的根数。本研究控制包覆纱的包覆度在20捻/cm～40捻/cm，纺制了5种包覆度的包覆纱。

1.4 性能测试和分析

包覆纱的机械性能在单纱强力仪上测试，在机器上定速拉伸不同包覆度的纱线测量断裂强力与断裂伸长率的关系，测试标准为GB/T 3916—2013《纺织品 卷装纱 单根纱线断裂强力和断裂伸长率的测定（CRE法）》，结果如图1所示。

图1 不同包覆度纱线的应力-应变曲线

从图1可以看出，随着包覆度的增加，纱线的断裂强力减小，断裂伸长率增加。断裂伸长率增加是因为包覆度增加使得单位长度包覆纱上缠绕镀银锦纶外包纱的总长度变长，拉伸时伸长量增加；断裂强力的减小是因为纱线的断裂强力取决于纱线上的弱节，纱线越长越可能出现弱节。

包覆纱的传感性能通过单纱强力仪和万用表测量，在纱线两端夹持夹头，连接万用表，测量纱线拉伸时的电阻变化率，测试结果如图2所示。

从图2中可以看出，随着纱线的拉伸，纱线的电阻变化率不断变大，这是因为包覆纱的拉伸带动纱线表面外包纱的伸长，使得外包纱表面银镀层厚度变薄，长度变长，总体电阻增大。将图2曲线求导得到灵敏度-应变曲线，如图3所示。

图2 不同包覆度纱线的电阻变化率-应变曲线

由图3可以看出，拉伸过程中，包覆纱的灵敏度不断增大，说明拉伸过程中纱线的电阻变化率不断增大。不同纱线的最大灵敏度和包覆度呈反比，这是因为拉伸断裂时不同纱线的电阻变化量相似，而包覆度大的纱线应变大，电阻变化率小，灵敏度低。

图3 不同包覆度纱线的灵敏度-应变曲线

2 手势识别系统的设计

2.1 手套结构应变传感器的制备

选择纱线应该考虑纱线性能和传感器应用的匹配，本研究设计的传感器主要考虑纱线的灵敏度和拉伸应力。灵敏度小的纱线难以监测拉伸时的电阻变化，拉伸应力大的纱线会增加手指弯曲时受到的阻力。综上所述，本研究选择包覆度为30捻/cm的弹性导电包覆纱用于传感器制备。

将制备得到的弹性导电包覆纱通过缝纫的方式和手套相结合，缝纫前先用笔在缝纫的位置做好记号，缝纫的距离和手指的长度有关，然后脱下手套，将弹性导电包覆纱穿入缝纫针，进行缝纫，为了保证手套整体的美观和穿戴舒适性，纱线浮于双层织物之间，通过结点的方式固定纱线并且和表层织物连接，具体缝纫方式如图4所示。

图4 包覆纱在缝纫手套上的示意图

图4（a）中蓝色线条表示弹性导电包覆纱，浮于双层织物之间，黑色结点表示纱线和手套的固定点，为了方便后续测试，纱线经过一个弯折后回到初始缝纫点附近。从图4（b）效果图中可以看到，表面只能看到一些结点，保证了手套整体结构的美观。将每个关节下方结点的纱线通过导线和电阻测量仪连接，就可以通过电阻大小的变化了解手指关节的弯曲程度。

2.2 数据转换和手势识别算法

电阻的大小只是一个初步的信息，人们更关心的是比较直观的信息，比如当前的手势信息、各个关节的弯曲状态，因此需要通过一定的算法对数据进行转换处理。

2.2.1 电阻-关节弯曲度转换和区间比例算法

人的手指因为粗细、长短等特征的不同，在手指弯曲时弹性导电纱的拉伸应变长度不同，电阻值也不相同，如果在手势识别的过程中以某个人的手势模型设计标准模型的话难免产生误差，因此需要探寻规律，设计一种通用的模型来减小误差，增加手势识别的准确率。

经过观察研究发现，不同人的手指尽管差异较大，但是每个手指关节的弯曲范围都是相似的，例如大拇指的指间关节弯曲范围约为0°到90°，掌指关节弯曲范围约为0°到60°，关节弯曲的度数又称为关节弯曲度，可以先将电阻值转换为关节弯曲度，然后进行手势识别。本研究邀请了5名青年人作为测试者，探究关节弯曲程度和电阻值之间的关系。让测试者佩戴手套连接电阻测量装置，控制关节弯曲角度，每次弯曲10°，逐渐弯曲手指关节至最大程度，绘制电阻-关节弯曲度曲线，以食指的指间关节为例，电阻和关节弯曲度的关系测试结果如图5所示。

图5 食指指间电阻和关节弯曲度的关系曲线

从图5中可以看出，不同测试者之间手指电阻-关节弯曲度的对应关系曲线差距很大，最大和最小电阻值、曲线斜率都不一致，难以找出统一规律，但发现电阻的变化曲线具有一定的线性规律，因此将每次测量的最大和最小电阻值作为基准区间的下限和上限，以百分比的形式表示当前电阻值在这个区间的位置，将电阻值转换为电阻区间位置，见式（1）。

绘制不同测试者的电阻区间位置-关节弯曲度曲线，结果如图6所示。

图6 食指指间电阻区间位置和关节弯曲度的关系曲线

由图6可以发现，对于不同测试者，虽然相同关节弯曲度对应的电阻值不相同，但是电阻值在最小电阻值到最大电阻值的这个区间内的位置基本一致，测试其他手指关节后发现具有相同的规律，因此本研究通过将电阻值转换成电阻区间位置的方式进行校准，经过测量得到电阻区间位置对应关节弯曲度的规律见表1。

表1 不同手指电阻区间位置和关节弯曲度的关系

从表1的数据中只能得到整10°的关节弯曲度情况下的电阻区间位置，为了实现数据的精确对应，需要进行数据拟合，从而得到不同手指关节弯曲度和电阻区间位置的关系。线性拟合后发现每组拟合表达式的相关系数都接近1，线性相关性好。

2.2.2 关节弯曲度-特征值转换和区间分类算法

利用模型校准得到的通用区间模型，可以知道当前电阻值对应的关节弯曲度，但一个手有5个手指、10个关节，每个关节的最大弯曲度在60°～110°之间，如果以关节弯曲度取整数进行手势比对，总计会有6110～11110个数据表示不同的手势，并且许多数据对应的是同一个手势，难以进行手势识别和手势数据库的构建，因此需要将关节弯曲度的范围平均分成几个部分，便于计算和识别。表达一个关节的弯曲程度至少要3个级别：伸直、半弯曲、全弯曲，因此最少要将弯曲度区间分为3份，均分份数越多，识别越精确，但是计算量和识别时间也越长，出现多个特征值对应一个手势的情况，反之份数少、识别快，数据库构建简单，但是识别准确率下降，出现一个特征值对应多个手势的情况。由于一个特征值对应多个手势会导致不能识别，而多个特征值对应一个手势只是增加了计算量，且在实际情况中一个手势可以对应多个特征值。通过预试验发现均分5份时不出现一对多的情况，因此将均分份数定为5份，均分后每份长度都为整数，便于计算，见表2。

表2 特征值下不同关节对应的关节弯曲度区间

将每一份依次以1～5的5个自然数作为弯曲程度特征值，通过综合10个关节的特征值就可以得到一个10位数的手势特征值。以手势“数字1”为例，数组a（）存储每个关节的数据，其中a（1）～a（5）代表大拇指到小拇指的指间关节，a（6）～a（10）代表大拇指到小拇指的掌指关节，数据转换流程见表3。

表3 手势“数字1”的数据转换流程

将a（1）到a（10）的特征值组合起来就变成了一个10位数的手势特征值“3155521555”，用于表示手势“数字1”。

2.3 手势数据库的建立

为了实现手势识别功能，需要先在数据库中添加一些基础的手势，由于手势是一种主观的信息，因此本研究邀请了20名试验者对预设手势的构建进行参与讨论，先收集所有试验者提出的手势，然后进行集中讨论，对提出的手势模型进行删减修改，最终选择出包括阿拉伯数字、英文短语、招呼手势等21种预设手势，对每种手势都进行两个方向的拍照，让手势的展示更为生动形象。

显示手势时，程序会展示手势名称和手势图片来告知用户的当前手势，手势名称在数据库中以字符串的形式保存，而图片文件不便于保存在数据库中，因此将图片保存在硬盘中，将图片的地址保存在数据库中，在图片展示时先读取数据库中的图片地址，然后找到对应图片来进行展示。

2.4 手势识别的界面和功能

为了实现手势识别设备的人机交互功能，需要设计一种面向用户的电脑软件，使得用户可以在电脑上进行操作。本研究基于Visual Studio 2008软件设计了一个手势识别软件，可以实现数据读取、模型校准、详细信息、手势识别和手势建立功能，所有功能数据流程图如图7所示。

图7 手势识别软件各项功能的流程图

数据读取可以建立软件和电阻值信息之间的联系并实时读取电阻值。

模型校准功能界面如图8所示。数据表格负责记录各个关节对应的最大、最小和当前电阻值。

图8 模型校准功能的界面

详细信息查看的界面如图9所示，表格中用弯曲自由度表示各个手指关节的弯曲程度。

图9 详细信息查功能的界面

手势识别功能是最主要的功能，在主界面上直接显示，手势识别功能的界面如图10所示，有单次识别和持续识别两个按钮，还有两个图片框用来显示每个手势对应的两个图片。

图10 手势识别功能的界面

新建手势功能属于手势识别系统的额外功能，可以让用户根据自己的需要增加手势。

3 手势识别系统的性能测试

手势识别系统的测试主要包括识别准确率和识别延迟测试。准确率是指手势识别系统对一系列手势识别的正确率，正确率越高，表明手势识别系统的识别准确程度越高；识别延迟是指手势识别成功所用的时间，时间越短，识别的延迟越低。

测试仪器：手势识别设备、电脑、摄像机。

测试方法：邀请了10名测试者，5名青年男性，5名青年女性，他们的身高、体重和手指长度等个人信息都各不相等，让这些测试者摆出预定的手势，测试预设手势数据集的识别准确率，然后每个人自由添加一些手势到手势数据库中，再进行测试。手势识别的时间比较短，人为的方式难以记录这个时间，需要在测试的过程中用摄像头辅助记录识别过程，然后在电脑上通过视频剪辑或者慢速回放的方式得出延迟时间。

对于不同的手势集，手势识别系统准确率的测试结果见表4。

表4 不同手势集的手势识别测量准确率

从表4中可以看出，总体的手势识别准确率为90.59%，预设手势集的识别准确率为96.67%，远大于测试者新增手势集的测试准确率80.77%，这可能是因为预设手势集都是具有代表性和权威性的手势，并且经过了测试和调整，数据设计完善，成功率高，而新增的手势集都是首次添加到数据库中的手势，测试者也没有考虑到手势可能具有的多种情况，因此在测试中的准确率比较低。

对于不同性别的测试者，手势识别系统准确率的测试结果见表5。

表5 不同性别测试者的手势识别测量准确率

从表5中可以看出，男性的手势识别准确率为92.94%，女性的识别准确率为88.24%，略微小于男性，这可能是因为男性的手比女性的要大，佩戴时可以完全撑满手套，而女性的手穿戴手套时可能留有空隙，造成识别误差。

手势识别系统识别延迟测试结果见表6。

表6 手势识别系统识别的延迟

从表6中可以看出，手势识别系统的平均延迟为0.175 s左右，单次识别的延迟大于持续识别。最大延迟在0.20 s左右，最小延迟在0.15 s左右，这可能是因为手势复杂程度不同，简单手势能够更快地识别，而复杂手势需要更多识别时间。

4 结语

本研究纺制了镀银锦纶氨纶包覆纱，制备了手套结构的手指弯曲应变传感器，基于这种传感器设计了一种Visual Studio框架的手势识别系统，总体的手势识别准确率为90.59%，识别延迟短。后续应开发可以随身携带、质量轻的便携式电阻测量设备，提高测量精准度，设计更先进的算法，提高手势识别准确率。相信基于传感器开发手势识别系统在智能可穿戴领域会有广阔的应用前景，能为人们提供更好的服务。