手势识别身份认证的连续隐马尔可夫模型

李 富,孙子文,2

1(江南大学 物联网工程学院,江苏 无锡 214122) 2(物联网技术应用教育部工程研究中心,江苏 无锡 214122)

1 引 言

随着智能手机的日益普及,针对智能手机各种安全威胁和隐私泄露的问题,需要一个安全的身份认证系统.由于人的生物特征具有唯一性,难以被其他用户模仿,安全系数高,因此可以作为用户身份认证的依据.生物特征认证主要分为生理特征认证和行为特征认证,生理特征认证包括指纹识别[1]、虹膜识别[2]、脸型识别[3]等,行为特征识别主要包括签名识别[4]、击键识别[5]、步态识别[6]等.

随着智能设备的迅速普及,手势识别生物特征身份认证方法成为一种新型的身份认证方法.通过智能手机采集手势数据进行身份认证,较使用Kinect设备[7]与MEMS传感器[8]进行手势身份认证用户无需其他传感器设备,可增强用户的舒适感;同时,由于更能体现用户的个体特征,而具有更高的准确性和可靠性.目前,主流的手势认证方法有:采用支持向量机(Support Vector Machine,SVM)算法,通过核映射方法转化到高维空间解决线性数据可分问题,完成数据模型训练及认证[9];采用动态时间规划(Dynamic Time Warping,DTW)算法,通过测量两个特征时间序列之间的差异,或者预测待测特征时间序列与模板特征时间序列之间的相似程度,通过模板匹配完成身份认证[10];采用改进的豪斯多夫距离(Modified Hausdorff Distance,MHD)计算验证特征与模板特征的匹配值,通过对匹配值的归一化处理并采用最大-最小融合规则得出匹配结果[11];采用反向传播神经网络(Back Propagation Neural Network,BPNN)模型与粒子群优化的径向基函数网络(Practical Swarm Optimisation-Radial Basis Function Network,PSO-RBFN)模型进行特征训练与用户识别[12].然而文献[9-12]的方法存在以下不足:使用手势特征序列建立的模型不能很好地解决手势特征序列在时间上的差异性,同时,使用等错率作为建模时依据,而实际应用系统应尽可能降低错误接受率要求.

针对文献[9-12]算法中存在的不足,采用隐马尔科夫模型建立手势身份认证模型.作为一个强有力的概率统计模型,在模式识别领域里隐马尔科夫模型可用于模拟随机信号时间离散的变化性.通过智能手机采集用户手势的运动轨迹及压力信息,分析手势运动过程中时空变化条件下的运动轨迹特征序列,综合运用时空特征序列表征手势运动过程的位置、方向、压力以及时间上的差异,为每个用户建立一个手势HMM,采用此模型进行身份认证.根据观察值序列是否连续,HMM模型分为离散的隐马尔科夫模型(Discrete Hidden Markov Model,DHMM)和连续的隐马尔科夫模型(Continuous Hidden Markov Model,CHMM)[13],相对于CHMM,DHMM需要将手势特征序列进行矢量量化,但量化过程会严重影响手势特征序列的准确度,从而影响手势建模和认证结果,因此本文采用CHMM进行手势身份认证建模.

2 手势认证系统结构

手势特征CHMM身份认证系统的认证过程可以分为两个阶段:

1)注册过程,即根据用户手势训练样本建立手势模型;

图1 手势认证系统结构Fig.1 Gesture authentication system architecture

2)认证阶段,即根据待认证手势对给定CHMM的输出概率进行判别.图1为手势认证系统的组成框图,主要包括手势数据采集、预处理、特征提取、模型训练和认证识别过程,其中虚线箭头表示注册过程.

3 手势数据预处理

通过智能手机的触摸屏及压力传感器采集用户运动手势原始数据,如公式(1)所示:

(1)

由于多方面因素的存在,导致运动手势原始数据直接用于认证的准确性较低.一是冗余数据,由于手势的前后一致性,手势数据会含有冗余数据;二是噪声,同时,由于智能手机干扰及用户手指不同幅度抖动等因素,使得原始运动手势数据中含有噪声;三是手势大小和起始位置,用户每次书写手势在触摸屏上的大小和位置都不相同.这些因素对后期特征提取、匹配认证过程都会产生影响,因此,对用户手势原始数据进行大小归一化及平滑去噪预处理.

3.1 归一化

调整手势书写起始位置和手势尺寸归一,以消除手势书写位置和大小的不确定性对认证的影响,提高手势认证的精度和避免误判.调整手势起始位置采用手势序列平移位置,得位置归一化的计算公式如公式(2)、公式(3)所示:

(2)

(3)

手势尺寸归一化[14]公式如公式(4)、公式(5)所示:

(4)

(5)

3.2 平滑去噪

对手势数据集进行平滑去噪,以消除由采集手势数据环境产生的数据误差.采用滑动平均滤波器去除手势数据噪声,计算公式如公式(6)-公式(8):

(6)

(7)

(8)

4 手势特征提取

手势原始数据经过预处理后,从三个基本数据序列中获取三个隐含的特征序列[10],隐含特征分别为手势轨迹正切角度θt,轨迹速度大小vt,轨迹加速度大小at,隐含特征计算公式如公式(9)-公式(11):

(9)

(10)

(11)

定义手势轨迹特征的每个采样点特征矢量ot由三个基本特征和三个隐含特征组成,如公式(12)所示:

ot=[xt,yt,pt,θt,vt,at]

(12)

其中t=1,…,n.则每个手势轨迹采样点组成了一个n×6的特征矢量矩阵,如公式(13)所示:

o=(o1,o2,…,on)T

(13)

5 手势认证算法

手势认证算法包括手势CHMM训练与认证:

1)手势CHMM训练,获取每个手势特征序列的矢量矩阵o作为CHMM的观察值向量,利用o初始化CHMM,并为每个用户建立一个CHMM手势模型;

2)手势认证,获取每个待测用户手势的特征矢量矩阵o,作为CHMM输入观察值向量,利用Viterbi算法计算相应CHMM输出观察值向量的概率,如果输出概率大于或等于设定阈值,判定为真实用户手势,否则为非法用户手势.

5.1 手势CHMM训练

5.1.1 连续隐马尔科夫模型

CHMM表示一个双重随机过程,包含基本的马尔科夫链和与状态相关联的观察值序列.该模型可以表示为λ=(N,π,A,B),一个完整的左右结构CHMM如图2表示:

图2 完整的左右结构CHMM(N=5)Fig.2 Complete left and right structure CHMM(N=5)

各个参数的具体含义如下:

1)模型的状态数N.模型状态集合为S={S1,S2,…,SN},t时刻模型所处的状态记为

qt,qt∈S.手势特征序列o=(o1,o2,…,on)T以模型状态数N平均分段[16],即模型状态一一对应于手势序列分段.

3)状态转移概率矩阵A.A=(aij)N×N,其中aij=P(qt+1=Sj|qt=Si),1≤j≤N.aij表示从状态i转移到j的概率,即从状态i对应的手势序列分段到状态j对应手势序列分段的转移概率.

CHMM模型的实际应用,需要解决三个基本的问题:

1)评估问题:根据给定模型λ和观察序列o,计算当前观察值序列对应的输出概率P(o|λ).

2)解码问题:根据给定模型λ和观察序列o,寻找产生观察序列o的最优隐含状态序列Q*.

3)学习问题:通过不断调整CHMM模型λ=(N,π,A,B)的参数,使得P(o|λ)达到最大.

5.1.2 手势CHMM建立

CHMM建模之前,需确定CHMM的拓扑结构,CHMM的拓扑结构主要分为两种:

1)遍历拓扑结构,即模型中的一个状态可以转移到任意状态;

2)左右拓扑结构,即模型中一个状态只能转移到下一状态或者状态本身.对比两种拓扑结构,左右拓扑结构更加符合手势运动轨迹的时间特性,且参数计算量较少,可以保证建模时系统拥有较快的运行速度,更加符合现实应用的需要.

CHMM初始参数确定的过程中,CHMM初始概率矢量π和初始状态转移概率矩阵A的设定对认证结果的影响可以忽略不计[13],本文中取初始概率矢量πi∈{π1,π2,…,πN},π1=1,πi=0,2≤i≤N,状态转移概率A=(aij)N×N,aii=ai(i+1)=0.5,aNN=1,1≤i≤N-1.而对应于状态的观察值输出概率密度函数bj(o)初始值的设定则十分重要,通过3.1节可知CHMM状态个数N和高斯混合密度函数个数M的设定对于手势模型参数bj(o)的影响较大,根据多次实验结果确定模型状态个数N=4,高斯混合密度函数个数M=2.

5.2 手势认证

(14)

τ=mean-ω×var

(15)

其中mean和var分别表示训练用户注册手势样本集的均值与方差,ω为阈值系数,对于每个用户的测试手势集合,ω取值相同.

6 仿真实验及结果分析

6.1 仿真环境

实验仿真平台采用MATLAB R2014a(8.3.0.532),所有用户手势数据通过华为MT1-U06和三星SVM-G9008V手机采集完成.

仿真手势数据库由8个用户的食指手势数据组成,用户在不同数据采样周期内一次获取100个手势数据,四次共采集3200组数据.其中用户1和用户5在采集手势数据之前,进行过短时间练习.每个用户的训练样本集的个数为10.

6.2 参数设定

公认的手势认证系统的性能评估包含三个参数指标:

1)错误拒绝率(False Rejection Rate,FRR),即真实用户不能通过手势系统认证的概率;

2)错误接受率(False Acceptance Rate,FAR),即非法用户通过手势认证系统的概率;

3)等错率(Equal Error Rate,ERR),即错误拒绝率和错误接受率相等时的概率.为了保障用户信息的安全性,认证系统中需要确保FAR尽可能的小.

表1表示模型不同状态个数N和不同高斯混合概率密度个数M对手势识别认证结果的影响.此时,选取用户1的100组手势作为合法用户数据,选取剩余用户各100组手势作为非法数据,通过选取等错率确定最优的模型参数M=2,N=4,及认证系统的阈值系数ω=2.1.

表1 CHMM模型不同状态及不同混合密度函数下的等错率(%)
Table 1 Error rate(%)of CHMM model under different states and different mixed density functions

M=1M=2M=3M=4M=5M=6N=18．236．235．543．222．011．67N=25．024．026．055．232．834．08N=33．233．654．213．043．243．23N=43．511．222．823．011．652．01N=52．312．011．642．052．06—N=62．02—2．032．01——

6.3 仿真结果及性能分析

在智能手机采集手势数据进行身份认证阶段,当用户测试手势认证后的概率值大于相应阈值τ时,判断为合法用户,否则为非法用户.认证过程中依次使用一位用户手势数据300组作为合法手势用户,其他7用户数据共2100组作为非法入侵手势数据.

表2 CHMM算法与DTW算法、SVM算法的单指认证性能比较
Table 2 Comparison of CHMM algorithm and DTW algorithm and SVM algorithm for single finger authentication

用户FRR(%)FAR(%)CHMMDTWSVMCHMMDTWSVM12．684．064．321．654．973．2624．366．436．132．174．523．4134．236．526．531．434．634．2543．516．125．462．563．513．8752．834．264．251．634．073．4964．128．535．873．013．873．0773．757．235．812．674．254．1984．026．755．652．833．734．57均值3．696．245．512．244．193．76

通过表2数据可以看出,用户1和用户5在不同算法下的FRR和FAR均低于其他用户,表明用户在短时间内训练后,可以获得更加稳定的手势特征信息,有利于保持合法手势与非法手势之间差异的同时,缩小合法手势之间的差异.同时,表2中展示了CHMM算法与DTW算法、SVM算法的实验均值对比结果,由表中的数据可知,本文采用CHMM模型算法对不同的用户进行身份认证时,获取的均值FRR和FAR分别为3.69%、2.24%,相比于DTW算法FRR的认证性能提升了2.55%,FAR的认证性能提升了1.95%;相比于SVM算法FRR的认证性能提升了1.82%,FAR的认证性能提升了1.52%.说明本文通过智能手机采集单指手势及采用CHMM模型算法进行身份认证时,有效的提升了用户的认证性能.

综合表2的实验数据可知,本文采用的单指触摸手势进行用户身份认证时,可以有效降低合法用户的错误拒绝率及非法用户的错误接受率.

7 结束语

本文通过智能手机采集手势轨迹的位置及压力信息,并采用平均分段的方法对手势序列进行分段,对采集的手势数据序列提取6维特征.手势认证系统会选择合适的CHMM结构为每个手势用户建立参考模型用于认证.通过CHMM算法与DTW算法、SVM算法对比的仿真实验结果可知,基于连续隐马尔可夫模型的智能手机手势识别身份认证系统具有更好的识别效果.

[1] Shabrina N,Isshiki T,Kunieda H.Fingerprint authentication on touch sensor using phase-only correlation method[C].International Conference of Information and Communication Technology for Embedded Systems,2016:85-89.

[2] Kim D,Jung Y,Toh K A,et al.An empirical study on iris recognition in a mobile phone[J].Expert Systems with Applications,2016,54(7):328-339.

[3] Shi Xiang-bin,Li Fu-zhen,Zhang De-yuan.Method for face recognition using sparse encoding the mandatory[J].Mini Micro Systems,2017,38(2):381-385.

[4] Li Dao-feng,Zhang Xiao-ping,Zhong Cheng,et al.Hierarchical identity based signature scheme in the case of lattice LWE[J].Mini Micro Systems,2016,37(1):96-99.

[5] Morgen B.Voice biometrics for customer authentication[J].Biometric Technology Today,2012,(2):8-11.

[6] Wang Kai-jie,Yang Tian-qi.Gait recognition based on column vector and SVM[J].Computer Engineering and Applications,2015,51(7):169-173.

[7] Cheng H,Dai Z,Liu Z,et al.An image-to-class dynamic time warping approach for both 3D static and trajectory hand gesture recognition[J].Pattern Recognition,2016,55(7):137-147.

[8] Muhammad P,Devi S A.Hand gesture user interface for smart devices based on mems sensors [J].Procedia Computer Science,2016,93(7):940-946.

[9] Antal M,Bokor Z,Szabó L Z.Information revealed from scrolling interactions on mobile devices[J].Pattern Recognition Letters,2015,56(4):7-13.

[10] Martinez-Diaz M,Fierrez J,Galbally J.Graphical password-based user authentication with free-form doodles[J].IEEE Transactions on Human-Machine Systems,2015,7(3):1-8.

[11] Jain A,Kanhangad V.Exploring orientation and accelerometer sensor data for personal authentication in smartphones using touchscreen gestures [J].Pattern Recognition Letters,2015,68(12):351-360.

[12] Nader J,Alsadoon A,Prasad P W C,et al.Designing touch-based hybrid authentication method for smartphones [J].Procedia Computer Science,2015,70(1):198-204.

[13] Ali M L,Monaco J V,Tappert C C.Hidden markov models in keystroke dynamics[C].Student-Faculty Research Day,2015:58-65.

[14] Pang Yong-chun,Sun Zi-wen,Wang Yao.Multi touch authentication algorithm based on touch screen sensor [J].Computer Application,2015,35(6):1780-1784.

[15] Shahzad M,Liu A X,Samuel A.Secure unlocking of mobile touch screen devices by simple gestures:you can see it but you can not do it[C].International Conference on Mobile Computing & Networking,2013:39-50.

[16] Quan Z H,Ji H W.Aligning and segmenting signatures at their crucial points through DTW[M].Advances in Intelligent Computing,Springer Berlin Heidelberg,2005:49-58.

附中文参考文献：

[3] 石祥滨,厉复圳,张德园.采用强制稀疏编码的人脸识别方法[J].小型微型计算机系统,2017,38(2):381-385.

[4] 李道丰,张小萍,钟 诚,等.格LWE难题下分层的基于身份的签名方案[J].小型微型计算机系统,2016,37(1):96-99.

[6] 王开杰,杨天奇.基于列质量向量和SVM的步态识别[J].计算机工程与应用,2015,51(7):169-173.

[14] 庞永春,孙子文,王 尧.基于触摸屏传感器多点触摸身份认证算法[J].计算机应用,2015,35(6):1780-1784.