一种基于眼动输入的手机解锁方法

林亮亮，陈 洋，徐 璐

(1.西安音乐学院 现代教育技术与网络信息中心，陕西 西安 710061； 2.西安交通大学 软件学院，陕西 西安 710049；3.中国人民解放军61741部队，北京 100078)



一种基于眼动输入的手机解锁方法

林亮亮1，陈 洋2，徐 璐3

(1.西安音乐学院 现代教育技术与网络信息中心，陕西 西安 710061； 2.西安交通大学 软件学院，陕西 西安 710049；3.中国人民解放军61741部队，北京 100078)

提出了一种基于眼动输入的手机解锁方法，该方法首先使用AdaBoost级联分类器进行人脸区域检测，利用眼部特征点建立眼睛相对坐标系，进行人眼视线方位的估计；然后利用K-Means聚类算法对视场坐标系中的凝视区域进行聚类；最后使用随机生成的密码序列对视线方位进行加密。实验结果表明，该身份认证方法具有较高的认证精度和效率。

眼动输入；身份认证；手机解锁；视线方位；特征检测

林亮亮，陈洋，徐璐.一种基于眼动输入的手机解锁方法[J].西安石油大学学报(自然科学版)，2016，31(4):122-126.

LIN Liangliang,CHEN Yang,XU Lu.A mobile phone unlocking method based on eye tracking [J].Journal of Xi'an Shiyou University (Natural Science Edition),2016,31(4):122-126.

引　言

随着智能手机终端的大屏化和应用体验的不断提升，手机已成为网民主要的上网终端设备。国内对于视线输入认证方式的研究起步较晚。黄乔[1]对基于视线输入法的人机交互系统进行了研究；蒋春燕[2]对视线跟踪技术在人机交互字符输入中的应用进行了研究；崔耀等[3]在TMS320DM6446 EVM上实现了视线跟踪的打字系统；谢欢等[4]利用外接红外灯和摄像机在手机上进行了注视姿势输入方法的研究。本文提出一种基于人眼视线交互的手机身份认证方法。该方法对资源需求小，实现成本低，认证准确实时，方便易用，而且用户无需用手就可完成整个认证过程。

1　安全密码输入总体方案

基于眼动输入的身份认证方法通过使用主动形状模型(Active Shape Model，ASM)算法实时检测用户眼球的位置来判断人眼视线注视的方位，对相应视线方位所代表的密码进行输入，以避免用户密码泄露或者伪造，尽可能地提高认证精度和效率。具体过程如图1所示。

图1　基于ASM眼动输入手机安全密码过程Fig.1　Password input steps of mobile phone based on ASM eye tracking location

密码表格是用户进行密码输入的依据和视线方位的参考；图像采集：当用户在智能手机上开始使用人眼注视方位进行密码输入时，系统调用智能手机摄像头实时采集连续的用户面部图像，并交由人脸区域检测流程进行处理；人脸区域识别：使用Vioal-Jones人脸级联检测器在智能手机摄像头获取的原始图片上进行人脸区域的快速检测；人眼特征点追踪定位：将经过人脸区域检测的图像通过使用ASM主动形状模型算法预先训练，并建立通用人脸模型进行人脸面部特征点的定位；视线方位估计：利用选取的人眼特征点建立眼睛参考系，将特征点的图像坐标转换成眼睛参考系中的坐标，并以此来确定人眼视线方位；认证密码生成：利用生成的人眼视线方位来将相对应的密码字符标识进行输入。

2　人眼特征点追踪定位与检测

2.1数据收集

选用公开的MUCT数据集进行通用人脸模型的训练。由于手机平台计算资源紧张，使用较少数量的特征点可以加快运算速度，因此本文选取40个特征点进行训练。

2.2形状模型的建立

形状模型的建立是利用Procrustes方法对数据集进行对齐的过程。经过归一化处理后，数据集中各样本形状向量之间存在一定的相关性，且每一幅人脸图像都有2n维的特征，数量较大会造成计算量过大。对于这种情况，采用主成分分析(Principal Component Analysis,PCA)进行简化处理。

2.3块模型的建立

块模型是用来检测和表示数据集中不同图像上每一个特征点的局部特征。当块模型与含有面部特征的图像区域交叉相关时，就会对特征区域有一个强烈的响应。

对于数据集中第j个图像上第i个标注点，块模型的创建过程为：①在第j个图像上第i个标注点的两侧，沿着垂直于该点前后2个特征点连线的方向上分别选择m个像素以构成一个长度为2m+1的向量；②对该向量所包含像素的灰度值求导得到一个局部纹理gij；③对数据集中其他数据样本图像上第i个标注点进行同样的操作，得到第i个标注点的N个局部纹理gi1,gi2,…,giN；④求取均值

(1)

以及方差

(2)

得到第i个标注点的局部特征块模型。对其他所有的标注点均进行同样的操作，就可以得到每个标注点的局部特征块模型。这样，一个标注点新的特征g与其建立好的块模型局部特征之间的相似度量就可以用马氏距离作为匹配函数，即

(3)

2.4人脸特征检测

在通过数据集训练建立起形状模型和块模型的基础上，使用Vioal-Jones人脸级联检测器对使用智能手机摄像头获取的连续人脸图像视频序列进行人脸特征点的快速检测工作。

本文使用人脸检测区域与人脸特征之间的几何关系来设置模型的初始形状。

3　视线方位估计和安全密码生成

3.1视线方位估计

选用人眼视线范围作为视场参照系，人眼运动在正常的视觉观察过程中表现为在被观察目标上的一系列停留和停留点之间的快速转移。如果这些停留在100ms以上，称之为凝视。当人眼凝视一个静止的事物时，并不是完全静止不动的，在注视的过程中眼球仍有一些微小的运动。由于这些微小运动的存在，普遍认为没有固定不变的凝视点，称之为凝视区域。可以简单地将视场参照系划分成由M×N个凝视区域组成的矩阵形状，不同的凝视区表示视场参照系中不同的视线注视方位，如图2所示。

图2　人眼视线方位注视示意图Fig.2　Schematic diagram for sight line orientation of human eye gaze

对于M×N个凝视区域中每一个凝视区域由对应的瞳孔特征点在眼睛参照系中的点集范围来标识。为了简化计算过程，可对该点集进行聚类，求出每个点集的质心，使用质心来标识该凝视区域。

3.2密码生成

使用本文提出的视线方位估计方法定位出用户当前所注视的凝视区域，对标识该凝视区域的密码字符进行输入。另外，需解决以下2个问题：

(1)消除视线方位的同一性

视线方位的同一性是指：用户每次根据视线方位来对相应密码字符进行输入时，所注视的视线方位都是一样的。本方法采用随机乱序分布的方法来对视线方位的同一性进行消除，如图3所示。通过这样的过程使得用户每次输入密码时眼睛凝视的方位不会完全相同，从而增加了安全性，有效防止了由于正面偷窥而造成的密码猜测和身份欺骗。

图3　视线方位同一性的消除Fig.3　Elimination of sight orientation identity

(2)密码字符输入结束的判定

采用判断用户眨眼的方法对字符输入做结束判定。据相关领域统计得出，小于200 ms的短时间眨眼属于习惯性不自主眨眼，而超过200 ms的长时间眨眼属于有意识的主动眨眼。因此就可以根据手机执行前文提出的图像处理方法时的运行时间(帧/s)来设置一个眨眼时间阈值用以区分不自主眨眼和有意识的主动眨眼。

对于是否眨眼的检测，可通过由ASM主动形状模型算法得出的上下眼皮特征点在眼睛参考系统中坐标的距离来进行判断，如图2所示。眨眼过程中，上下眼皮特征点距离会不断缩小至大约为零，因此可以设置一个系数，使得上下眼皮特征点间的距离跟内外眼角特征点间的距离相关的一个阈值进行比较，可判定眨眼发生。阈值等于参数p与内外眼角特征点距离之积。经过相关试验统计，该参数可以取0.08，即当上下眼皮特征点距离小于内外眼角特征点距离的8%时，即可判定发生眨眼活动。

4　系统测试与结果分析

对手机解锁系统进行测试及实验，包括基于ASM人眼追踪定位算法对瞳孔特征点定位的准确度及效率、系统在不同凝视区域划分情况下的使用情况，以及不同密码位数对系统的影响等。

4.1测试环境

本文在训练用凝视区域质心指纹模板的过程中，共组织12人参与训练，并采用华为荣耀4X、HTC 919d及小米2作为采集平台，见表1。

表1　系统实验平台参数Tab.1　Parameters of experiment platform

4.2测试结果与分析

4.2.1系统瞳孔定位准确率和效率使用在PC平台上利用数据集训练生成的通用人脸模型分别对JAFFE人脸库和测试人群人脸图像进行测试，结果如图4所示。

图4　系统对不同图库瞳孔定位的准确率和运行时间Fig.4　Relationships between pupil location accuracy and time under different mobile hardware conditions

由图4可以看出，本文针对资源受限的智能手机平台所提出的安全密码输入方法具有较好的运行效率。用本文的方法在不同手机硬件条件下对一幅JAFFE图像进行处理的平均时间约为57 ms，帧率约为17帧/s，对一帧实时采集到的实验者图像进行处理的平均时间约为85 ms，帧率约为11帧/s。本算法在JAFFE人脸库上实现了99%的定位准确率，而且在个别面部旋转角度过大或带有黑框眼镜等情况下的定位准确率也达到了92%以上。

4.2.2视场参考系中凝视区划分对系统的影响本实验参与实验人数为8人，使用5个4位人眼视

线方位标识序列作为认证参考信息。实验者在本系统中通过使用人眼视线方位信息对给出的参考标识信息进行输入。实验平台为华为荣耀4X，实验结果如图5所示。

图5　凝视区域划分与身份认证正确率的关系Fig.5　Correct rate of identity authentication under different gaze region division forms

由图5可以看出，当凝视区数量设置为2×2、2×3、3×3时，认证系统有非常好的正确率，超过了90%。凝视区数量设置为3×4时，正确率下降为83.75%，从4×4开始，正确率下降开始加快，4×6开始已经低于50%。

为了更好地分析下降原因，需要结合训练凝视区域质心指纹模板中收集到的坐标点集数据进行分析。 如图6所示， 当凝视区数量设置为2×2、2×3、3×3时，系统正确率较高，其原因在于凝视区之间的距离大，特点明显，易于区分识别。凝视区数量设置为3×4时，正确率有所下降的原因在于认证时由于缺乏实际的方位参考点， 用户只能凭直观感受定位凝视区范围，所以会出现错误率的增大。当凝视区域划分从4×4开始，认证系统的正确率明显降低。所以本文中使用3×3的凝视区域划分设置，在保证认证系统具有较高准确率的同时尽量提升视线方位信息的复杂度。

图6　视场坐标系采用不同凝视区划分时的瞳孔信息Fig.6　Pupil coordinates under different gaze region number in visual field coordinate system

4.2.3不同密码位数下的认证准确度和效率本实验参与实验人数为8人，依次使用1～6位密码字符标识序列作为认证参考信息。实验结果如图7所示。

图7　系统在不同密码位数下的认证准确度和效率Fig.7　Identity authentication accuracy and efficiency of system under different password number

从图7中可以看出，在密码位数设置为不大于4位时，系统有着较好的正确率和效率。当位数大于4位时，认证时间有所提高，而正确率有所下降。

[1]黄乔.基于视线输入法的人机交互系统研究[J].计算机系统应用,2008(5):14-16.

[2]蒋春燕.视线跟踪技术研究及其在人机交互字符输入中的应用[D].上海：上海交通大学,2008.

[3]崔耀,何迪,于明轩,等.基于眼视线跟踪的打字系统在TMS320DM6446 EVM上的实现[J].数据采集与处理,2012,27(6):737-741.

CUI Yao,HE Di,YU Mingxuan,et al.Realization of eye-tying system based on eye-tracking on TMS320DM6446 EVM[J].Journal of Data Acquisition & Processing,2012,27(6):737-741.

[4]谢欢,赵歆波,侯阳.适用于手机的眼动输入方法研究[J].计算机与现代化,2013(4):81-85.

XIE Huan,ZHAO Xinbo,HOU Yang.Eye-input interaction for mobile phones[J].Computer and Modernization,2013(4):81-85.

[5]VOLKER Roth,KAI Richter,RENE Freidinger.A PIN entry method resilient against shoulder surfing[C].Proc.11th ACM Conference on Computer and Communications Security,Washington,DC,USA,October 2004.

[6]WARE C,MIKAELIAN H H.An evaluation of an eye tracker as a device for computer input[C].Proceedings of the SIGCHI.GI Conference on Human Factors in Computing Systems and Graphics Interface.1987:183-188.

[7]JACOB R J K.What you look at is what you get:eye movement-based interaction techniques[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.1990:11-18.

[8]KASPROWSKI P,OBER J.Eye movement tracking for human identification[C].6th World Conference BIOMETRICS 2003,London (2003).

[9]KUMAR M,GARFINKEL T,BONEH D,et al.Reducing Shouldersurfing by Using Gaze-based Password Entry[C].Technical Report CSTR 2007-05,Stanford University,Stanford 2007.

责任编辑：张新宝

A Mobile Phone Unlocking Method Based on Eye Tracking

LIN Liangliang1,CHEN Yang2,XU Lu3

(1.Modern Education Technology and Network Information Center,Xi'an Conservatory of Music,Xi'an 710061,Shaanxi,China;2.Software Institute,Xi'an Jiaotong University,Xi'an 710049,Shaanxi,China;3.Chinese People's Libration Army 61741,Beijing,China)

A mobile phone unlocking method based on eye tracking is proposed.In this method,AdaBoost cascade classifier is used for the detection of human face,and to use the feature points of the eye establishes the relative coordinates of the eye to estimate the direction of eye gaze.Then using the field of view as the human eye visual field coordinate system,we estimate the human eye sight orientation.Then the gaze regions in the view coordinate system are clustered using K-Means clustering algorithm.At last,the randomly generated password sequence is used to encrypt the direction of sight line.Experimental results show that the proposed authentication method has high authentication accuracy and efficiency.

eye movement input;authentication;mobile phone unlocking;sight orientation;feature detection

A

2016-04-05

陕西省工业科技攻关项目(编号：2015GY026)

林亮亮(1980-)，男，硕士，工程师，主要从事教育信息化、软件工程等研究。E-mail：Lin_LL@126.com

10.3969/j.issn.1673-064X.2016.04.021

TP391.4

1673-064X(2016)04-0122-05