基于三支决策的触摸手势识别算法

2017-12-20时煜斌

重庆邮电大学学报(自然科学版) 2017年6期

关键词：手势识别率分类器

时煜斌，刘群

(重庆邮电大学计算智能重庆市重点实验室，重庆 400065)

基于三支决策的触摸手势识别算法

时煜斌，刘群

(重庆邮电大学计算智能重庆市重点实验室，重庆 400065)

为了提高人与机器人交互过程中对触摸手势的识别能力，提出一种基于三支决策的触摸手势识别算法。通过对触摸手势数据集CoST(corpus of social touch)的分析以及结合其他领域的研究，提出2种数据预处理方法“截取”和“去背景”，并从6个不同角度提取了特征，包括基本特征、基于直方图的特征、序列特征、梯度特征、接触面积特征和基于每个传感器的特征。以随机森林为分类器采用十折交叉方法进行了验证，发现不同的预处理对于不同触摸手势的识别有不同的效果。为了融合不同预处理的优势，引入三支决策的思想，将m分类问题转化为m个2分类问题，使用统计的方法计算每个二分类的三支决策阈值，按照一定的先后顺序和权重指标对经过不同预处理的分类结果进行决策筛选。仿真实验结果表明，基于三支决策的触摸手势识别算法在一定程度上达到了融合的效果，并提高了触摸手势的识别率。

触摸手势；数据预处理；三支决策；分类识别

0 引言

情感是人类独有的特征，在感知、决策、学习和处理人际关系等方面都有至关重要的作用。在人与机器人交互的过程中，给予机器人识别人类情感的能力，会使得机器人更加的人性化、智能化。未来情感机器人可被应用到机器人伙伴、远程交互以及机器人治疗[1-2]，特别是机器人治疗，有着深远的意义[3]。目前对于情感机器人交互的研究主要集中在视觉和听觉方面，而触摸行为作为一种重要的非语言的社会交流方式，却没有引起足够的关注。触摸行为就像面部表情和肢体语言一样，在人与人的交流过程中，对于建立和保持社会关系有着重要的作用[4]。对触摸行为的研究主要是通过类动物或者类人的机器人收集数据，然后分析数据进行触摸行为的分类、识别[5-6]。根据构成机器人的不同形态，当前的研究可以分为3种：模拟人工皮肤[7]、全身覆盖传感器的特殊机器人[8]和其他方式[9]。为了扩大研究者们对触摸手势的研究关注度以及促进研究进展，国际计算机学会(association for computing machinery,ACM)举办了以提高触摸手势识别率为目标的竞赛the Social Touch Gesture Challenge 2015[10]。竞赛提供了2个数据集：CoST[11](corpus of social touch)和HARRT[12](human-animal affective robot touch)，结果在the 2015 ACM International Conference on Multi-model Interaction (ICMI)上进行了公布。竞赛中，文献[13]使用深层神经网络与隐马尔可夫模型(DNN-HMMs)、几何矩以及手势级别的特征来识别数据，其中CoST达到56%的准确率，HAART达到71%的准确率。文献[14]中以压力数据图像特征、赫斯特指数、Hjorth参数、autoregressive model系数作为特征，使用随机森林作为分类器，CoST识别率达到了26%～95%，HAART识别率为60%～70%。文献[15]提出了5种特征集，使用随机森林和Boosting的组合分类器进行分类，CoST达到59%的识别率，HAART达到67%的识别率。文献[16]中提取了全局特征(如平均压力，最大压力，等)、基于channel的特征、以及sequence特征共273个特征，经过特征选择和演化，使用随机森林和支持向量机(support vector machine,SVM)进行分类，CoST达到60.8%识别率，HAART达到70.91%识别率。

本文的工作目标是提高触摸手势的识别率，通过对数据的分析，提出了2种数据预处理方法，在此基础上引入三支决策的思想，提出了一种融合不同预处理方法优势的触摸手势识别算法。三支决策是一种基于符合人类认知的决策模式，它认为人们在实际决策过程中，对于具有充分把握接受或拒绝的事物能够立即做出快速的判断；对于那些不能立即做出决策的事物，人们往往会推迟对事件的判断，即延迟决策[17]。三支决策的思想在日常生活中是比较常见的，同时广泛应用于许多领域和学科，包括医学决策[18-20]，社会判断理论[21]，统计学假设检验[22]，对等审查[23]以及管理科学[24-25]。

1 数据的处理与分析

1.1 数据集描述

本文的工作主要针对于CoST数据集，对数据集的具体介绍可以查看文献[11]。数据集中包含14种手势如表1所示，由31个测试者实施，其中每种手势2种强度，每个手势被实施6次。每一个手势数据由若干个8×8的压力矩阵帧组成，类似于视频数据。数据集分为训练集(3 524个手势数据)和测试集(1 769个手势数据)。

表1 CoST：14种手势Tab.1 14 touch gestures in CoST

1.2 数据预处理

根据CoST的实验过程和14种手势的特性，本文分析了2种噪声数据，并针对这2种噪声，提出了对应的处理方法：“截取”和“去背景”。

“截取”：由于在数据集的收集过程中，需要人为地进行手势的前后切分，所以，一些手势数据开始和结束部分存在无效的帧。我们以手势数据每一帧的最大值序列为参照进行分析，如图1所示。图1中手势“hit”的一组数据，其中有效部分仅为垂直虚线中间的部分，其他部分需要被去除掉。为了找到合适的阈值进行数据的“截取”，实验中分别以手势数据每一帧最大值序列的均值、中位数、最大值的不同比例值为阈值进行测试，其中均值和中位数的比例值为10%～150%，最大值的比例值为10%～80%，以5%为步长。为了验证不同阈值的效果，我们在经过不同阈值截取的训练数据集上提取1.3节描述的特征，以随机森林为分类器使用十折交叉验证方法进行验证，结果显示，取均值的99%左右时，具有较好的表现。因此，我们以手势数据每一帧最大值序列的均值100%比例作为最终的阈值选择。图1中，水平方向虚线代表“截取”的阈值，将数据开始和结束部分低于阈值的帧去除掉。

图1 手势“hit”每帧压力最大值序列Fig.1 Sequences of the maximum pressure value for each frame of gesture “hit”

“去背景”：一些手势由于本身的特性过于轻微或者实施的过快，很难捕捉到有效的特征信息。图2为手势“tap”原始数据的部分帧，8×8的方框代表数据的8×8矩阵，黑色区域代表压力敏感的区域，颜色越深压力越大。为了将这部分手势的有效部分凸显出来，实验中参照灰度图二值化的方法，对手势数据的每一帧的压力矩阵做了“二值化”处理，选取合适的阈值，将小于阈值的压力点作为“背景”，大于阈值的作为“前景”，保留“前景”去掉“背景”即压力置为零。实验中尝试了最大类间方差法，均值以及最大值的50%，同样在训练集上采用十折交叉进行测试，最终选择最大类间方差法作为“去背景”的阈值计算方法。图3为对应帧经过预处理后的数据。

1.3 特征提取

通过对数据的分析以及参考其他研究者的工作，本文从6个角度提取了共331个特征，其中包括基本特征、基于直方图的特征、序列特征、梯度特征、接触面积特征以及基于每个传感器的特征。

1)基本特征。这部分特征选取自文献[11]，从宏观的角度对触摸手势进行特征的提取。包括手势持续时间，手势平均压力值，最大压力值，行列平均压力值，压力变化值以及位移，详细描述可以参照文献[11]，共计24个特征。

2)基于直方图的特征。数据集CoST中触摸手势的数据为若干帧的压力矩阵，不同手势实施过程中动作、力度大小不同，则必然会使得压力的分布有所差异。为了获取不同手势压力分布的情况，本文采用图像直方图的方法来提取特征。数据集中压力值变化为0～1 023，实验中将这个区间均等划分为若干块，以手势数据中压力落在不同块里的个数为特征。文献[26]中测试了分别将区间划分为2到32块的效果，其中8块的时候具有较好的效果。

图2 手势“tap”预处理前压力矩阵图Fig.2 Frames of gesture “tap” before preprocessing

3)序列特征。每一个手势都是一个连续的过程，为了准确地对手势进行识别，提取针对手势持续过程的特征是有必要的。文献[16]中以每个手势的平均压力序列为参照，使用快速傅里叶变换(fast Fourier transformation,FFT)和离散余弦变换(discrete cosine transform,DCT)计算序列的特征，其中FFT取前16个最大频率，DCT取前25个值。本文将这种方法提取的特征和其他特征结合起来进行测试，发现这部分的特征反而会降低识别准确率。因此，我们使用统计的方法提取手势数据的序列特征。

图3 手势“tap”预处理后压力矩阵图Fig.3 Frames of gesture “tap” after preprocessing

实验中，我们分别计算了由每一帧压力矩阵的均值、最大值以及求和值组成的序列的统计指标。文中用到的统计指标包括最大值、均值、中位数、众数、极差、中程数、方差、标准差、变异系数以及峰值个数。峰值个数为序列曲线与特定阈值直线的交叉点个数，我们取了4个阈值，分别为最大值的50%、均值、中程数和中位数。一共39个特征。

4)梯度特征。为了获取手势数据中点与相邻点之间的压力差异情况，我们从压力梯度的角度进行特征的提取，计算每一帧中每个点和它相邻点(前后，上下，对角线)的压力差再取绝对值，共210个值，作为这一帧的梯度。计算由每一帧梯度的均值和最大值组成的2个序列的统计指标。共计26个特征。

5)接触面积特征。手势的实施是在一个压力敏感的模拟皮肤上进行，不同的手势因其自身的社会特性不同，和模拟皮肤的接触面积必然会不同，因此，提取接触面积特征具有必要性。接触面积的计算方法如下：每一帧的接触面积为这一帧中大于特定阈值的压力点个数。本文中分别使用了每一帧的最大类间方差法所得值、压力均值、最大值的50%作为计算接触面积的阈值。最后以由每一帧的接触面积组成的序列的统计指标，以及有着最大求和压力帧的接触面积作为手势识别的特征，一共42个特征。

6)基于每个传感器的特征。获取手势压力数据的模拟皮肤包含8×8个压力传感器，手势的变化均由这64个传感器来捕获，从每个传感器的角度来进行手势特征的提取，可以在一定程度获取到更细致全面的信息。提取方法如下：计算每个传感器在整个手势持续过程中的压力的均值、平均压力的变化值以及压力值大于所在帧最大类间方差法阈值的次数占总帧数的比例，共计192个特征。

1.4 分类分析

由1.2节可知，本文一共提出2种数据预处理的方法，由这2种预处理方法的组合我们可以得到4种预处理方案。数据集经过不同预处理方案处理可以得到如下4个数据集：原始数据集、“截取”后数据集、“去背景”数据集和“截取”并“去背景”后数据集。我们首先在训练集进行不同预处理得到以上4个数据集并分别提取特征，然后以随机森林为分类器，采用十折交叉的方法分别进行验证。其中随机森林是利用多棵决策树对样本进行训练并预测的分类模型，具有可以处理高维度数据和训练速度快的优势，同时在Touch Challenge 2015竞赛中也有着较好的表现，因此文中选择随机森林作为实验的分类器。表2描述了在训练集上使用4种预处理方案后分类的查全率。由表2可以发现，不同的预处理方案对于不同手势的识别有着不同的效果，例如其中差别较大的手势“squeeze”经过“截取”后有将近5%的提升。为了融合不同预处理的优势，本文提出了一种基于三支决策的触摸手势识别算法。

表2 训练集上4种预处理后十折交叉分类的查全率Tab.2 Recall of 10-fold cross validation on train set with 4 different preprocessing %

2 基于三支决策的触摸手势识别算法

受启发于姚一豫教授序贯性三支决策[27]的思想，本文在4种预处理方案的基础上提出了基于三支决策的触摸手势识别算法。由于三支决策解决的是“2分类”问题，因此，实验中需要将本文的“m分类”问题转换为m个“2分类”问题。

2.1 三支决策阈值

图4描述了三支决策的模型[28]。

图4 三支决策模型Fig.4 Model of three-way decisions.

根据阈值(α,β)和概率Pr(X|[x])决策域被划分为接受域(positive，POS)、边界域(boundary，BND)和拒绝域(negative，NEG)3个域，如公式1所示。

POS(α,β)(X)={x∈U|Pr(X|[x])≥α}

BND(α,β)(X)={x∈U|β

(1)

NEG(α,β)(X)={x∈U|Pr(X|[x])≤β}

在使用三支决策解决现实的决策问题时，选择合理的α和β阈值是最关键的一步。文献[29]提出了一种自适应求三支决策中决策阈值的算法。本文实验中尝试了这种算法，但是无法得到合理的阈值，总是出现边界域过宽或过窄的情况，根据文献[29]的方法调整参数后也不能解决，因而，本文使用统计的方法来计算阈值。

首先使用weka平台API weka.classifiers.Classifier.distributionForInstance计算分类的条件概率，通过leave-one-out的方式在训练集上获取阈值计算的样本，进而分析样本中概率的分布情况得出最后的阈值。表3为手势“slap”的二分类经过4种预处理的概率分布情况，按照真阳性(true positive,TP)，真阴性(true negative,TN)，假阳性(false positive,FP)和假阴性(false negative,FN)进行统计。可以发现每个二分类器中TP部分概率值的各项指标要大于FP，TN和FN部分，而FN部分概率值的各项指标要小于TP，FP和TN部分。实验中我们分析了其余手势的情况，发现具有相同的规律。因此，我们认为分类器在TP部分和FN部分做出的决策分别是有充分把握的接受和有充分把握的拒绝，而在FP和TN部分为不能确定的决策，并在TP部分的统计指标中选取α值，在FN部分的统计指标中选取β值。经过实验测试，我们最终以TP部分第一分位数作为α值，以FN部分的第三分位数作为β值。

2.2 m个二分类的决策

m个二分类融合4种预处理的决策方法如表4所示，共有m个二分类，每个二分类都可通过4种预处理方案得到的数据集训练出4个分类器，其中水平方向为m个二分类，垂直方向为4种预处理方案。按照文献[27]中的理论，序贯性决策的顺序是基于信息粒度的，本文中无法得到4种预处理方案在信息粒度上的指标，因此，我们参照在训练集上使用4种预处理后分类的F值来决定决策的顺序，“截取”→“原始数据集”→“截取”且“去背景”→“去背景”。每个二分类按照表4从左往右进行决策，如果当前分类器无法得到POS或者NEG的结果，则使用下一个分类器继续进行决策过程，直到结果不为延迟决策(BND)或者用完4个分类器。

表3 手势“slap”的二分类经过4种预处理的分类概率分布情况Tab.3 Probability distribution of two-category classification of gesture “slap” under 4 preprocessing %

表4 m个二分类融合4种预处理的决策方法Tab.4 Decision method of m two-category classification fusion 4 kinds of preprocessing

2.3 决策结果选择

在m个二分类决策结果中采取相同决策动作的二分类可能有多个，要选择出最终的预测值，则需要给每个二分类器的决策一个可以比较的权重指标。

wij=pij×confij

(2)

本文将二分类的分类条件概率pij和对应二分类在每种预处理后训练集上分类的可靠程度confij相结合，给出了每个决策的权重wij，其中i={1,2,3,…,m}表示m个二分类，j={1,2,3,4}表示4种不同预处理，文中confij取对应的分类的评价指标F值。算法过程详细描述如下所示。

算法：基于三支决策的触摸手势识别算法。

输入：训练集S、测试对象obj和总类别数M

输出：预测结果

训练过程：

对训练集进行不同的预处理并提取特征得到对应的4个数据集{S1,S2,S3,S4}。

以随机森林为分类器，训练对应的4个分类器{c1,c2,c3,c4}。

采用十折交叉的方法获取每个分类器对每种手势分类的可靠程度，即confij。

根据4.1节的方法计算每个分类器对每种手势的三支决策阈值，即(α,β)ij。

预测过程如下。

对对象obj进行不同预处理并提取特征获取4个对应的测试数据{obj1,obj2,obj3,obj4}。

记录m个二分类的三支决策状态，-1,0,1分别代表拒绝，延迟和接受

int[] decision = new int[M] ;

记录m个二分类最终决策的权重

double[] weight = new double[M];

遍历4个分类器

for i =1 to 4 do

获取分类条件概率

double[] dist=c[i].distributionForInstance(obj[i]);

遍历m个二分类

for j = 1 to M do

延迟决策时继续进行决策

if(decision[j] == 0) do

根据阈值(α,β)[i,j] 作出决策

POS：decision[j]=1;

NEG：decision[j]=-1;

BND：decision[j] =0;

计算权重指标

w=dist[j]*conf[i][j];

weight[j]=w>weight[j]?w:weight[j];

end if

end for

遍历decision[]，统计最终决策为 POS，BND以及NEG的二分类候选；

if采取 POS的候选不为空则选择候选中weight最大的作为预测结果；

if采取POS的候选为空，相同方式讨论采取BND的候选；

if采取BND的候选为空，相同方式讨论采取NEG的候选；

返回最终的预测的类别；

算法复杂度分析。根据以上的算法流程我们分步对算法的时间复杂度进行分析：①预处理与特征提取过程为O(N×R)，其中N为训练集中3 524个手势数据的总帧数，共642 431帧，R为每一帧中压力数组长度64；②训练4个分类器的时间复杂度O(v×nlog(n))，v为特征数331，n为手势个数3 524；③计算每个分类器对每种手势分类的可靠程度confij的时间复杂度为O(v×nlog(n))；④计算每个分类器对每种手势的三支决策阈值(α,β)ij的时间复杂度为O(v×n2log(n))；⑤预测阶段的时间复杂度为O(np×M)，np为4种预处理，M为总的类别数14。其中最耗时的是计算三支决策阈值的阶段，之所以如此，是因为我们使用了leave-one-out的方式。算法的空间复杂度为O(v×n)。

2.4 实验结果

将算法和单独使用某种预处理的分类效果进行对比，表5为查全率的对比结果，其中算法对于手势“grab”，“massage”，“pinch”，“stroke”和“tickle”的识别有了一定的提升，并且平均查全率高于所有使用单独预处理方法的分类效果。表6对比了查准率的结果，识别率有所提升的手势有“pat”，“rub”，“scratch”和“tap”，同时平均查准率也高于使用单独预处理方法的分类效果。

表5 测试集上的分类查全率Tab.5 Classification recall on test set %

每种预处理对手势识别的作用，因手势自身特性的不同，并非都是正向的提升效果，部分手势经过预处理后反而降低了识别率。出于融合不同预处理方案优势的目的，本文提出了基于三支决策的触摸手势识别算法，算法采用序贯性三支决策的思想，将4种预处理方案按照其在训练集上作用后的识别率高低进行决策顺序的排列，由高到低，旨在让决策过程层层补充，以达到融合不同预处理优势的效果。通过以上的实验结果可以说明，本文算法一定程度上提高了手势的分类识别率，具有融合4种预处理优势的效果。

表6 测试集上的分类查准率Tab.6 Classification precession on test set %

表7将本文算法结果和在CoST数据集上进行触摸手势研究工作中的其他文献结果进行了对比，文献[16]具有最高的识别率60.8%，本文的算法效果优于文献[13-15]的结果，接近于文献[16]的结果。与文献[16]相比，本文算法对于手势“grab”，“hit”，“massage”，“pinch”，“poke”，“press”和“slap”的识别具有更好的效果。

3 总结

本文通过对触摸手势数据的分析，提出了2种数据预处理的方法，组合2种方法得到了4种预处理的方案。为了融合不同预处理的效果，本文提出了一种基于三支决策的触摸手势识别算法，通过表5和表6的分类评价指标可以说明本文的算法在一定程度上融合了不同预处理的优势，提高了触摸手势的识别率。

表7 实验结果对比Tab.7 Comparison of experimental results %

在未来的工作中，本文算法需要改进的地方如下：①每个二分类的三支决策阈值计算需要进一步研究提出更合理的方案；②未来可能会找到其他有效的数据预处理方法，如何决定每个二分类的决策顺序，需要继续研究。

[1] CHANG J, MACLEAN K, YOHANAN S. Gesture Recognition in the Haptic Creature[C]//L Naish. Lecture Notes in Computer Science. Berlin: Springer Berlin Heidelberg, 2010: 385-391.

[2] SILVERA T D, RYE D, VELONAKI M. Interpretation of Social Touch on an Artificial Arm Covered with an EIT-based Sensitive Skin[J]. International Journal of Social Robotics, 2014, 6(4):489-505.

[3] 刘欣.基于表情认知的服务机器人情感计算研究[D].北京：北京科技大学,2015.

LIU Xin. Service Robot’s Affective Computing based on Facial Expression Cognition [D]. Beijing: University of Science and Technology Beijing, 2015

[4] VINCIARELLI A, PANTIC M, BOURLARD H, et al. Social signals, their function, and automatic analysis: a survey[C]//Proceedings of the 10th international conference on Multimodal interfaces. CHANIA, CRETE, Greece: ACM, 2008: 61-68.

[5] HAANS A, IJSSELSTEIJN W. Mediated social touch: a review of current research and future directions[J]. Virtual Reality, 2006, 9(2): 149-159.

[6] HERTENSTEIN M J, VERKAMP J M, KERESTES A M, et al. The communicative functions of touch in humans, nonhuman primates, and rats: a review and synthesis of the empirical research.[J]. Genetic Social & General Psychology Monographs, 2006, 132(1):5-94.

[7] DAHIYA R S, METTA G, VALLE M, et al. Tactile sensing: from humans to humanoids[J]. IEEE Transactions on Robotics, 2010, 26(1):1-20.

[8] STIEHL W D, BREAZEAL C, HAN K H, et al. The huggable: a therapeutic robotic companion for relational, affective touch[C]//ACM SIGGRAPH 2006 emerging technologies.Las Vegas,Nevada,USA:ACM,2006:15.

[9] COONEY, M.D, NISHIO S, ISHIGURO H. Recognizing Affection for a Touch-based Interaction with a Humanoid Robot[C] //Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on. Vilamoura, Algarve, Portugal: IEEE, 2012: 1420-1427.

[10] JUNG M M, CANG X L, POEL M, et al. Touch Challenge '15: Recognizing Social Touch Gestures[C] //ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM on International Conference on Multimodal Interaction, 2015:387-390.

[11] JUNG M M, POPPE R, POEL M, et al. Touching the Void-Introducing CoST: Corpus of Social Touch[C] //Proceedings of the 16th International Conference on Multimodal Interaction. Istanbul, Turkey: ACM, 2014: 120-127.

[12] YOHANAN S, MACLEAN K E. The Role of Affective Touch in Human-Robot Interaction: Human Intent and Expectations in Touching the Haptic Creature[J]. International Journal of Social Robotics, 2012, 4(2):163-180.

[13] HUGHES D, FARROW N, PROFITA H, et al. Detecting and identifying tactile gestures using deep autoencoders, geometric moments and gesture level features[C] // ACM on Inter national Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:415-422.

[14] ALTUGLU T. B, ALTUN K. Recognizing Touch Gestures for Social Human-Robot Interaction[C]//ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:407-413.

[15] GAUS Y F A, OLUGBADE T, JAN A, et al. Social Touch Gesture Recognition using Random Forest and Boosting on Distinct Feature Sets[C]// ACM International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:399-406.

[16] TA V C, JOHAL W, PORTAZ M. The Grenoble system for the social touch challenge at ICMI 2015[C]// ACM on International Conference on Multimodal Interaction. Seattle, Washington, USA: ACM, 2015:391-398.

[17] 刘盾.三支决策与粒计算[M].北京:科学出版社, 2013.

LIU Dun. Three-Way Decisions and Granular Computing [M]. Beijing: Science Press, 2013.

[18] LURIE J D, SOX H C. Principles of medical decision making [J]. Spine, 1999, 24(5): 493-498.

[19] PAUKER S G, KASSIRER J P. The threshold approach to clinical decision making [J]. New England Journal of Medicine, 1980, 302(20): 1109-1117.

[20] SCHECHTER C B. Sequential analysis in a Bayesian model of diastolic blood pressure measurement[J]. Medical Decision Making, 1988, 8(3): 191-196.

[21] SHERIF M, HOVLAND C I. Social judgment: Assimilation and contrast effects in communication and attitude change [M]. London: Yale University Press, 1961.

[22] WALD A. Sequential tests of statistical hypotheses [M]. Breakthroughs in Statistics. New York: Springer, 1992.

[23] WELLER A C. Editorial peer review: Its strengths and weaknesses [M]. New Jersey: Information Today, Inc, 2001.

[24] WOODWARD P W, NAYLOR J C. An application to Bayesian methods in SPC[J]. The Statistician, 1993, 42(4): 461-469.

[25] GOUDEY R. Do statistical inferences allowing three alternative decisions give better feedback for environmentally precaution nary decision-making [J]. Journal of Environ mental Management, 2007, 85(2): 338-344.

[26] van WINGERDEN S, UEBBING T J, JUNG M M, et al. A neural network based approach to social touch classification[C]// /Proceedings of the 2014 workshop on Emotion Representation and Modelling in Human-Computer-Interaction-Syst ems. Istanbul, Turkey: ACM, 2014: 7-12.

[27] YAO Y. Granular Computing and Sequential Three-Way Decisions[C]//International Conference on Rough Sets and Knowledge Technology 2013. Halifax, NS, Canada: Springer Berlin Herdelberg, 2013: 10-27.

[28] LIU D, YAO Y Y, LI T R. Three-way decision-theoretic rough sets[J]. Computer Science, 2011, 38(1): 246-250.

[29] JIA X Y, LI W W, SHANG L, et al. An adaptive learning parameters algorithm in three-way decision-theoretic rough set model [J]. Acta Electronica Sinica, 2011, 39(11):2520-2525.

The Chongqing postgraduate scientific research and innovation projects of China(CYS16161)

Algorithmoftouchgesturerecognitionbasedonthree-waydecisions

SHI Yubin, LIU Qun

Chongqing key laboratory of computational intelligence, Chongqing University of Posts and Telecommunications, Chongqing 400065, P.R. China)

In order to improve the recognition ability of the touch gesture in the interaction between human and robot, an algorithm of touch gesture recognition based on three-way decisions is proposed. Through the analysis of touch gesture data set CoST (Corpus of Social Touch) and combining with other fields of study, we put forward two data preprocessing methods, "cutout" and "instant mask", and extract features from six different perspectives including basic features, histogram-based features, sequence features, gradient-based features, contact area features and channel-based features. Using random forest as classifier and validating with 10-fold cross method, it is found that different preprocessing methods have different effects on the recognition of different gestures. In order to combine the advantage of different preprocessing, three-way decisions is introduced, and the m-category classification problems are changed into m two-category classification problems. The three-way decisions’ thresholds for each two-category classification problem are calculated by statistical method. According to a certain order and indicators, the classification results through different preprocessing are screened. The experimental results show that the algorithm achieves a certain degree of fusion effect and improves the recognition rate of the touch gesture.

touch gesture; preprocessing; three-way decisions; classification

10.3979/j.issn.1673-825X.2017.06.013

2016-12-08

2017-06-17

时煜斌 596798506@qq.com

重庆市研究生科研创新项目(CYS16161)

TP181

1673-825X(2017)06-0792-09