基于流形结构的人脸民族特征研究

王存睿 张庆灵 段晓东 王元刚 李泽东

人脸作为重要的视觉信息在人与人交互中传递大量信息.很多系统已经能够准确的识别人脸的年龄、表情和性别等信息[1−5],人脸的人种、民族在人类学和计算视觉具有重要的实用价值.随着日益频繁的国际和地区往来,在安保、公共安全、犯罪识别、海关签证、边境口岸都具有广泛的应用价值[6−8].同时,相关研究会促进各种人脸分析识别系统对于不同人种和民族的技术公平性,使得系统具有更好的适用性,避免出现一些系统只适于部分族群而产生的技术“歧视”[8].如何利用计算机技术深入分析和挖掘人脸的群体特征及其规律,对推进和深化人脸识别技术和人类学研究也同样具有重要意义.

人种是指人类学用肤色、头发、身体结构等差异加以区分的人群.民族是指在特定地理区域和遗传因素形成的具有特定文化和语言的人群共同体.人脸的这些群体特征是人脸视觉认知中先于年龄、性别和表情识别的最重要的人脸信息之一.神经科学研究表明,人脸的人种特征是人脸最先识别的特征.如图1所示,在80∼120ms首先识别人脸的人种属性,接下来在150ms识别人脸年龄和性别等特征进行认知[9].体质人类学也对人脸的人种和民族特征进行了大量研究,采集大量不同人种和民族数据通过人体测量学对人脸几何特征进行统计分析[10−11].体质人类学对人脸长度、角度等进行测量构建相应的指标体系,这些指标体系支撑了体质人类学的发展.随着机器视觉和人脸分析技术不断发展,进一步完善体质人类学对提高民族特征指标体系具有有效性,通过结合数据构建科学的指标体系对体质人类学研究具有重要科学意义.Bledsoe[12]最早利用面部几何特征之间的距离和比率,分析了白种人的面部特征;Kanade[13]对眼角、嘴巴和下巴等面部特征之间几何关系,在一个自建的20个白种人数据库上进行了分析;Brunelli等[14]通过47个样本的白人数据库,研究了人脸部件几何结构(例如鼻子长度、嘴巴宽度和下巴形状等)之间的匹配关系,研究表明,通过人脸的几何特征可以有效地判别和分析人脸的民族特征.此外,人脸的族群特征由于相互融合,同一人脸可以包含多个人种或民族的特征,这也给人脸的族群特征分析带来了一定的困难.同一人种的不同民族人脸面部特征研究与不同人种的面部特征研究不同,不同人种人脸肤色和体貌特征之间差异较大,同一人种包含多个民族,同一民族人脸差异要小于人种之间的差异[15].1991年Lindsay等发现对同人种面孔的记忆力比对不同人种的要好[16],这主要由于日常接触同族人群较多,因此人们对本民族人脸认知要快于异族人群.但目前机器视觉领域中,人脸民族特征相关研究主要集中于不同人种的人脸特征差异研究,而对于同人种内的不同民族研究较少.中国属于亚裔黄种人,人口占全世界20%,是一个统一的多民族国家,由于受地域、生活方式和遗传等因素的影响形成了56个民族,并分布于我国横跨的5个时区之中[17],如何更好地利用计算机技术科学揭示和研究中国不同民族面部具有重要的科学意义.

图1 人脸识别过程中的属性识别顺序[6]Fig.1 The cognitive order of face recognition[6]

流形学习(Manifoldlearning)可从高维采样的数据空间中恢复低维的流形结构,找到高维空间中的低维流形,并求出相关映射.流形分析不仅可以实现高维数据降维,还可以可视化分析数据本质和内在规律[18].2010年Seung和Lee在Science发表的“认知的流形模式”探讨了人类视觉感知机制,证实了人类视觉神经系统可以捕获这种非线性流形结构的能力,提出视觉感知的流形假说[19].当识别人脸图像由于光照变化,表情、年龄、姿态和视觉方向产生变化,人类视觉的高维空间中会产生一个由光照、表情、年龄和姿态等变量控制的低维流形;但对于人脸民族特征是否在不同个体存在由族群特征控制的低维流形还有待进行研究.2015年文献[20]指出,人脸族群或民族特征的流形相关工作还未展开.而对于中国不同民族的人脸特征,本文作者[21−24]早期建立了中国多民族人脸数据库,并利用人脸图像特征对部分民族的人脸特征进行了前期研究,研究表明中国的不同民族面部特征间也存在多样性.人脸民族特征的流形结构研究需要建立多民族数据库.本文将通过构建多民族人脸数据对中国人脸面部民族特征的内在规律进行研究,对比体质人类学人脸面部特征的测量指标,进而研究人脸民族特征.

1 相关工作

流形学习分析人脸数据在高维空间中的低维流形是人脸识别和分析研究的热点之一.流形学习对数据进行结构学习,产生可靠的嵌入投影,将数据投射到低维的子空间表示,去除冗余信息,找到更为紧凑的本质特征表示方法.传统的流形线性子空间算法有主成分分析(Principal component analysis,PCA)[25]、线性判别分析(Linear discriminant analysis,LDA)[26]、独立成分分析(Independent component correlation algorithm,ICA)[27]、二维主成分分析(Two-dimensional principal component analysis,2DPCA)[28]、二维线性判别分析(Two-dimensional linear discriminant analysis, 2DLDA)[29]等.Tenenbaum等提出两种流形学习算法,局部线性嵌入(Locally linear embedding, LLE)和等距映射 (Isometric feature mapping, Isomap)[30],针对LLE方法矩阵分解的不稳定和对噪声敏感等缺点,拉普拉斯特征映射(Laplacian eigenmaps,LE)[31]理论于2003年被Belkin团队提出,该方法是在谱分析理论的基础上发展起来的.由于LLE和LE等非线性降维方法没有显式地给出映射关系,只能得到训练样本的低维嵌入,难以获得新样本点的低维投影,于是He等给出了局部保持投影(Locality preserving projection,LPP)[32−33]的概念,它是LE的线性化推广.因为LLE和LE具有一样的不足,He团队又针对LLE进行改进,这才有了近邻保持嵌入(Neighborhood preserving embedding,NPE)[34].詹德川等[35]在Isomap的基础上引入了集成学习方法,利用坐标相关性来度量可视化效果.何力等[36]提出了从放大因子和延伸方向两个角度出发来讨论维数约简过程中样本点改变前与新形成的对应关系.曾宪华等[37]2007年提出了基于人脑增殖学习原理的动态增殖流行学习算法. Chen等[38]在LPP的基础上进行二维推广,提出一种二维局部保持投影(Two-dimensional neighborhood preserving embedding,2DLPP)算法,直接在二维矩阵上从行方向执行维数约简操作.2011年,张大明等[39]把NPE拓展到二维,即二维近邻保持嵌入(Two-dimensional neighborhood preserving embedding,2DNPE)算法,解决了NPE可能遭遇奇异值的问题.

流形学习不仅可作为人脸识别的特征分析方法,还被用于人脸年龄和表情的语义分布结构内在规律研究[40−43],在人脸的年龄流形研究中,Guo等在2008年对人脸年龄流形结构进行研究[43],实验表明不同年龄呈现流形结构,如图2(a)所示,在0∼45岁人脸呈现均匀的流形分布,60岁以上样本流形结构分布较为混杂;在人脸的面部表情流形研究中,文献[42]在Frey人脸表情库[44]上执行Isomap,中性表情、高兴的正表情和不高兴的负表情依次在个体流形呈现如图2(b)的低维空间结构不同个体的人脸表情图像会形成不同的表情流形.续爽等在图嵌入的框架下分析人脸表情子空间,将分散于高维图像空间中的6个个体表情流形都统一到低维子空间内的一个流形上,如图2(c)所示,证实了来自不同个体的表情数据按表情的语义流形分布[45].

中国人类学学者已经通过人体测量学对我国不同民族进行了面部特征研究,进而分析各民族及族群的起源、进化和融合过程[46−47].随着数据采集设备不断发展,以人脸的二维和三维形状分析为基础的形态测量学或人体测量学[48]及几何形态测量学[49]应运而生,一些难以量化的非线性测量指标,例如不规则形状的角度、曲度、面积都可以通过相关采集设备进行计算获得相应数据.利用人脸特征点定位可以准确获得人脸各种几何特征数据,基于人脸图像和三维模型的人脸几何形态测量学成为分析人脸的重要途径之一[50].本文构建了中国分布不同区域的三个民族的人脸数据集,在此基础上,结合人类学研究文献对广西壮族、吉林朝鲜族和新疆维吾尔族体质的面部特征研究总结出20个常用人脸面部几何特征,如图3所示.通过这20个人脸几何特征分析不同民族的低维流形空间结构.这20个人脸几何特征包括面宽(x1)、下颌宽(x2)、形态面高(x3)、额头高(x4)、容貌面高(x5)、鼻宽(x6)、嘴宽(x7)、两眼外宽(x8)、眼裂宽(x9)、鼻高(x10)、两眼内宽(x11)、下脸高(x12)、眉周长(x13)、眼周长(x14)、鼻周长(x15)、嘴周长(x16)眉面积(x17)、眼面积(x18)、鼻面积(x19)、嘴面积(x20).

图3 人类学采用的人脸长度特征Fig.3 Facial length attribute in anthropology

人脸特征数据集表示为{x1,x2,···,xn},每一张人脸图像的几何特征数据可以表示为xi∈RD,D代表每个图像的特征数量.假设{x1,x2,···,xn}实际是一种d维的流形结构M嵌入到RD空间中,其中(d≪D),那么,就有可能找到一组新的低维数据{y1,y2,···,yn}来表示这组人脸几何特征数据集,其中yi∈RD.如图4所示,其中深色代表朝鲜族,中浅色代表维吾尔族,浅色代表壮族.本文将人脸数据库中的3个民族按性别分为2组,图4(a)为男性组,图4(b)为女性组,分散于Laplacian[51]和LPP[52]流形结构.

如图4所示,在体质人类学指标体系下,3个民族数据集Laplacian拉普拉斯和LPP流形空间数据分布混杂在一起,不同民族数据样本没有形成各自民族语义的子流形结构.主要由于体质人类学测量指标在主要人脸的器官及各个器官相对位置定义的几何特征维度较低,没有有效刻画民族的人脸几何特征,这些指标特征没有能够描述不同民族群体人脸特征差异性.因此未形成相应的民族语义子流形.课题组前期在人类学指标体系下对我国几个少数民族进行研究,利用AFS概念语义化在人类学指标体系下抽取人脸语义特征进行分析研究,也发现体质人类学指标对于民族属性识别率较低.因此本文主要探索以下两个问题:1)中国各民族人脸特征是否存在按民族语义分布的子流形结构.2)人脸中的哪些几何特征能够刻画人脸的民族属性.

本文将利用中国3个民族人脸数据特征研究不同民族语义流形结构.

2 多民族人脸数据集

本文为研究中国各民族的人脸特征,根据区域分布选取3个民族建立数据集.如表1所示,中国百万以上人口的民族及其地理位置,选取位于东北、西北和南部的3个民族进行分析,主要由于位于较远不同地域的民族区分度较大,同一区域内的民族可能会由于人口流动造成数据区分度较小.

表1 3个民族人口数量和比例[53]Table 1 The demographical comparison of the three ethnic groups[53]

本文采集了我国分布较远的3个民族,位于广西的壮族、新疆的维吾尔族和吉林的朝鲜族作为数据集[54].

图4 壮族(浅色)、维吾尔族(中浅色)、朝鲜族(深色)男女流形结构Fig.4 Male and female manifold structure of three ethnies(Zhuang,Uygur,Korean)

每个民族采集1http://zs.dlnu.edu.cn/minzu300face.rar00人,其中男、女各50人,从高校各民族本科生采集,采集对象年龄集中于18∼22岁,可以降低年龄因素对民族特征的影响.

为了准确采集中国多民族人脸数据库.实验室采用如图5所示的篮箱系统和多机位相机对人脸进行采集.图6为采集的3个民族人脸数据部分样本[54].本文公开采集的具有民族标记和人脸特征点的数据集为其他领域相关研究提供数据1http://zs.dlnu.edu.cn/minzu300face.rar.

图5 人脸数据采集环境Fig.5 The environment and setup for facial image collection

3 人脸特征点定位及相似度计算

人脸几何形态特征作为体质人类学分析民族特征的测量体系,主要研究基础是基于颅面的测量.其他指标,例如肤色纹理和颜色等易于受外界环境变化影响.此外,基于图像的人脸民族几何特征与人体测量学既有联系又有区别.人类学建立于对于颅面几何特征精确测量,而基于图像的人脸的特征点之间的像素点距离进行计算,不是实测的几何特征,需要进行归一化,而角度和比例特征不随人脸图像大小变化影响,具有较好稳定性.要测量长度、角度或者比例特征依赖于对人脸重要特征点的精确定位算法.

图6 三个民族正面人脸数据集Fig.6 The samples of facial images from three ethnics

本文采用Stasm算法对人脸进行标注[55].主要由于Stasm标注特征点相对较少,这样生成的其他几何特征相对规模较小.如图7所示,共77个特征点以及特征点标定的位置.

图7 本文采用人脸特征点及定位Fig.7 Facial landmark detection in this paper

4 人脸高维几何特征筛选

人脸包含高维的几何特征.人脸特征维度图示如图8所示.一张480像素×640像素的人脸包含像素特征30.72万个,但由77个特征点会生成2926个长度特征、21万余个角度特征、410万个比例特征和组成.比例特征远远高于人脸的像素特征.

图8 人脸特征维度示意图Fig.8 Feature dimension compansion of common facial attributes

设人脸特征点集合为F=[l1,l2,···,ln]T,N=77,其中长度特征为d(li,lj)=‖li−lj‖2,角度特征为

比例指数为

其中,∀li,lj,la,lb∈{l1,l2,···,ln}.

由于人脸结构基本上为左右对称,因此几何特征存在大量冗余特征.本文采用LE和LLE流形算法,对未筛选冗余特征的2926维的长度数据集进行流形分析,如图9所示.

从图9可以看出,直接采用人脸全部长度特征进行流形分析,不同民族样本流形分布混杂在一起,没有形成各自民族的子流形结构,主要由于人脸的相对左右对称存在大量冗余特征,因此需要从高维的特征中筛选掉冗余特征.考虑到特征之间的相关性和冗余性,本文利用基于空间搜索的最大相关最小冗余(Minimal redundancy maximal relevance, mRMR)算法[56−57]对几何特征进行筛选.mRMR算法使用互信息衡量特征的相关性与冗余度,并使用信息差和信息熵两个代价函数寻找特征子集,其基本思想是基于互信息的最大统计依赖准则来获得较好的特征.mRMR算法中最大相关和最小冗余定义为

其中,F为人脸几何特征,c为样本民族属性类别,I(fr,c)表示特征fr与类别c之间的互信息,I(fr,f0)表示特征fr与特征f0之间的相互信息.

给定两个随机变量x和y,设它们的概率密度分别为p(x),p(y)和p(x,y),则它们之间的互信息定义为

mRMR算法利用下式作为评价函数进行特征子集的选择

由于人脸几何特征数据维度较高,传统数据库只适用于特征维度较低的数据集.本文采用mongoDB数据库,将维度较高的角度与比例特征数据进行存储.实验中,为了提高算法效率将219450个角度特征切分22个独立数据集分别利用mRMR进行筛选,每个数据集包含角度特征9975个;将 4279275个比例特征分为455个独立的数据集,每个数据集包含比例特征9405个,如表2所示筛选的几何特征.

图9 高维人脸长度特征流形分布Fig.9 Facial face length feature manifold distribution

表2 筛选的几何特征Table 2 The selected geometric features

长度特征在mRMR特征权重值score≥0条件下,筛选出195个距离特征;在角度数据集分割为22个独立的子数据集,从每个子数据集特征权重score＞0.23的特征,共筛选出1535个角度特征,合并1535个角度特征形成新数据集继续进行筛选, mRMR权重score≥0条件下,筛选出250个角度特征;在455个的比例子数据集,本文利用mRMR分别对每个子数据集根据权重score≥0.23的标准共筛选出7124个比例特征,再利用筛选出的7124个比例特征形成新数据集继续进行计算,最终在权重score≥0条件下,筛选出500个比例特征.

根据图10中的多民族人脸流行分析流程,本文从mRMR对人脸特征筛选特征中构建3个民族人脸长度数据集、角度数据集和比例数据集,进而利用流形分析方法对不同数据集的样本空间结构进行可视化,并验证在该特征指标下是否不同民族人脸在空间中存在民族语义的子流形结构,进而用分类器验证筛选后特征的有效性.

5 不同几何特征下的人脸流形分析

本节对长度、角度及比例特征类别下的5个不同特征集合的数据集进行流形分析,观察和研究不同特征指标体系下的人脸民族的样本空间流形结构.

图10 多民族人脸流形分析流程Fig.10 The schema of multi-ethnic facialmanifold analysis

5.1 多民族人脸长度特征流形分析

人脸几何长度一直是体质人类学分析民族和族群的重要指标,77个特征点包含2926个长度特征.图4的实验数据表明,在体质人类学的人脸几何测量指标中,不同族群样本集中在低维空间子流形结构.由于其中含有冗余的长度特征,因此本文利用mRMR筛选出195个特征长度,构建包含3个民族人脸数据样本的数据集.

从2926个特征中筛选出来的195个几何长度特征,按权重进行排序.本文将每个长度的特征权重根据Score分为5部分:[0.15,0.452),[0.10,0.15), [0.05,0.10),[0.01,0.05),(0,0.05),将前4个不同权重范围的长度特征区域在表3进行显示,并与人类学的指标进行对比,其中字体加粗的鼻宽、鼻高、唇厚、口裂宽存在于筛选出的195个长度特征之中.

为了更为直观分析影响这些通过mRMR筛选的人脸几何长度的语义特征,本文将4个权重范围特征在人脸进行可视化.一类权重用19个距离特征点表示,二类权重用37个距离特征点表示,三类权重用63个距离特征点表示,四类权重用65个距离特征点表示,如图11所示.通过4个不同权重区间的长度可以观察到,如图11(a)和图11(b)所示,眉毛、眼睛和鼻子组成的T形区域的长度特征与人脸的民族特征语义相关性较强.特征描述从T形区域延伸到嘴部区域.主要表现在上唇和下唇的长宽相关性较强,这与人类学常用指标一致.

表3 mRMR筛选的4个权重范围的长度特征Table 3 The selected distance-based features by mRMR

图11 不同权重的人脸长度几何特征Fig.11 The demonstration of 4 types of distance-based features

从图11和表3可以看出,1)筛选出的权重较高,人脸长度特征与人体测量学对民族研究指标略有不同.其中人体测量学只有4个指标与mRMR算法得到的长度指标相同,其余指标没有包含在195个筛选特征集合中;2)与民族相关的人脸特征主要集中于眉眼区域和鼻翼区域,以及眉、眼睛和鼻部三者之间的距离长度;3)脸型与民族特征相关性较差,除脸型周围的特征点集合中除脸部标记耳部特征点被作为与眉部被选取外,表明脸型的颧骨周围特征点及长度都没有被选取;4)鼻头部的精细长度与民族特征相关性较强,在权重3的范围内,鼻部区域的各种长度特征被更为精细的刻画,而这鼻头部的各种几何特征度量一致被研究忽视;5)除传统人类学的鼻宽和额高,在权重4的范围内,嘴部区域与民族特征相关性较强,主要表现在上唇和下唇的长宽相关性较强,这与人类学常用指标一致.

通过mRMR从2926个特征筛选195个长度特征,本文对筛选后的数据集进行流形学习.如图12所示,采用LE拉普拉斯和LLE对数据进行流形分布可视化.其中深色代表朝鲜族,中浅色代表维吾尔族,浅色代表壮族,都能在空间内形成与民族语义相关的子流形结构分布.

按民族语义分布的子流形结构表明,3个民族人脸数据集样本在长度筛选后的特征指标中能够形成各自相对独立的子流形分布结构.也验证了筛选后长度特征的有效性,这些特征长度可以一定程度刻画不同民族的差异性.

5.2 多民族人脸角度特征流形分析

人脸角度特征点也是人脸几何特征之一.例如内外眼角角度表示眼睛的形状,耳际点与下颚角度可以一定程度表示人脸长度比例等.人脸的角度特征不仅可以表示人脸单个部件器官内部的角度,还可以表达人脸不同器官部件之间关系.在人脸77个特征点共包含219450个角度特征.采用mRMR筛选多民族人脸数据集的角度间的相关性和冗余性,并构建特征数据集进行流形分析.本文利用筛选后的角度特征通过角点和特征区域对4个权重角度的角点及其相关点集进行描述,如表4所示,并对其中特征区域进行说明.

为进一步刻画不同权重角度特征,找出能区分人脸民族属性的角度特征,本文对不同权重角度特征进行可视化,如图13所示.从这些角度特征中选取出250个权重较高的角度特征,每个角度特征可用上述距离特征(边)之间的夹角表示,并根据权重大小分为4个不同权重范围的角度特征.三角着色的“热区”是该区域角度都是权重较高的角度特征.

图13和表4表明,权重较高与民族特征相关的人脸角度特征主要是眉、眼、鼻三者之间的布局关系,人脸局部角度特征集中于眼睛开裂角度和鼻翼角度.分析结论与人脸的长度特征计算出的民族特征显著区域基本一致.

图12 筛选长度特征数据集的流形结构Fig.12 The illustration of ethnic manifold structure based on selected features

图13 不同权重的人脸角度几何特征Fig.13 The demonstration of 4 types of angular features

表4 mRMR筛选的4个权重范围的角度特征Table 4 The selected angle features by mRMR

本文采用传统的PCA和LDA对角度进行流形分析.PCA是1986年Jolliあe提出的线性降维技术.线性判别式分析LDA,也叫做Fisher线性判别. FLD由Belhumeur于1996年引入人工智能领域,其基本思想是将高维的样本投影到最佳鉴别矢量空间,从而可以达到抽取分类信息、压缩特征空间维数的效果.

采用PCA和LDA对多民族人脸角度分析结果如图14所示,角度的3个主分量张成到3维空间进行显示.3个民族的人脸数据在筛选后的民族语义描述下分布清晰,各个民族人脸角度主分量形成了按民族语义的流形结构.其中也可以发现不同民族之间也存在模糊性的样本,这也表明人脸的民族属性具有一定的模糊隶属关系.

5.3 多民族人脸几何指数特征(比例特征)分析

人类学采用指数特征对人脸进行描述.人体测量中的指数是两种测量绝对值之间的百分比关系.由于指数反映的是人体形态上的某种比例关系,与绝对值特征相比,能够较好排除因个体差异带来的比较误差,因此,在人类学群体间的比较研究中具有更为重要的意义.不同民族的各种人脸指数特征同各种绝对测量一样,也存在着相当大的变异范围.人类学家根据指数的变异范围,将指数区分为若干等级进行研究比较[58−59].

图14 角度主分量的数据流形分布Fig.14 The principal component distribution of angular features

体质人类学关于人脸研究定义了18个比例指数特征,其中15个在正面人脸,其他3个在颅侧面.正面15个指数特征如表5所示.

表5 体质人类学定义的15个正脸指数Table 5 The 15 Physical anthropological de fi nition of 15 frontal face index

本文首先利用这15个体质人类学定义的指数比例特征构建数据集,验证这些指标能否表达不同民族的人脸差异,因此通过Laplacian和Isomap对数据进行流形分析,流形分布如图15所示.

图15表明,体质人类学比例指数的流形分布按各民族语义形成了一定程度子流形结构,例如女性的Laplacian流形分布中的深色朝鲜族和浅色的壮族形成了较为完整的流形结构,而男性的维吾尔和壮族较难区分.在Isomap流形结构中,男性和女性的流形分布形成了类簇,但是深色朝鲜族与中浅色维吾尔族数据混杂在一起,没有形成明显边界的类簇.需要指出,人体测量学定义了15个正脸指数特征,而一张包含77个特征点的人脸共包括4279275个指数特征.

本文采用mRMR对人脸比例特征进行权重分析,从427万多个比例特征中找出能够区分民族属性的比例特征.因为数据维度较高,将数据高维指数特征按维度分为455个独立的子数据集,利用mRMR对每个子数据集根据score≥0.23的标准共筛选出7124个比例特征,再利用筛选出的7124个比例特征形成新数据集合并进行计算,最终在权重score≥0条件下,筛选出500个比例特征.

如图16所示,根据权重大小将部分权重较高的比例特征分为4个不同权重范围的比例特征刻画在人脸上.每个图的同一颜色代表一对长度组成的比例指数特征.

从图16可以看出,眼裂宽度、眉眼距离、鼻翼长度、鼻翼与眼内角距离以及鼻翼与眉毛距离等在每类权重特征中都出现,额宽、眼睛到嘴部距离出现频率也较高,说明这些特征对区分民族有重要作用.为提供详细的人脸指数特征说明,本文给出了权重较高的15个指数特征,如表6所示.

本文利用筛选的500个指数特征构建数据集进行流形分析.采用PCA、LDA、LE和LPP方法比例进行维数约减流形分析,如图17所示.可视的三维流形空间中3个民族的人脸比例数据分布清晰,各个民族的比例特征同样可以形成各自的聚类簇.采用拉普拉斯和LPP方法对数据进行流形分布可视化后,呈现了与民族语义相关的子流形结构分布,其中深色代表朝鲜族,中浅色代表维吾尔族,浅色代表壮族.

5.4 多民族人脸几何混合特征流形分析

人脸包含长度、角度、指数(比例)特征,这些特征都可以形成各自对民族几何特征语义描述.为探究三类特征中哪一类特征更重要,本文将三类特征混合形成数据集进行分析.

图15 壮族(浅色)、维吾尔族(中浅色)、朝鲜族(深色)男女流形结构Fig.15 The male and female manifold structure of the Zhuang(light),Uygur(middle light)and Korean(dark)

图16 不同权重的人脸比例特征Fig.16 The demonstration of types of ratio-features

将250个长度特征、500个角度特征和500个人脸比例特征进行混合,利用mRMR筛选了51个score＞0的特征.其中长度、角度和比例特征的占比分别为0%,14.6%,85.4%.总结了区分民族特征的重要指标51个,如表7所示.给出了类型(角度或指数比例)、权重值及其详细的人脸特征点计算公式.

图17 比例特征在低维空间分布图Fig.17 The distribution of ratio-features in low dimensional space

表6 不同权重的比例特征Table 6 The index features with diあerent weight

从表7可以看出,1)人脸长度特征对于民族特征影响较小,这与我们的认知相符.例如,各民族未成年的人脸与成年人脸虽然长度特征相差较大,但人可以很快识别其族群,可见人脸的长度特征对于人脸的民族特征影响较小;2)指数(比例)特征占比远大于角度特征,数量比为5.8倍.本文对表7中的角度和比例特征中的顶点和边按频度进行统计,并标记其在人脸的区域位置,得到如表8所示边和点的支持度.

从表8可以看出,最为频繁出现的是眼裂和鼻翼相关信息,如图18所示.其中鼻部和眼部特征点占比64%,加上眉部占比超过85%.说明在中国三个民族数据样本中,区分度较大区位为鼻部和眼部信息,这些部位反映了更多的民族特征信息.

由于混合特征中比例特征占比较高,本文得出如图19所示的混合特征下的流形结构,可见其分布与指数特征数据集基本一致,但更为清晰.这个研究表明人脸比例属性是描述人脸民族特征的重要指标,长度和角度对于人脸民族的特征语义表述权重较小,但融入一些比例无法描述的角度特征可以让人脸民族刻画的更为准确.

表7 长度、角度筛选出的51个人脸几何特征Table 7 The selected 51 geometric features from distance-based and angular attributes

5.5 实验分析

采用分类器对筛选的数据集进行分析,主要利用不同分类器通过对人脸的族群判别的各种分类指标来验证筛选出的不同人脸几何特征的有效性.将采集到的维吾尔族、壮族和朝鲜族的人脸图像,经过图像预处理、特征点定位、几何特征计算、特征选择等步骤,最终建立传统20个长度特征(A数据集),筛选的195个几何长度特征(B数据集)、250个几何角度特征(C数据集)、250个比例指数特征(D数据集)和有三种特征筛选出的51个混合特征数据集(E数据集)共5个数据集,将每个测试结果按性别指标较好的前两项粗体标注.其中交叉验证为10折,取各指标在交叉验证中的平均值.未验证性别对民族特征的有效性,每个数据集按性别拆分为两个数据集,采用不同的模式分类方法对其进行分类与预测,进而验证特征的有效性.类别为3个民族标记,维吾尔族、壮族和朝鲜族.

表8 混合指标中的特征边与点的频繁项集Table 8 The frequent itemsets of the characteristic edge and point in the mixed attributes

图18 指标中特征点在面部分布比例图Fig.18 The distribution of landmarks from diあerent facial area

实验硬件环境:Intel(R)Core(TM)i7-4770 CPU,8GB内存;软件环境:操作系统Win7;实验工具:Weka version 3.6[60].

图19 比例特征在低维空间分布图Fig.19 The distribution of ratio-features in low dimensional space

为便于比较各模型的性能,定义TP Rate、FP Rate、查准率 (Precision)、查全率 (Recall)、FMeasure、AUC(Area under curve)等[61]指标汇总信息.对于多分类问题,计算指标值时,假设Y={y1,y2,···,yn}是数据集的类标号集合,首先需将多分类问题分解成k个二分类问题,为每一个类y1∈y创建二类分类器,其中所有属于yi的样本都被看作正类,而其他样本被看作负类.TP代表被分类模型正确预测的正样本数,FN代表分类模型错误预测为负类的正样本数,FP代表被分类模型错误预测为正类的负样本数,TN代表被分类模型正确预测的负样本数.分类器的分类效果越好,它所对应的TP值就越高,FP越低.

式(7)表示正确分类正样本的比例.

式(8)代表错误分类负样本的比例.

式(9)代表被判定为正确分类的正类样本数占所有被正类的样本数的比例.

式(10)代表被正确分类的正类样本数占所有被判定为正类的样本数的比例.

AUC被定义为ROC曲线下的面积,也可以认为是ROC曲线下面积占单位面积的比例,AUC的取值范围在0.5∼1之间.AUC更大的分类器效果更好.F-Measure又称为F-Score,是一种统计量,常用于评价模型的好坏.

首先采用J48分类算法进行实验[62],设置剪枝的阈值0.25,实验结果如表9所示,混合特征数据集分类器指标高于其他数据集;其次不同民族男性和女性的角度特征数据集分类效果高于比例特征数据,长度特征数据集指标较差.

表9 J48交叉验证学习后结果指标Table 9 J48 cross validation results afterfeature learning

决策树J48提供的规则集可以更好理解人脸的民族特征语义描述.本文从不同数据集J48决策树中抽取其识别率最高的决策树,如图20所示.

从不同类型特征的决策树可以得到:长度数据集决策树为4层9条规则,角度数据集为3层5条规则,指数比例数据集有3层4条规则.可见角度数据集和比例数据集的决策树信息表达较优,层数均为3.从规则条数看,比例数据规则条数最为精简,而且比例指数数据集仅依靠4条分类规则就可以得到高于其他特征数据集的交叉验证的平均准确率.可见人脸的比例特征数据可以更好地对人脸特征进行描述.

本文利用Naive Bayes进行分类实验[63],如表10所示,其中Naive Bayes采用K2搜索算法,估计方法采用Simple estimator,男女混合特征数据集指标结果最好,男性比例特征数据集分类指标相对较好,女性角度数据集分类指标优于比例特征数据集结果.

表11为Naive Bayes算法分类实验[64]结果,混合指标数据集各个指标在不同性别均最好,男性比例特征数据集分类指标与角度数据集分类指标基本相当,女性数据集比例特征数据集分类指标高于角度数据集.

表12为RBFNetwork分类实验结果[65],其中随机种子数为1、最低标准偏差为0.1,混合指标数据集各个指标在不同性别均最好,男性比例特征数据集分类指标相对较好,女性角度数据集在5项指标除AUC外其他指标好于比例特征数据集.

表10 Naive Bayes实验结果Table 10 Naive Bayes experimental results

图20 不同指标下的民族判别决策树Fig.20 Ethnic classi fi cation decision trees with diあerent indicators

表13和表14是SVM的两种不同实现算法分类结果.表13采用Weka的LibSVM类库分类实验[66],其中分类类型C-SVC,核函数类型e−r|u−v|2,核函数中的degree=3,核函数中的coef0=0,cachesize=40MB.不同男性的混合特征数据集与比例数据集分类指标基本相同,女性混合特征要优于比例特征数据集.

表11 Bayes network实验结果Table 11 Bayes network experimental results

表12 RBF network实验结果Table 12 RBF network experimental results

表13 SVM中LibSVM实验结果Table 13 SVM in LibSVM experimental results

同时本文还采用了Weka中的独立的SMO(Sequential minimal optimization)[67]算法进行分类实验,SMO算法是一种用于解决SVM训练过程中所产生优化问题的算法.在SMO算法中,核函数为多项式函数.

从表14可以看出男性的混合特征数据集和比例特征数据集分类指标相同,女性混合特征数据集略微优于比例特征数据集.

为观察不同数据集对特征数量的影响,本文将特征属性按mRMR计算的权重score进行排序,依次递增特征数量,分析不同算法与特征个数的变化曲线,如图21所示.

表14 SVM中SMO实验结果Table 14 SVM in SMO experimental results

表15 不同分类算法的平均准确率(%)及方差Table 15 The average accuracy(%)and variance of diあerent classi fi cation algorithms

图21 不同类型特征增量下的准确率变化曲线Fig.21 The recongnition rates comparison based on diあerent types of features

从图21可以看出,比例特征数据集的增量特征准确率变化曲线较为平缓.各个分类算法比例特征数据集抖动相对长度和角度变化较小.这也说明,人脸几何特征中的比例特征能够更好帮助区分人脸的族群特征.

本文对比不同算法在不同数据集的交叉验证的平均准确率及方差,如表15所示.混合特征数据其平均准确率高于其他数据集,方差也在较小范围波动.表明混合特征可以更加准确有效地作为人脸民族特征分析的指标.

6 结论

本文利用流形学习分析研究中国三个民族人脸几何特征,分析分布规律和结构.首先从体质人类学采用的测量指标入手,验证了传统经验构建的低维几何描述难以形成按不同民族语义特征描述的子流形结构.为了进一步研究人脸几何特征是否存在按民族语义分布的子流形结构,本文扩充了人脸几何特征维度,并利用mRMR算法对人脸中的冗余几何特征进行筛选,在降维后的长度、角度和比例特征中分析不同民族人脸特征的流形结构,实验结果表明,民族人脸数据在子空间内可按民族语义形成流形结构,且采用该指标体系可以有效地对不同民族人脸进行分类和识别.

本文的主要工作包括:1)通过实验验证了人脸特征具有按民族语义分布的流形结构;2)提出了一种筛选和分析不同民族人脸几何特征差异的算法框架;3)提出了一套丰富和补充体质人类学指标的人脸民族几何特征测量指标集合.

本文研究得到以下人脸民族特征的数据结论: 1)人脸的比例特征相比于长度和角度是较为重要的人脸民族特征描述指标;2)嘴部和脸型对于人脸民族特征影响较小;3)眼部、鼻部和眉部区域对于人脸民族特征影响较大,占85%权重;4)鼻翼和眉眼距是最为重要的人脸民族语义指标.

此外,本文提出的多民族人脸特征分析和筛选及流形分析方法可以对其他不同民族人脸特征研究进行推广.人脸民族特征分析和体质人类学者可以根据这种方法来深入分析不同民族之间的差异特征,并可以扩充数据集,研究不同民族样本数据集下人脸几何特征的流形结构分布.

1 Calder A J,Rhodes G,Johnson M,Haxby J.The Oxford Handbook of Face Perception.Oxford:Oxford University Press,2011.

2 Bruce V,Young A.Understanding face recognition.British Journal of Psychology,1986,77(3):305−327

3 Su Lian-Cheng,Zhu Feng.Design of a novel omnidirectional stereo vision system.Acta Automatica Sinica,2006,32(1): 67−72 (苏连成,朱枫.一种新的全向立体视觉系统的设计.自动化学报, 2006,32(1):67−72)

4 O′Toole A J,Roark D A,Abdi H.Recognizing moving faces: a psychological and neural synthesis.Trends in Cognitive Sciences,2002,6(6):261−266

5 Eberhardt J L,Dasgupta N,Banaszynski T L.Believing is seeing:the eあects of racial labels and implicit beliefs on face perception.Personality and Social Psychology Bulletin, 2003,29(3):360−370

6 Kumar N,Berg A,Belhumeur P N,Nayar S.Describable visual attributes for face veri fi cation and image search.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(10):1962−1977

7 Demirkus M,Garg K,Guler S.Automated person categorization for video surveillance using soft biometrics.In:Proceedings of the 2010 SPIE 7667,biometric technology for human identi fi cation VII.Orlando,Florida,USA:SPIE,2010. Article No.76670P

8 Senior A,Pankanti S,Hampapur A,Brown L,Tian Y L, Ekin A,Connell J,Shu C F,Lu M.Enabling video privacy through computer vision.IEEE Security and Privacy,2005, 3(3):50−57

9 Ito T A,Bartholow B D.The neural correlates of race.Trends in Cognitive Sciences,2009,13(12):524−531

10 Zhang Ji-Zong.The Research of Chinese Physical Anthropology.Beijing:Science Press,2010.

(张继宗.中国体质人类学研究.北京:科学出版社,2010.)

11 Xi Huan-Jiu.Physical Anthropology.Beijing:Intellectual Property Publish House,2012.

(席焕久.体质人类学.北京:知识产权出版社,2012.)

12 Bledsoe W W.Man-Machine Facial Recognition.Panoramic Research Inc.Palo Alto,CA,Report PRI:22,1966.

13 Kanade T.Picture Processing System by Computer Complex and Recognition of Human Faces[Ph.D.dissertation]. Kyoto University,Japan,1973

14 Brunelli R,Poggio T.Face recognition:features versus templates.IEEE Transactions on Pattern Analysis and Machine Intelligence,1993,15(10):1042−1052

15 Malpass R S,Kravitz J.Recognition for faces of own and other race.Journal of Personality and Social Psychology, 1969,13(4):330−334

16 Lindsay D S,Jack P C,Christian M A.Other-race face perception.Journal of Applied Psychology,1991,76(4):587−589

17 Li Z,Duan X,Zhang Q,Wang C R,Wang Y G,Liu W Q. Multi-ethnic facial features extraction based on axiomatic fuzzy set theory.Neurocomputing,2017,242:161−177

18 Hadid A,Pietik¨ainen M.Demographic classi fi cation from face videos using manifold learning.Neurocomputing,2013, 100:197−205

19 Seung H S,Lee D D.The manifold ways of perception.Science,2000,290(5500):2268−2269

20 Fu S Y,He H B,Hou Z G.Learning race from face:a survey.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(12):2483−2509

21 Duan X D,Wang C R,Liu X D,Li Z J,Wu J,Zhang H L. Ethnic features extraction and recognition of human faces. In:Proceedings of the 2nd International Conference on Advanced Computer Control(ICACC).Shenyang,China: IEEE,2010.125−130

22 Duan Xiao-Dong,Wang Cun-Rui,Liu Xiang-Dong,Liu Hui. Minorities features extraction and recognition of human faces.Computer Science,2010,37(8):276−279,301

(段晓东,王存睿,刘向东,刘慧.人脸的民族特征抽取及其识别.计算机科学,2010,37(8):276−279,301)

23 Li Z D,Duan X D,Zhang Q L.A novel survey based on multiethnic facial semantic web.TELKOMNIKA,2013,11(9): 5076−5083

24 Duan Xiao-Dong,Li Ze-Dong,Wang Cun-Rui,Zhang Qing-Ling,Liu Xiao-Dong.Multi-ethnic face semantic description and mining method based on AFS.Chinese Journal of Computer,2016,39(7):1435−1449

(段晓东,李泽东,王存睿,张庆灵,刘晓东.基于AFS的多民族人脸语义描述与挖掘方法研究.计算机学报,2016,39(7):1435−1449)

25 Turk M,Pentland A.Eigenfaces for recognition.Journal of Cognitive Neuroscience,1991,3(1):71−86

26 Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs. fi sherfaces:recognition using class speci fi c linear projection.IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711−720

27 Bartlett M S,Movellan J R,Sejnowski T J.Face recognition by independent component analysis.IEEE Transactions on Neural Networks,2002,13(6):1450−1464

28 Yang J,Zhang D,Frangi A F,Yang J Y.Two-dimensional PCA:a new approach to appearance-based face representation and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(1):131−137

29 Li M,Yuan B Z.2D-LDA:a statistical linear discriminant analysis for image matrix.Pattern Recognition Letters, 2005,26(5):527−532

30 Tenenbaum J B,de Silva V,Langford J C.A global geometric framework for nonlinear dimensionality reduction.Science,2000,290(5500):2319−2323

31 Belkin M,Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation.Neural Computation, 2003,15(6):1373−1396

32 He X F,Niyogi X.Locality preserving projections.Neural Information Processing Systems,2004,16(4):153−160

33 He X F,Yan S C,Hu Y X,Niyogi P,Zhang H J.Face recognition using Laplacianfaces.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(3):328−340

34 He X F,Cai D,Yan S C,Zhang H J.Neighborhood preserving embedding.In:Proceedings of the 10th IEEE International Conference on Computer Vision.Beijing,China: IEEE,2005,2:1208−1213

35 Zhan De-Chuan,Zhou Zhi-Hua.Ensemble-based manifold learning for visualization.Journal of Computer Research and Development,2005,42(9):1533−1537

(詹德川,周志华.基于集成的流形学习可视化.计算机研究与发展, 2005,42(9):1533−1537)

36 He Li,Zhang Jun-Ping,Zhou Zhi-Hua.Investigating manifold learning algorithms based on magni fi cation factors and principal spread directions.Chinese Journal of Computers, 2005,28(12):2000−2009

(何力,张军平,周志华.基于放大因子和延伸方向研究流形学习算法.计算机学报,2005,28(12):2000−2009)

37 Zeng Xian-Hua,Luo Si-Wei.A dynamically incremental manifold learning algorithm.Journal of Computer Research and Development,2007,44(9):1462−1468

(曾宪华,罗四维.动态增殖流形学习算法.计算机研究与发展, 2007,44(9):1462−1468)

38 Chen S B,Zhao H F,Kong M,Luo B.2D-LPP:a twodimensional extension of locality preserving projections.Neurocomputing,2007,70(4−6):912−921

39 Zhang Da-Ming,Fu Mao-Sheng,Luo Bin.Image recognition with two-dimensional neighbourhood preserving embedding.Pattern Recognition and Arti fi cial Intelligence,2011,24(6): 810−815

(张大明,符茂胜,罗斌.基于二维近邻保持嵌入的图像识别.模式识别与人工智能,2011,24(6):810−815)

40 Li Z D,Zhang Q L,Duan X D,Wang C R,Shi Y.New semantic descriptor construction for facial expression recognition based on axiomatic fuzzy set.Multimedia Tools and Applications,2017,1:1−31

41 Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding.Science,2000,290(5500):2323−2326

42 Li Z D,Zhang Q L,Duan X D,Wei W.Semantic knowledge based on fuzzy system for describing facial expression.In: Proceedings of the 2017 Chinese Control Conference.2017: 9865−9870

43 Guo G D,Fu Y,Dyer C R,Huang T S.Image-based human age estimation by manifold learning and locally adjusted robust regression.IEEE Transactions on Image Processing, 2008,17(7):1178−1188

44 Yan S C,Xu D,Zhang B Y,Zhang H J.Graph embedding: a general framework for dimensionality reduction.In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,CA, USA:IEEE,2005,2:830−837

45 Xu Shuang,Jia Yun-De.Facial expression manifold based on expression similarity.Journal of Software,2009,20(8): 2191−2198

(续爽,贾云得.基于表情相似性的人脸表情流形.软件学报,2009, 20(8):2191−2198)

46 Li Xiao-Lin.Analysis of Morphous Characteristics of Facial Reconstruction and the Five Organs in Chinese South Five National Minorities Crowd[Master dissertation],Chongqing Medical University,China,2008

(李小林.中国南方五个少数民族人群面部五官形态特征研究[硕士学位论文],重庆医科大学,中国,2008)

47 Zhao Ming,Wen Jian-Jun,Zhao Xia,Sun Yan-Yan.An analysis on measuring data of face in 169 young students of Tibetan,Mongolian,Tu,Huis,and Han nationality.Journal of Qinghai Medical College,1995,16(3):7−8

(赵明,文建军,赵霞,孙嬿嬿.藏、蒙、土、回、汉五民族青年面部测量数据分析.青海医学院学报,1995,16(3):7−8)

48 Xi Huan-Jiu,Chen Zhao.Anthropometric Methods(Second edition).Beijing:Science Press,2010.

(席焕久,陈昭.人体测量方法.第2版.北京:科学出版社,2010.)

49 Wang X,Liu X,Zhang L.A rapid fuzzy rule clustering method based on granular computing.Applied Soft Computing,2014,24(C):534−542

50 Heo J,Savvides M.Gender and ethnicity speci fi c generic elastic models from a single 2D image for novel 2D pose face synthesis and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(12):2341−2350

51 Feng Ding-Cheng,Chen Feng,Xu Wen-Li.Detecting local manifold structure for unsupervised feature selection.Acta Automatica Sinica,2014,40(10):2253−2261

52 Wang Chao-Yun,Jiang Gang-Yi,Yu Mei,Chen Fen.Manifold feature similarity based perceptual image quality assessment.Acta Automatica Sinica,2016,42(7):1113−1124

(王朝云,蒋刚毅,郁梅,陈芬.基于流形特征相似度的感知图像质量评价.自动化学报,2016,42(7):1113−1124)

53 Huang D,Shan C,Ardabilian M,Wang Y,Chen L.Local binary patterns and its application to facial image analysis:a survey.IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews.2011,41:765−781

54 Wang Y G,Duan X D,Liu X D,Wang C R,Li Z D.Semantic description method for face features of larger Chinese ethnic groups based on improved WM method.Neurocomputing, 2016,175:515−528

55 Milborrow S,Nicolls F.Active shape models with SIFT descriptors and MARS.In:Proceedings of the 2014 International Conference on Computer Vision Theory and Applications(VISAPP).Lisbon,Portugal:IEEE,2014.380−387

56 Ding C,Peng H C.Minimum redundancy feature selection from microarray gene expression data.Journal of Bioinformatics and Computational Biology,2005,3(2):185−205

57 Peng H C,Long F H,Ding C.Feature selection based on mutual information criteria of max-dependency,max-relevance, and min-redundancy.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(8):1226−1238

58 Hong Quan,Chen Song-Can,Ni Xue-Lei.Sub-pattern canonical correlation analysis with application in face recognition.Acta Automatica Sinica,2008,34(1):21−30

(洪泉,陈松灿,倪雪蕾.子模式典型相关分析及其在人脸识别中的应用.自动化学报,2008,34(1):21−30)

59 Gao Quan-Xue,Pan Quan,Liang Yan,Zhang Hong-Cai, Cheng Yong-Mei.Face recognition based on expressive features.Acta Automatica Sinica,2006,32(3):386−392

(高全学,潘泉,梁彦,张洪才,程咏梅.基于描述特征的人脸识别研究.自动化学报,2006,32(3):386−392)

60 Bouckaert R R,Frank E,Hall M A,Holmes G,Pfahringer B,Reutemann P,Witten I H.WEKA-experiences with a java open-source project.The Journal of Machine Learning Research,2010,11:2533−2541

61 Han J W,Kamber M,Pei J.Data Mining:Concepts and Techniques(Third edition).Amsterdam:Elsevier,2011.

62 Quinlan J R.C4.5:Programs for Machine Learning.San Mateo,CA,USA:Morgan Kaufmann Publishers,1993.

63 Zhang M L,Pe˜na J M,Robles V.Feature selection for multilabel naive Bayes classi fi cation.Information Sciences,2009, 179(19):3218−3229

64 Gopnik A,Glymour C,Sobel D M,Schulz L E,Kushnir T, Danks D.A theory of causal learning in children:causal maps and Bayes nets.Psychological Review,2004,111(1): 3−32

65 Kokshenev I,Braga A P.A multi-objective approach to RBF network learning.Neurocomputing,2008,71(7−9):1203−1209

66 Joachims T.Making Large Scale SVM Learning Practical [Ph.D.dissertation].Universit¨at Dortmund,Germany,1999

67 Keerthi S S,Shevade S K,Bhattacharyya C,Murthy K R K. Improvements to Platt′s SMO algorithm for SVM classi fi er design.Neural Computation,2001,13(3):637−649