基于大间隔双线性分类器进行亲子关系验证*

秦晓倩，谭晓阳，陈松灿

1.南京航空航天大学计算机科学与技术学院，南京2100162.淮阴师范学院城市与环境学院，江苏淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09



基于大间隔双线性分类器进行亲子关系验证*

秦晓倩1,2，谭晓阳1+，陈松灿1

1.南京航空航天大学计算机科学与技术学院，南京210016
2.淮阴师范学院城市与环境学院，江苏淮安223300

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(04)-0524-09

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant No. 61373060 (国家自然科学基金); the Natural Science Foundation of Jiangsu Province under Grant No. BK2012793 (江苏省自然科学基金); the Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20123218110033 (高等学校博士学科点专项科研基金); the Natural Science Foundation of the Jiangsu Higher Education Institutions under Grant No. 13KJD520002 (江苏省属高校自然科学基金).

Received 2015-05,Accepted 2015-07.

CNKI网络优先出版: 2015-07-10, http://www.cnki.net/kcms/detail/11.5602.TP.20150710.1711.002.html

摘要：目前机器学习算法已经能够很好地理解单张人脸图像，但是探究多个主体之间的关系仍然是计算机视觉领域的一大挑战。父母-孩子关系是家庭关系的核心部件，研究这一关系对促进人工智能加深对人类社会的理解有重要影响。为此，通过在互联网上搜索名人及其家人的照片建立了一个目前最大的亲子关系图像数据库LKFW （labeled KinFace in the wild）。基于大间隔双线性分类器（large margin bilinear classifier，LMBC）进行亲子关系验证，其中包括从相似性度量、分类器设计这两个方面来探究孩子和父母之间的空间结构依赖关系。算法借助嵌入核的二次规划进行求解，在KinFaceW和LKFW亲子关系数据库上都达到了比最好性能更好或相当的性能。

关键词：亲子验证；双线性分类器；人脸验证

1　引言

使用人脸图像进行亲子关系验证是计算机视觉领域近期出现的一个新兴而富有挑战的问题。所谓亲子关系指的是父子、父女、母子和母女关系。亲子关系验证的应用包括基于人脸图像的逃犯身份确认，提高人脸识别的性能[1-2]，社会媒体分析[3]和寻找失踪儿童[4]等。

对亲子关系进行验证这一问题其实是受计算机视觉领域中一般的人脸验证任务触发。最近的研究表明，机器学习算法已经能够很好地理解单张人脸图像，在LFW数据库上，人脸验证的性能已经达到了比人还要高的99.15%[5]。但是，直接将现有的针对单主体人脸的技术用于处理多实体关系的人脸识别存在很大问题，主要原因是在亲子验证任务中给定的两张人脸有可能具有不同的性别和年龄，研究人员面对的任务正是要验证这样具有不同性别和年龄的主体是否具备父女或者母子关系。

第一个进行亲子关系验证的是Fang等人[6]，他们首先定位到人脸上的关键部位，然后抽取出诸如灰度值、皮肤颜色、梯度直方图等特征，最后使用KNN （K-nearest neighbor）分类器进行人脸图像对的验证。

除了使用上述特征进行亲子验证之外，研究者们还使用了各种其他的特征，包括表示眼睛、嘴巴和鼻子等局部块匹配度的DAISY特征[4]，基于空间金字塔的特征描述子[7]和属性[8]等。而文献[9]则借助从LFW中抽取的辅助数据集来构造新的亲子关系图像的特征表达。

文献[10-11]融合了多种特征表示亲子人脸图像。Xia等人[12-13]使用迁移学习的方法进行亲子关系验证，该方法基础是，相较于年老父母，孩子更倾向于和年轻父母有更加相似的外观。基于此观察，他们利用父母年轻时的图像作为孩子和年老父母图像的桥梁。但在实际应用中，获得父母年轻时的图像是较为困难的。

最近，Lu等人[14]提出了基于邻域的度量学习方法（neighborhood repulsed metric learning，NRML），该方法通过学习获得一个度量，在此度量下那些具有亲子关系的图像被拉近，而那些在邻域内不具有亲子关系的图像被推远。

针对亲子关系验证问题，研究者们创建了一些用于评价算法性能的公开数据库，这些数据库中的图像都来自于网络且包含4种亲子关系。目前已知公开的亲子数据库有KinFaceW-I[14]、KinFaceW-II[14]、CornellKin[6]和UB KinFace[13]数据库，分别有533对、1 000对、150对和90对亲子图像。

本文通过在互联网上搜索名人及其家人的照片构建一个目前最大的亲子关系图像数据库LKFW （labeled KinFace in the wild）。使用大间隔双线性分类器（large margin bilinear classifier，LMBC）进行亲子关系验证。本文方法的主要思想是使用双线性函数来度量父母和子女的相似度，并将具有亲子关系的图像对和那些没有亲子关系的图像对尽量分开。算法借助嵌入核的二次规划进行求解，优势在于实现起来较为简单。

2　亲子数据库

目前已经公开的亲子数据库中，KinFaceW-II[14]包含的亲子图像对数最多，但其中每对亲子主体对象都来自于同一张图像，在此数据库上获得的模型可能存在一定偏好，因为亲子图像具有相似的光照条件，而非亲子图像的光照条件明显不同，这将直接影响最终分类器的性能，在后面的实验中将看到这一点。除此之外，在实际应用中，无法保证要验证的主体对象来自同一张图像。

其次，目前所有的对亲子数据库中包含的关系都限定于父子、父女、母子和母女，缺少父母-儿子或父母-女儿这样的核心家庭结构。而在现实生活中，如在进行失踪儿童身份确认时往往会有父母双方的图像，因此没有任何理由拒绝考虑这种核心家庭结构关系。

针对上述两个问题，通过搜索明星、政客等及其父母或孩子的照片创建了一个公开亲子数据库LKFW。和LFW相类似，在图像收集过程中，对姿态、光照、表情、背景、人种等没有施加任何约束条件，也没有限制具有亲子关系的主体对象来自于同一张图像。另外，根据日常生活观察，孩子在年幼时的面部外观变化较大，在收集亲子图像时没有对孩子的年龄情况进行特殊的限定。最终，收集到1 232个人的图像。

为了进行亲子关系验证，首先使用人脸检测器在原始图像上标出人脸并人工标注出人眼的位置。再将图像规整化为64×64像素的灰度图。图1展示了数据库的收集过程和最终数据库中包含的图像对/组示例。图中F、M、S和D分别表示父亲、母亲、儿子和女儿。

LKFW数据库不仅包含对亲子关系而且还有父母-孩子的组核心家庭关系，因此该数据库不仅可以被用来进行对亲子关系学习，也可以被用于分析探讨组核心家庭关系。表1比较了LKFW数据库和其他几个数据库。

Fig.1 Process of constructing LKFW and some image examples of database图1　LKFW收集的过程和包含的图像对/组示例

经统计，本文创建的LKFW数据库包含的父子、父女、母子和母女关系各有308、272、226和231对。另外，还基于主体对象的人种信息对每种亲子关系进行了划分，图2展示了LKFW的统计信息。

Table 1 Comparison of LKFW database and other kinship databases表1　LKFW和其他亲子数据库的比较

3　亲子验证模型

一般的人脸识别问题旨在衡量同一个主体的不同图像之间的相似度。但是亲子验证的研究对象是两个或多个不同的主体，而这些主体又可能具有不同的性别（如父女关系和母女关系），年龄跨度也较大。为了挖掘出父母和子女之间的空间结构关系，考虑用大间隔双线性分类器来解决这一问题。方法的核心思想是使用双线性函数来度量父母和子女的相似性，这样做的优势是能充分考查二者的特征空间关系，另外模型能有效地使用嵌入核的二次规划求解。

3.1大间隔双线性分类模型

大间隔双线性分类模型如下所示：

其中，S表示N对亲子图像训练集；xi, yi∈Rd是第i对亲子图像对中的父母和孩子图像的列向量特征；zi表示第i对图像的标号，用1表示(xi, yi)图像对具有亲子关系，用-1表示(xi, yi)图像对不具有亲子关系。需要说明的是，一对亲子图像可能来自不同的图像，因此一对图像之间的年龄差距不可能完全真实地代表实际生活中的亲子年龄差距，从而假设已知每张图像在对关系中扮演的角色。

模型的目标是要学习一个转换矩阵，在此转换矩阵的作用下，xi, yj(i=j)被判为正类，xi, yj(i≠j)被判为负类。本文的大间隔双线性分类模型如下：

其中，W是一个d×d的矩阵；C是平衡参数，用以平衡模型在训练集上的性能和推广能力；ξi是松弛变量；||·||F表示F范数；dw(xi, yi)用于衡量图像对(xi, yi)的相似度，具体而言，使用dw(xi, yi)=xiTWyi。

3.2模型的优化求解

本文用二次规划来求解模型，其基本思想是首先将原问题转换为对偶问题。

Fig.2 Statistical information of LKFW database图2　LKFW数据库的统计信息

式（1）的拉格朗日表达式为：

其中，αi和βi是拉格朗日乘子。在分别对W、b和ξi求导后，获得：

现在，式（1）的对偶形式为：

式（6）是典型的二次规划问题，并且通过观察发现，其中的特征向量都是以内积的形式出现，可以很容易地嵌入核。本文实验中使用了高斯核。

优化获得了αi后，使用式（3）计算获得W，再使用所有对应的αi≠0的训练样本来计算b。算法1列出了大间隔双线性分类器模型的优化求解流程。

算法1大间隔双线性分类器（LMBC）

输入：训练集S={(xi, yi, zi)| i=1, 2,…, N}，平衡参数C，高斯核函数的宽度参数γ。

输出：转换矩阵W和偏置b。

步骤1优化式（6）中的二次规划问题；

步骤2使用式（3）获得W；

步骤3对所有的对应的αi≠0的训练样本，计算bi=xTiWyi

步骤4求bi的均值作为b。

步骤5输出W和b。

3.3模型的时间复杂度分析

大间隔双线性分类器模型的求解包括优化式（6）中的二次规划问题和W、b的计算。二次规划问题的时间复杂度为O(N3)，计算W和b的时间复杂度为O(N)，因此算法的时间复杂度为O(N3)。

4　实验

为了分析本文方法的性能，在LKFW和Kin-FaceW上与NRML[14]、PDFL[9]、PDFL+NRML[9]方法进行了对比。下面是详细的实验结果。

4.1实验设置

4.1.1特征表示

共抽取LBP[15]、LE[16]、SIFT[17]和TPLBP[18]4种特征来表示人脸图像。每种特征的抽取方法和文献[14]中的相同。

（1）LBP特征

每张人脸被划分为大小为16×16像素且相互之间没有重叠像素的4×4个块，每个块抽取256维的直方图特征，因此一共有16个256维的特征向量，每张人脸最终被表示为一个4 096维的特征向量。

（2）LE特征

对人脸中的每个像素抽取它的邻域像素作为该像素值的特征表示，在实验中，抽取r×8个像素（r= 1，2）。对所有训练集上的这些向量，使用K-means将他们划分为M个原型，每张人脸即可被编码为一个M维的直方图特征向量。为了更好地利用空间信息，在每张人脸上构建多层金字塔序列形式的格子，每层将人脸划分为2L块，对每层的每块人脸，抽取其LE特征，最终每张人脸的特征是这些向量的拼接。在实验中，取M=200，L={0，2，4}，最终每张人脸被表示为4 200维的特征向量。

（3）SIFT特征

每张人脸被划分为大小为16×16像素且相互之间的重叠像素为8的7×7个块，每块抽取128维的SIFT特征，因此每张人脸被表示为6 272维的特征向量。

（4）TPLBP特征

和LBP特征类似，每张人脸被划分为大小为16×16像素且相互之间没有重叠像素的4×4个块。对每个块中的每个像素，考虑以此像素为中心大小为3×3的块和环绕在该块周围且距其为2个像素的8个块。从每个块中抽取出256维的直方图特征，最终每张人脸表示为一个4 096维的特征向量。

4.1.2参数的设置

高斯核被用来作为对样本之间的相似性度量，因为这种核比其他的核能获得更好的性能。为了调节高斯核函数的宽度参数γ和模型中的平衡参数C，在训练集上使用了四折交叉验证寻找最优参数。最终，在LKFW数据库上高斯核函数的宽度参数γ和平衡参数C分别设置为0.02和0.1。在KinFaceW数据库上γ和C分别为0.01和0.2。NRML方法在LKFW数据库上的参数设置为，邻域大小k为5，投影特征维度为30，迭代次数为10。

4.2对亲子关系的验证

4.2.1LKFW数据库上的实验结果

为了评价算法在LKFW数据库上的对亲子关系验证性能，在该库上设计了一个类似于Kin-FaceW数据库的验证协议。将数据库平均分为5个部分，每个部分包含的亲子对数几乎相同。最终的实验结果使用五折交叉验证方法。表2列出了LKFW数据库的划分情况。对每折中的人脸图像，将所有已知的亲子对看作正例。负例由那些不具备亲子关系的人脸对构成。在实验中，将每张父或母的人脸图像随机地和一张不是其真实孩子的人脸图像进行配对构造负例，并且限定每张人脸图像在负例样本中仅出现一次。

Table 2 Face number index of each fold of LKFW database表2　LKFW数据库中每折的人脸号索引

表3比较了本文方法和NRML方法在LKFW数据库上的结果。观察发现：

（1）本文大间隔双线性分类器方法比NRML方法要好，这说明通过将具有亲子关系的主体对看作正例，将不具有亲子关系的主体对看作负例，且用双线性函数度量二者之间的相似度方法学习一个转换矩阵是有效的。

（2）4种亲子关系的验证难易程度不同，其中父女关系和母女关系相对较难。在使用NRML方法时，其他3种亲子关系中的最低分类精度比父女关系的分类精度分别高3.8%(LBP)、2.7%(LE)、1.8%(SIFT) 和0.4%(TPLBP)。而在使用大间隔双线性分类器方法时，其他3种亲子关系中的最低分类精度比母女关系的分类精度分别高0.9%(LBP)、-5.2%(LE)、0.6% (SIFT)和1.3%(TPLBP)。产生这种现象的原因有可能是女儿在外观上和父母的相似性变化情况比儿子和父母的相似性变化情况复杂，这和早期的人类学研究成果[19]声称的内容相吻合。

4.2.2KinFaceW数据库上的实验结果

表4和表5比较了本文大间隔双线性分类器方法和NRML、PDFL、PDFL+NRML等几种方法在Kin-FaceW-I和KinFaceW-II上的验证精度。其中，NRML的验证精度来自于文献[14]，PDFL和PDFL+NRML的验证精度来自于文献[9]。观察发现：

Table 3 Correct verification rates of kinship on LKFW database表3　在LKFW数据库上对亲子关系的验证精度比较　%

Table 4 Correct verification rates of different methods on KinFaceW-I database表4　几种方法在KinFaceW-I库上的验证精度比较　%

Table 5 Correct verification rates of different methods on KinFaceW-II database表5　几种方法在KinFaceW-II库上的验证精度比较　%

（1）在使用相同特征的情况下，本文方法在两个数据库上大多能获得比NRML方法更好的性能，说明了本文方法的有效性，并且本文方法在KinFaceW-I数据库上获得了最好的平均性能。而PDFL方法在KinFaceW-II数据库上获得了最好的平均性能，原因可能在于其所使用的特征是在借助从LFW数据库上抽取的辅助数据集构造的，根据以往在LFW人脸验证的研究工作来看，辅助数据集可以提供一定的判别信息。

（2）几种方法在KinFaceW-II上的性能要高于在KinFaceW-I上的分类精度。原因有两个方面：首先，KinFaceW-II中的图像对都来自于同一张图像，而KinFaceW-I中的亲子对图像来自于不同的图像，因此KinFaceW-II中的亲子对具有相似的光照条件，验证难度较小。其次，KinFaceW-II中的图像对数量比较多，两个子库在同样的特征维度下，KinFaceW-II上训练获得的模型更倾向于具备良好的推广性。

4.3组亲子关系的验证

为了进一步探究孩子和父母双方的空间结构关系，本文做了另外一组实验进行组亲子关系验证。组亲子关系的验证目的是验证给定的3张图像中的主体对象是否具有父母-孩子关系。将使用LKFW数据库中包含的302组家庭图像实现这个目的，下面用LKFW-F来标示这302组图像子集。

和对亲子关系验证相类似，也设计了一个五折交叉验证来评价算法的性能。在每折图像中，考虑所有具有家庭关系的图像组为正例，负例由每对夫妻和一个不是他们孩子的孩子角色图像构成。

在组亲子关系验证中，要探究的是3个主体之间的关系，这里采用的解决方案是使用父亲-孩子和母亲-孩子的相似度均值作为父母-孩子的相似度。最后，再使用线性支持向量机（support vector machine，SVM）作为最终的分类器。对大间隔双线性分类器，使用同样的策略。

表6比较了本文方法和NRML在SIFT特征下的组亲子关系验证性能。观察发现：

Table 6 Correct verification rates of LMBC and NRML on LKFW-F database表6　大间隔双线性分类器和NRML在LKFW-F子库上的验证精度　%

（1）两种方法都获得了较好的性能，说明使用父亲-孩子和母亲-孩子的相似度均值作为父母-孩子的相似度方法的可行性。而本文方法比NRML的均值高2.8%，再一次说明方法的有效性。

（2）两种方法获得的父母-女儿的验证精度都比父母-儿子的精度要低，这与表3和表5的结论相似，但现在的数据库只有302组家庭图像，以后可以收集更大的家庭图像数据库来探究性别在外观遗传表现上的影响。

5　结束语

本文基于大间隔双线性分类器进行亲子关系验证，实验表明本文方法能达到较好的验证性能。亲子关系验证是计算机视觉领域中相对新兴的问题，随着研究的推进，其将会不断促进人们对人类视觉系统工作原理的理解。

今后的工作包括挖掘和亲子关系验证相关的具有判别性信息的先验知识，融合多种特征并通过获取特征之间的互补性判别信息来进一步提高模型的性能。

References:

[1] Wang Gang, Gallagher A, Luo Jiebo, et al. Seeing people in social context: recognizing people and social relationships [C]//LNCS 6315: Proceedings of the 11th European Conference on Computer Vision, Heraklion, Greece, Sep 5-11, 2010. Berlin, Heidelberg: Springer, 2010: 169-182.

[2] Shao Ming, Xia Siyu, Fu Yun. Identity and kinship relations in group pictures[M]//Human-Centered Social Media Analytics. Berlin, Heidelberg: Springer, 2014: 175-190.

[3] Zhou Xiuzhuang, Lu Jiwen, Hu Junlin. et al. Gabor-based gradient orientation pyramid for kinship verification under uncontrolled environments[C]//Proceedings of the 20th ACM International Conference on Multimedia, Nara, Japan, Oct 29-Nov 2, 2012. New York, USA:ACM, 2012: 725-728.

[4] Guo Guodong, Wang Xiaolong. Kinship measurement on salient facial features[J]. IEEE Transactions on Instrumentation and Measurement, 2012, 61(8): 2322-2325.

[5] Sun Yi, Wang Xiaogang, Tang Xiaoou. Deep learning face representation by joint identification-verification[J]. arXiv: 1406.4773, 2014.

[6] Fang Ruogu, Tang K D, Snavely N, et al. Towards computational models of kinship verification[C]//Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, Sep 26- 29, 2010. Piscataway, USA: IEEE, 2010: 1577-1580.

[7] Zhou Xiuzhuang, Hu Junlin, Lu Jiwen, et al. Kinship verification from facial images under uncontrolled conditions [C]//Proceedings of the 19th ACM International Conference on Multimedia, Scottsdale, USA, Nov 28-Dec 1, 2011. New York, USA:ACM, 2011: 953-956.

[8] Xia Siyu, Shao Ming, Fu Yun. Toward kinship verification using visual attributes[C]//Proceedings of the 21st International Conference on Pattern Recognition, Tsukuba, Japan, Nov 11-15, 2012. Piscataway, USA: IEEE, 2012: 549-552.

[9] Yan Haibin, Lu Jiwen, Zhou Xiuzhuang. Prototype-baseddiscriminative feature learning for kinship verification[J]. IEEE Transactions on Cybernetics, 2014, 45(11): 2535-2545.

[10] Yan Haibin, Lu Jiwen, Deng Weihong, et al. Discriminative multi-metric learning for kinship verification[J]. IEEE Transactions on Information Forensics and Security, 2014, 9 (7): 1169-1178.

[11] Hu Junlin, Lu Jiwen, Yuan Junsong, et al. Large margin multimetric learning for face and kinship verification in the wild[C]//LNCS 9005: Proceedings of the 12th Asian Conference on Computer Vision, Singapore, Nov 1-5, 2014: 252-267.

[12] Xia Siyu, Shao Ming, Fu Yun. Kinship verification through transfer learning[C]//Proceedings of the 22nd International Joint Conference on Artificial Intelligence-Vol 3. Menlo Park, USA:AAAI, 2011: 2539-2544.

[13] Shao Ming, Kit D, Fu Yun. Generalized transfer subspace learning through low-rank constraint[J]. International Journal of Computer Vision, 2014, 109(1/2): 74-93.

[14] Lu Jiwen, Zhou Xiuzhuang, Tan Y-P, et al. Neighborhood repulsed metric learning for kinship verification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 331-345.

[15] Ahonen T, Hadid A. Face description with local binary patterns: application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28 (12): 2037-2041.

[16] Cao Zhimin, Yin Qi, Tang Xiaoou, et al. Face recognition with learning-based descriptor[C]//Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2010: 2707-2714.

[17] Lowe D. Distinctive image features from scale- invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18] Wolf L, Hassner T, Taigman Y. Descriptor based methods in the wild[C]//Proceedings of the European Conference on Computer Vision Workshop, 2008.

[19] Platek S M, Raines D M, Gallup Jr G G, et al. Reactions to children’s faces: males are more affected by resemblance than females are, and so are their brains[J]. Evolution and Human behavior, 2004, 25(6): 394-405.

QIN Xiaoqian was born in 1980. She is a Ph.D. candidate at Nanjing University of Aeronautics and Astronautics, and a lecturer at Huaiyin Normal University. Her research interests include computer vision and machine learning, etc.秦晓倩（1980—），女，江苏淮安人，南京航空航天大学博士研究生，淮阴师范学院讲师，主要研究领域为计算机视觉，机器学习等。发表学术论文9篇，主持江苏省属高校自然科学基金项目等。

TAN Xiaoyang was born in 1971. He received the Ph.D. degree in machine learning from Nanjing University in 2005. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include computer vision and machine learning, etc.

谭晓阳（1971—），男，重庆人，2005年于南京大学获得博士学位，现为南京航空航天大学教授、博士生导师，CCF高级会员，主要研究领域为计算机视觉，机器学习等。

CHEN Songcan was born in 1961. He received the Ph.D. degree in communication and information systems from Nanjing University of Aeronautics and Astronautics in 1997. Now he is a professor and Ph.D. supervisor at Nanjing University of Aeronautics and Astronautics, and the senior member of CCF. His research interests include machine learning and pattern recognition, etc.

陈松灿（1961—），男，浙江宁波人，1997年于南京航空航天大学获得博士学位，现为南京航空航天大学教授、博士生导师，CCF高级会员，主要研究领域为机器学习，模式识别等。

Kinship Verification Through Large Margin Bilinear Classifierƽ

QIN Xiaoqian1,2, TAN Xiaoyang1+, CHEN Songcan1
1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China
2. School of Urban and Environmental Sciences, Huaiyin Normal University, Huai’an, Jiangsu 223300, China

+ Corresponding author: E-mail: x.tan@nuaa.edu.cn

QIN Xiaoqian, TAN Xiaoyang, CHEN Songcan. Kinship verification through large margin bilinear classifier. Journal of Frontiers of Computer Science and Technology, 2016, 10(4): 524-532.

Abstract:Recent research has demonstrated that machine learning algorithms have understood individual face image fairly well. However, one major challenge in computer vision is to investigate the relationship among multiple visual entities. Indeed parents-child relationship plays a core role in a family and understanding such kind of kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in a human world. To address this issue, this paper collects by far the biggest kinship face database named LKFW (labeled KinFace in the wild) by searching public figures and family photos from the Internet. Then this paper presents a large margin bilinear classifier (LMBC) for kinship verification by effectively exploiting the dependence structure between child and parents in a few aspects: similarity measure and classifier design. In addition, the method can be solved as a quadratic programming problem and kernel is utilized. Extensive experiments on KinFaceW and LKFW kinship databases show that the pro-book=525,ebook=79posed method can obtain better or comparable results.

Key words:kinship verification; bilinear classifier; face verification

文献标志码：A

中图分类号：TP181

doi:10.3778/j.issn.1673-9418.1505063