人像三维特征信息采集系统的设计与实现

聂建华，刘小楠，刘昌进，李林，陈向阳

（1. 中国电子科技集团公司第三十八研究所，合肥 230088；2. 安徽省公共安全应急信息技术重点实验室，合肥 230088；3.湖北省麻城市公安局刑侦大队，湖北麻城 438300）

人像三维特征信息采集系统的设计与实现

聂建华1，2，刘小楠1，2，刘昌进1，2，李林1，2，陈向阳3

（1. 中国电子科技集团公司第三十八研究所，合肥 230088；2. 安徽省公共安全应急信息技术重点实验室，合肥 230088；3.湖北省麻城市公安局刑侦大队，湖北麻城 438300）

三维人像被认为具有光照和姿态不变的特性，学术界开始探索利用人脸的三维信息提高系统识别性能。针对人像三维特征信息获取面临的采集时间长、设备价格昂贵、点云特征提取算法难度大等问题，提出了一种基于OPENNI兼容设备开发的便携式、低成本、高速度人像三维特征信息采集系统。通过使用电动旋转平台及点云自动拼接功能，获得了360°人像三维点云数据。后期处理模块实现对点云数据的裁剪、去除离群点、修补孔洞等功能。数据分析模块通过使用快速点特征直方图与高斯曲率，获得人像的耳鼻特征区域。

模式识别与智能系统；三维特征；点特征直方图；点云；人像

0 引言

近年来，计算机视觉领域得到飞速发展，传统的基于二维图像的人像识别算法都是针对正面人像，当二维图像的俯仰角度、光照、姿态、化妆、年龄等变化时，会显著降低二维人像识别算法的性能，经常出现不能识别的情况[1]。近年来，随着科技的发展，获取三维数据越来越具有可行性，同时因为三维人像对光照和姿态不敏感等优点，人像三维信息开始受到越来越多的研究者关注[2]。

现有的三维人像采集系统，一般只具有采集功能[3]，而不具备特征提取功能，或者特征提取功能需要较长时间离线处理才能完成[4]。在人像数据中，尤其是人像头部数据中，鼻子和耳朵受表情、化妆、年龄等变化影响最小，同时三维几何信息却最为突出和丰富，但是目前还没有一种成熟的快速准确采集处理这些人像三维特征的信息系统。

本文所述系统采用兼容OPENNI的三维体感摄像头[5]，被采集对象站立于电动旋转平台上，旋转360°之后在30秒内即可获得相应的点云数据，通过后期处理模块简单处理后，使用特征提取模块完成鼻子及双耳特征区域的提取。

1 系统总体设计

人像三维特征信息采集系统采用模块化设计思路，总体架构包括人像三维信息采集与特征提取两部分，最终得到的数据包括：人像整体360°点云与特征提取得到的鼻子及双耳点云。本系统实现了人像三维信息采集、三维信息可视化、三维信息后期处理、三维特征提取、三维特征存储与检索等功能。其逻辑结构如图1所示。

图1 人像三维特征信息采集系统逻辑结构图Fig.1 Logic structure diagram of 3D Portrait Feature Information Collection System

三维体感摄像机捕获数据后，通过与其相连接的计算机进一步采集、处理与分析该数据，电动旋转平台控制人体360度旋转以获取完整人像信息。计算机数据处理单元实现数据拼接与后期处理功能，在电动旋转平台旋转过程中，计算机实时拼接捕获的数据，并通过USB端口传输至计算机，采集完成后，用户通过鼠标操作计算机，经过后期处理单元对点云数据进行适当裁剪、去除离散点与平滑后，即可进行特征提取。计算机数据分析单元实现特征提取功能，包括预处理、训练阶段、加载给定特征、查找候选集、筛选最终特征。预处理实现下采样后，计算 FPFH（快速点特征直方图）值[6]，通过加载给定特征的FPFH值即可查询得到候选集，根据高斯曲率的几何意义得到最终的待测人像三维特征点[7]。无论是数据处理过程还是数据分析过程，都可以通过三维信息可视化界面实时在显示器上查看结果，其物理结构如图2所示。

图2 人像三维特征信息采集系统物理结构图Fig.2 Physical structure diagram of 3D Portrait Feature Information Collection System

2 系统模块设计

2.1 数据处理模块设计

数据处理模块实现点云数据的采集、拼接和后期处理功能。通过软件不仅可以设定扫描模型的质量，还可以设定精确的扫描范围来提高扫描精度，实现三维表面重构、彩色纹理映射等人像三维点云数据一键式采集功能。

利用Open Scene Graph引擎开发的图形显示界面，可以将扫描得到的人体点云数据载入后进行显示，同时实现旋转、缩放以及添加光照等操作。三维信息后期处理功能包括孔洞修复、离群点及颈部以下数据删除、平滑等，后期处理后的点云数据同样可以在OSG可视化界面中实时查看。孔洞修复与平滑可以在查看点云数据时更美观，去除离群点及删除颈部以下数据，可以显著减少点云的数据量，从而加快特征提取的速度。

孔洞修复移植自开源的MeshLab相关功能[8]，效果如图3所示，图中模型来自于人体右耳后部数据，一般在数据采集时，即使旋转360°，仍然会有遮挡的角落，出现图中所示的孔洞，可以看出修复后的效果更美观更有利于观察。去除离群点采用开源的OpenMesh相关功能[9]，效果如图4所示，图中模型来自于人体头部最顶端的头发数据，可以看出很多离群点已经去除。选择并删除颈部以下数据使用OSG自带的模型选择与删除功能，效果如图5所示，图中红色区域是通过鼠标选择的贯通点云数据，删除后可以看出最少降低了50%的数据量，只需要在头部数据中寻找特征点即可。

图3 孔洞修复前与孔洞修复后效果对比图Fig.3 Comparison diagram of hole repair

图4 去除离群点前与去除离群点后效果对比图Fig.4 Comparison diagram of outliers removing

图5 删除颈部以下数据前与删除颈部以下数据后效果对比图Fig.5 Comparison diagram of data removing under neck

2.2 数据分析模块设计

数据分析模块实现了对人像三维点云数据进行特征提取的功能。通过计算具有姿态不变性的FPFH值并结合曲率、方位等信息，不需要训练大量数据，即可快速准确提取。提取后通过在点云中沿着圆形轮廓分割出相应的特征数据，并保存至电脑中，实现数据查询等功能。可视化程序可以在原始数据上实时标明特征点与特征区域，可以对特征区域单独加载，并实现缩放、平移、旋转等基础操作，方便用户查看。其软件流程图如图6所示。

FPFH值是PFH值（点特征直方图）的快速计算方法，PFH通过参数化查询点与领域点之间的空间差异，形成一个多维直方图对点的领域几何属性进行描述，每一个点有一个FPFH值，由33个浮点数构成。两个不同模型的特征点通过FPFH值进行初步定位后，使用高斯曲率精确定位特征点。根据高斯曲率的性质，如果高斯曲率等于零，该点位于平面上或者是脐点；如果高斯曲率小于零，该点位于马鞍面上；如果高斯曲率大于零，该点位于类似碗底的抛物面上，如果高斯曲率越大，则该点越尖。因此耳道和鼻尖都要选取初步定位点的邻域点中高斯曲率最大的点作为最终的特征点。

图6 数据分析模块软件流程图Fig.6 Software flow chart of the Data analysis module

3 实验结果及分析

本文实验中使用Intel Core i7-4790 CPU，主频3.60GHz，内存为4G的计算机设备，基于QT4.8.5+VS2010开发了人像三维特征信息采集与特征提取平台，完成360°人像采集需要30秒，不计算后期处理的时间，从读入后期处理后的人像头部三维点云数据到最终确定特征点平均耗时10秒。

实验结果如图7所示，列举了三位被采集对象的左右两个角度的人像三维特征提取结果。为了使特征点与特征区域更直观，用红色圆点标明特征点，用绿色标明鼻部区域，用粉色标明右耳区域，用蓝色标明左耳区域。从图中可以看出，由本算法所得的特征点已经相当精确。经过手工标定100个不同人脸的特征点，并与本算法定位的特征点比较[10]，考虑到鼻尖采集较为准确，而耳道采集由于遮挡原因数据可能不够完整，如果本文算法提取的特征点在鼻尖处在手工标定2mm领域内，在耳道处只要在其内部都认为是准确的。根据最终的结果，本文算法提取的特征点鼻尖准确度在99%以上，耳道准确度在92%以上。

图7 实验结果Fig.7 Experimental result

4 结论

（1）本文提出了一种全新的人像三维信息采集与人体局部特征提取方法，为鼻部、耳部定位与识别奠定了基础。与现有系统比较，本文所述系统降低了采集时间与设备成本、提高了采集精度与设备便携性，同时特征提取算法不需要训练集，算法计算代价小，通过使用FPFH值与高斯曲率，实现精确定位鼻尖与耳道点。虽然目前特征提取平均需要10秒，但是经过后期实验与优化，有望将提取时间进一步降低，以满足实时性要求。

（2）本文所述方法适用于其他三维特征明显的局部特征点识别。三维信息也可投影至二维平面，组合利用二维与三维信息进行特征识别与提取。本文分割提取的耳鼻局部特征，也可以利用一些全局特征描述子进行识别与检索。

[1] Irfanoglu M O，Gkberk B，Akarun L. 3D Shape-based Face Recognition using Automatically Registered Facial Surfaces[J]. 2004，4：183-186.

[2] Guo Y，Lei Y，Liu L，et al. EI3D：Expression-Invariant 3D Face Recognition based on Feature and Shape Matching[J]. Pattern Recognition Letters，2016.

[3] Roth J，Tong Y，Liu X. Adaptive 3D Face Reconstruction from Unconstrained Photo Collections[C]// Proc. IEEE Computer Vision and Pattern Recognition. 2016.

[4] Zhao X，Dellandréa E，Chen L. A 3D Statistical Facial Feature Model and Its Application on Locating Facial Landmarks[J]. Lecture Notes in Computer Science，2009，5807：686-697.

[5] Villaroman N，Rowe D，Swan B. Teaching natural user interaction using OpenNI and the Microsoft Kinect sensor[C]// Sigite' 11 ACM Special Interest Group for Information Technology Education Conference，West Point，Ny，Usa，October. 2011：227-232.

[6] 陆军，彭仲涛，董东来，等．点云FPFH特征提取优化配准算法[J]．新型工业化，2014，4（7）：75-81．

LUN Jun，PENG Zhong-tao，DONG Dong-lai，et al. The Registration Algorithm of Point Cloud Based on Optimal Extraction of FPFH Feature[J].The Journal of New Industrialization，2014，4（7）：75-81.

[7] Lisle，Lisle. Detection of zones of abnormal strains in structures using Gaussian curvature analysis[J]. Aapg Bulletin，1994，78（12）：1811-1819.

[8] Cignoni P，Callieri M，Corsini M，et al. MeshLab：an Open-Source Mesh Processing Tool.[J]. Computing，2008，1：129-136.

[9] Botsch M，Steinberg S，Bischoff S，et al. OpenMesh - a generic and efficient polygon mesh data structure[J]. Opensg Symposium，2002.

[10] 张志伟，刘亮，傅慧源．视频检索中正脸判断技术的研究[J]．新型工业化，2012，2（9）：63-68．

ZHANG Zhi-wei，LIU Liang，FU Hui-yuan. Research of Front Facial Estimation Method in Videa Retrieval[J].The Journal of New Industrialization，2012，2（9）：63-68.

Design and Implementation of 3D Portrait Feature Information Collection System

NIE Jian-hua1,2, LIU Xiao-nan1,2, LIU Chang-jin1,2, LI Lin1,2, CHEN Xiang-yang3
(1.The 38thResearch Institute of China Electronics Technology Group Corporation, Hefei 230088, China; 2. Anhui Key Laboratory of Emergency Information Technology of Public Safety, Hefei 230088, China; 3. The Public Security Bureau of Criminal Investigation Brigadehui, Hubei Macheng 438300, China)

Three dimensional portrait is considered to have the special characteristics of unchanged with light and pose, hence, the academia began to improve the performance of human face recognition by exploring the use of three-dimensional information. Aim to solve the problems of 3D portrait feature information acquisition, such as long grabbing time, expensive equipment, complex point cloud feature extraction algorithm and so on. This paper proposes a system of 3D portrait feature information collection based on OPENNI compatible device with the advantages of good portability, low cost and high speed. By using the electric rotary table and point cloud automatic stitching function, 360 degree 3D portrait point cloud data was collected. The post processing module was designed to realize the functions of point cloud data cutting, outliers removing, holes repairing and so force. The data analysis module was used to obtain the characteristic region of portraits’ ears and noses through using the Fast Point Feature Histogram and Gauss Curvature.

Pattern Recognition & Intelligent Systems; 3D feature; Point Feature Histogram; Point cloud; Portrait

聂建华，刘小楠，刘昌进，等.人像三维特征信息采集系统的设计与实现[J]. 新型工业化，2016，6（10）：61-65.

10.19335/j.cnki.2095-6649.2016.10.009

: NIE Jian-hua, LIU Xiao-nan, LIU Chang-jin, et al. Design and Implementation of 3D Portrait Feature Information Collection System[J]. The Journal of New Industrialization, 2016, 6(10)： 61-65.

安徽省科技攻关计划（1501b042216）

聂建华（1985-），男，中级工程师，机器视觉；刘小楠，博士，中国电子科技集团公司第三十八研究所；刘昌进，博士，中国电子科技集团公司第三十八研究所；李林，博士，中国电子科技集团公司第三十八研究所；陈向阳，二级警司，湖北省麻城市公安局刑侦大队