基于面部表情分析比对的智能拍摄系统

申烁志

（成都市第七中学，四川成都，610000）

基于面部表情分析比对的智能拍摄系统

申烁志

（成都市第七中学，四川成都，610000）

提出了一种基于面部表情识别及分析比对的智能趣味拍摄系统，既可用于自动抓拍最佳表情，也可用于微笑礼仪训练。主要介绍了该系统的设计思路、工作模式、工作流程、系统架构以及系统的创建过程等内容；基于Arduino开源硬件，采用Face++提供的人脸微笑识别技术，通过阿里云服务和微信平台实现了人机交互。经多次测试表明：系统稳定，具备实用性、趣味性及创新性等优势，具有广阔的应用前景。

面部表情识别；面部表情分析比对；最美魔镜；智能拍摄系统

引言

人工智能技术研究再一次掀起了科技发展的新高潮，将是未来10年的四大颠覆性技术之一[1]。预计未来人工智能将比移动互联市场大十倍。人脸表情识别技术是人工智能领域新兴的研究方向，是对人的脸部特征信息进行识别的一种生物识别技术[2]。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部分析的一系列相关技术，通常也称作人脸识别[3]。识别过程主要包括：图像采集及检测、人脸定位、特征提取和分类识别。通过面部表情识别，可以增进人机交往的友好性和智能性[4]。本课题开发了一套基于人脸面部表情识别及分析比对，而又兼具趣味性的智能拍摄系统。

本系统受童话故事启发设计，命名为“最美魔镜”。系统可特异性地捕捉使用者最美丽的表情并自动记录，同时还可作为微笑礼仪训练工具提示使用者随时保持最美丽笑容。这款“魔镜”能使人更加自信，留住自己最美的笑容。

1 系统设计思路

本课题智能趣味拍摄系统建立在面部表情识别这一人工智能技术的基础上，增加表情参数分析比对、人机交互、智能拍摄控制等功能，可实现最佳表情的自动抓拍以及微笑礼仪训练。系统的设计基于Arduino开源硬件[5]，采用了Face++提供的人脸及微笑识别技术，通过阿里提供的云服务以及微信公众平台进行人机交互，此系统为一款智能家居设备，由于融入了“魔镜”的趣味提示语音，在实用的基础上兼具趣味性。

2 系统架构

“最美魔镜”系统架构如图1所示，由Arduino Yun微控处理系统、USB摄像头、USB音响设备、超声波距离传感器、移动智能终端（如手机）以及服务器组成。其中，移动智能终端用于发布用户指令；服务器用于接收用户指令、存储包括照片在内的用户信息，并向控制器发出控制信号；USB摄像头用于拍摄并上传照片；USB音响设备用于播放语音提示；Arduino Yun微控处理系统与摄像头和音响等设备连接控制其工作状态[6]。移动智能终端需要和服务器进行通信连接，可以在智能手机等移动终端上安装APP软件（系统测试阶段采用微信公众平台测试号），采用无线通信器实现移动设备与服务器的连接，使得拍摄系统可以实现人机交互。简易搭建的系统实物图如图2所示，在镜子上方安装USB摄像头，在镜子右下角安装超声波距离传感器，而左下角是USB音响以及Arduino Yun主控板。

图1 “最美魔镜”系统架构组成图

图2 “最美魔镜”简易系统实物图

3 系统工作流程

该系统共有三种工作模式，分别是：（1）上传标准最美微笑照（模式1）；（2）拍摄最美笑脸（模式2）；（3）训练最美笑容（模式3），可以通过手机微信公众号（或APP软件）进行模式切换。模式详细介绍如下：

模式1：使用者镜前调整出最满意的笑容并上传，作为标准笑容，用于后期实时图像对比的参照标准；

模式2：当实时图像与标准笑容的微笑程度误差在设定范围内，自动抓拍并存储照片，播放“魔镜魔镜告诉你，你是世上最美的人”等已完成拍摄的语音提示；

模式3：系统将实时图像与标准笑容的微笑程度及姿态进行对比，通过语音提示，指导使用者调整姿态及微笑程度，训练最美笑容。

系统工作流程是：首先，手机通过微信向云服务器发送控制指令；其次，Arduino读取云服务器中的控制指令，判断模式1、模式2抑或模式3。

3.1 模式1

若Arduino判断指令为模式1，按以下流程工作：

（1）Arduino向摄像头发送指令，摄像头拍照并将照片回传Arduino；

（2）Arduino控制音箱播放相应提示语音；

（3）Arduino调用距离传感器测距信息作为标准距离；

（4）Arduino将摄像头回传的照片发送给云服务器；

（5）云服务器存储照片供查询，并通过调用Face++接口，获取人脸的微笑度、有无眼镜、俯视度、仰视度等标准数据，如图3所示。

图3 人脸微笑度、有无眼镜、仰视度、俯视度等参数的获取

3.2 模式2

若Arduino判断指令为模式2，按以下流程工作：

（1） Arduino调用距离传感器的距离信息并与标准距离对比；

（2）距离信息不符合设定范围要求时，Arduino控制音箱播放预录提示语音；

（3）摄像头定时拍照，并将照片传给Arduino；

（4）Arduino将照片发送给云服务器；

（5）Arduino调用照片数据并与最美标准照数据对比，眼镜、俯视、仰视等参数不符合标准误差范围时，音箱播放提示语音；

（6）有无眼镜、俯视及微笑度等均符合设定的标准误差范围时，Arduino控制音箱播放相应的预录提示语音，同时将拍摄照片发送给云服务器存储作为最美照片供查询。

3.3 模式3

若Arduino判断指令为模式3，按以下流程工作：

模式3即训练最美笑容。该模式工作流程前面与模式2的（1）～（5）相同，只有（6）有所不同：当眼镜、俯视及微笑度等参数均符合标准误差范围时，Arduino选取预录语音并控制音箱播放提示语音，照片不再发送给云服务器存储。

4 系统创建

4.1 微信平台开发

本系统申请了微信公众号（订阅号/接口测试号），在此平台上开发系统控制菜单及照片查看功能，可进行人机交互、转发指令、查询最美标准照及实时抓拍的最美照片。

4.2 面部表情识别及分析比对系统的搭建

本系统利用Face++视觉服务平台提供的云端API进一步开发而成，Face++视觉服务平台提供人脸检测、识别及面部分析视觉技术服务，人脸检测与追踪技术实现快速、准确的人像检测功能，关键点检测技术及时精确定位面部的关键区域位置，微笑分析技术精确分析图片或视频中人物是否在微笑以及相应的微笑程度。本系统调用Face++视觉服务平台的面部表情及微笑程度分析结果，进行参数间的分析比对，设定比对输出策略，从而控制系统捕捉最美微笑。

4.3 魔镜镜面（视频采集）搭建

摄像头的USB直接和Arduino的USB连接搭建拍摄系统，将摄像头固定于梳妆镜的合适位置，即搭建了魔镜镜面及拍摄部分，实现实时图像、最美微笑等的视频采集。

4.4 音响系统搭建

本系统需要进行魔镜提示音频信号的切换，通过Arduino Yun板载系统，安装外设的包文件，并输入指令即可实现用嵌入式开发板Arduino Yun控制音响的播放，自动完成魔镜提示语音信息的播放功能。

4.5 录音文件预录

要实现魔镜声音的自动切换，事先要预录魔镜抓拍成功、训练识别最美等情况下的提示语音文件，如“魔镜魔镜告诉你，你是世上最美的人”“魔镜魔镜告诉你，此时的你最美丽”“魔镜请你靠靠左”等，以便在魔镜的各个环节中由Arduino Yun自动切换播放。

4.6 测距系统搭建

搭建识别人脸偏移的测距系统可以检测出人和魔镜的距离，防止距离太近或太远而影响抓拍效果。本系统能识别的人脸偏移特性包括水平（左右）偏移和纵向（前后）偏移，其中水平偏移采用Face++提供的人脸边框识别，而纵向偏移采用的超声波距离传感器，Arduino Yun通过超声波传感器可获取目标物的距离。

4.7 系统联调和测试

在系统硬件搭建完毕，各项独立功能软件调试成功后，依次进行录音文件的导入及三种模式的系统功能联调和测试。

5 系统功能及创新性

本课题开发的基于面部表情分析比对的智能趣味拍摄系统可以实现以下功能：

（1）手机通过微信公众平台实现对魔镜工作模式的切换控制及最美照片查询功能；

（2）在上传最美标准照的模式下，系统拍摄并上传最美标准照；

（3）在抓拍最美微笑照的模式下，系统对比服务器中的最美标准照参数并自动检测抓拍最美微笑照；

（4）在最美微笑训练的模式下，系统对比服务器中的最美标准照参数，通过语音提示，指导使用者训练最美笑容。

本系统兼具智能性、趣味性和创新性，这三方面主要体现在：

（1）创新了一种最佳表情的照片自动抓拍方法，通过“镜子+摄像头+微笑度、距离、俯视度、仰视度、有无眼镜识别比对”，实现照片自动抓拍功能。镜子可以使人调整出更完美的姿态和笑容，微笑度等参数识别对比可以使摄像头抓拍出最佳姿态及笑容。

（2）创新了一种智能微笑训练的方法，通过“镜子+摄像头+微笑度、距离、俯视度、仰视度、有无眼镜识别比对”+“自动语音提示指导”，实现最美笑容姿态的日常智能训练功能。这些都是普通的手机、相机等拍摄系统简单的微笑拍摄模式不具备的功能。

（3）将照相及礼仪训练功能集成到镜子上，使人在照相时感觉更好，笑容更美，童话故事里魔镜的功能在现实生活中得以实现。

6 结束语

本研究基于Arduino开源硬件，采用Face++提供的人脸及微笑识别技术，通过服务器和微信公众平台制作出一种可以训练和拍摄最美笑容的智能趣味家居设备。该系统兼具创新性、实用性及趣味性，可供单人或多人一起使用，用于调节个人情绪和活跃气氛，还可以用于服务行业微笑礼仪训练，应用前景十分广阔。

[1]张一清. 颠覆性技术和社会变革[J]. 中国改革, 2016(04).

[2]王大伟, 周军, 梅红岩,等. 人脸表情识别综述[J]. 计算机工程与应用, 2014(02).

[3]施徐敢, 赵小明, 张石清. 人脸表情识别研究的新进展[J]. 实验室研究与探索, 2014, 33(10): 103-107.

[4]傅栩雨, 叶健东, 王鹏,等. 人脸面部表情识别[J]. 计算机与网络, 2015(10): 70-71.

[5]陈吕洲. Arduino程序设计基础[M]. 北京: 北京航空航天大学出版社, 2014.

[6]麦克罗伯茨. Arduino从基础到实践[M]. 北京: 电子工业出版社, 2013.

An Intelligent Camera System based on Analysis and Comparison on Facial Expression

SHEN Shuo-zhi
(Chengdu No.7 High School, Chengdu, Sichuan,610000, China)

An intelligent and enjoyable camera system based on recognition, analysis and comparison on facial expression is put forward, which can be used both for automatic capture of the best beautiful smile, as well as etiquette smile training for facial expression. The design idea, working mode, working process, system architecture and system establishment process are mainly introduced. Based on the Arduino open source hardware, Face++ is adopted for smile face recognition technology, and human-computer interaction is realized through the Alibaba Cloud Computing and Wechat platform. Multiple tests show that such a system is stable and has advantages in practice, enjoyment and innovation, indicating a wide application prospect.

Recognition on Facial Expression; Analysis and Comparison on Facial Expression; The Most Beautiful Magic Mirror; Intelligent Camera System

TP182

A

2095-8412 (2016) 06-1239-04

10.14103/j.issn.2095-8412.2016.06.050

申烁志(1999-)，男，成都七中高中在读。研究方向：创客智造。

E-mail: 13882266490@163.com