抑郁症肝气郁症患者面部表情及眼神的识别❋

杨焕新，于艳红，吕晓敏，王庆祥，乔明琦△

(1.山东中医药大学中医学院，济南 250355;2.山东省精神卫生中心，济南 250014; 3.齐鲁工业大学，济南 250355)

抑郁症肝气郁症患者面部表情及眼神的识别❋

杨焕新1，于艳红1，吕晓敏2，王庆祥3，乔明琦1△

(1.山东中医药大学中医学院，济南 250355;2.山东省精神卫生中心，济南 250014; 3.齐鲁工业大学，济南 250355)

目的:建立基于计算机的抑郁症肝气郁证患者面部表情及眼神模式识别系统，初步探索抑郁面部表情及眼神与抑郁情绪内心体验关系，寻求直接、准确地测评抑郁情绪的方法。方法:构建抑郁症肝气郁证患者和正常人的基本表情库，采集基本表情和视频，人工标记面部特征点，获得针对特定人的主动外观模型。使用主动外观模型对视频进行处理，跟踪每帧的面部特征点位置。结果:抑郁症肝气郁证患者的偏度值主要集中在0.5～7之间，中位数3.4左右，正常人在1.2`15之间，中位数6.3左右。结论:抑郁症肝气郁证患者的瞳孔波动较弱(目光呆滞)，瞳孔内眼角距的绝对值的偏度在3.9以下，有较大概率患有抑郁症肝气郁证，是抑郁面部表情及眼神的主要特征。

抑郁症;肝气郁证;面部表情;眼神

1 引言

抑郁症作为一种以心情低落、主动性降低、思维迟缓以及兴趣降低等精神运动性迟缓症状为主要临床表现的常见精神障碍，明显影响患者的生活质量［1］。中医对抑郁症的诊断、治疗等方面有一定的优势，抑郁症与肝主疏泄功能关系密切，研究［2］表明，肝气郁结证是抑郁症的基础证候。

抑郁症的客观测评是国内外医学界多年研究尚未解决的难题。目前国内外对抑郁情绪的测评均主要采用自评和他评量表(问卷)。寻求直接、真实、准确地测评抑郁情绪的方法是医学、心理和神经科学家一直在探索的前沿领域。本研究建立基于计算机的抑郁症肝气郁证患者面部表情及眼神模式识别系统，探索出抑郁面部表情及眼神与抑郁情绪内心体验关系，开创面部表情及眼神表达内心情绪体验研究新领域。

2 资料与方法

2.1 病例选择

选取山东省精神卫生中心住院患者18例，其中男性10例，女性8例，年龄18～60岁，平均年龄(38.9±7.8)岁。入组时纳入标准符合抑郁症国际疾病分类第十次修订本(ICD－10)诊断标准［3］中抑郁症轻、中、重度诊断标准，符合抑郁症中医肝气郁证诊断标准。主症:抑郁寡欢，兴趣减低甚或丧失，工作理家能力降低。次症:胸闷、善太息、胸胁胀痛、嗳气、纳呆、抑郁面容、倦怠乏力、性欲减低。舌脉:舌有瘀点或齿痕，脉弦、弦细，或缓弱。诊断标准:具备主症2项，次症3项或以上结合舌脉诊断为抑郁症肝气郁证;年龄在18～60岁，近2周未经过系统抗抑郁的药物治疗;虽有其他内外科疾病与抑郁症无直接联系，且这些疾患的治疗药物均非精神药物。排除标准:妊娠期、哺乳期妇女;同时患有其他精神类疾病，如躁狂症、精神分裂症等;目前患有严重呼吸、心脑血管、消化、血液系统等疾病者。

对照组18例(男10例，女8例)来自招募，年龄20～60岁，平均年龄(36.4±7.2)。所有被试者均自愿参加本研究，并由本人或法定监护人签署知情同意书，2组间年龄、性别比较差异无统计学意义。

2.2 仪器设备

相机采用Canon600D，摄像机采用索尼HDRXR550E/JVC GC－PX10，记录研究对象面部表情和动作。相机分辨率1000w像素，摄像机视频记录分辨率1080P，大于等于30fps。实验程序用VC++编制。设备布置方案:摄像机和相机位于被试前方，角度＜10度，被试者头部与采集设备等高，实验环境光照充足，蓝色背景。

2.3 刺激任务

2.3.1 模仿表情 播放中立表情以及6种基本表情(愤怒、恐惧、快乐、伤心、厌恶、惊讶)，要求被试模仿其表情，由相机拍摄记录(基本表情图片的来源，Paul Ekman(保罗·艾克曼)，METT(Micro－Expression Training Tool，微表情训练工具))。

2.3.2 回答特定问题 每个被试者均完成HAMD量表(汉密顿抑郁量表)问题，并记录其回答问题时的面部表情。

2.3.3 观看情感图片 每个被试者均完成国际情感图片系统测试，选取愉悦度评估为1～3(负性情绪图片)、4～6(中性情绪图片)、5～7(正性情绪图片)图片各10张。在每次情绪诱发过程中，每张负性、正性和中性情绪图片均呈现6 s，每一类图片随机呈现1次，每一类情绪刺激时间均为1 min。

2.4 实验流程

实验流程分为3个阶段，第一阶段采集被试面部基本表情，第二阶段进行回答特定问题任务，第三阶段进行观看情感图片任务。

2.4.1 第一阶段采集被试面部基本表情 实验前向被试者讲解规则，通过提问确认理解并签署知情同意书;被试进入实验室适应环境;坐在距离采集设备120 cm处的被试椅上;播放中立表情以及6种基本表情，要求被试者模仿其表情，由相机拍摄记录。

2.4.2 第二阶段回答特定问题任务 被试者坐在距离采集设备120 cm处的被试椅上;医生对其进行HAMD测试，采集设备记录相应视频。

2.4.3 第三阶段观看情感图片任务(同2.3.3)

2.5 数据处理

对采集的面部图像按FACS编码系统要求特征点进行人工标记，标记后图像集使用AAM(Active Appearance Model，主动外观模型)进行训练。对视频数据按10 s一段进行分割，使用特定被试对象AAM模型对其进行自动匹配，确定每帧的FACS参数，确定每段内FACS参数变化和段间参数变化率。

3 结果

3.1 抑郁症患者基本表情的采集和面部特征点标记

图1显示，每个被试对象观看Ekman的7种基本表情并进行模仿。

图1 7种表情比较

图2 特征点标记

图3 部分对齐后用于训练的人脸图像

图2 ～4显示，标记完成后依据特征点集对齐图像，使用主动外观模型对其进行训练，生成特定人的主动外观模型以提高匹配精度。

3.2 视频中面部特征点的跟踪

图5显示，对每段视频进行逐帧处理，首先使用viola jones face detector检测帧中人脸，并对包含该被试对象的特定主动外观模型进行初始化，然后依次对每帧中的人脸使用主动外观模型匹配获取各特征点的当前位置。

图4 主动外观模型的纹理(第一幅为平均脸，之后为纹理变化模式)

图5 匹配结果(视频中的一帧来自抑郁症患者)

共处理100段视频，抑郁症及正常人各50段，每段1～5 min共约15万帧。每帧中匹配结果记录格式:{帧序号，x0，y0，……，xn，yn}，(xn，yn)表示第n个点的横纵坐标(原点在左上角共68点，左右瞳孔分别为第31和36点)。

3.3 眼球运动分析

图6～图9显示，为避免头部运动的影响，使用瞳孔特征点和内眼角特征点的距离(简称瞳孔内眼角距)作为分析对象，并使用两内眼角距离进行平衡，消除不同人脸和相机拍摄距离产生的尺度差异，对每段视频中连续帧中的瞳孔位置进行记录并绘制其位置变动得到以下曲线。

以5帧为滑动窗口对瞳孔内眼角距进行平滑，并消除异常帧，得到以下曲线。

从图中可以发现，抑郁症患者的瞳孔波动较弱(目光呆滞)，为衡量两类被试者的差异，通过对数据的分析，在相邻帧变化量的绝对值样本偏度值(skewness)上，抑郁症患者和正常人存在差异(见图10、表1、2)。

图6 抑郁症患者(编号1)的瞳孔内眼角距的变化

图7 正常人(编号2)的瞳孔内眼角距的变化

图8 平滑后抑郁症患者(编号1)的瞳孔内眼角距的变化

表1 组统计量

4 讨论

表情是情绪的外部表现，情志是中医学对情绪的特有称谓［4］。所以对于抑郁症的研究，必然离不开对表情的研究。如宋炜熙［5］等将表情沮丧作为抑郁症肝郁痰阻证的主证。乔明琦团队［6］构建了基于颜色空间的猕猴面部肤色模型，并实现了面部器官的精确定位，提取了面部区域眼睛的精确信息。研究表明，眼睛是识别情绪的关键部位。建立了《雌性实验猕猴模型表情行为评价量表》［7］，并用作经前期综合征肝气逆证［8］、肝气郁证［9］实验猕猴模型造模前后表情行为的判定，对猕猴表情行为进行量化并用作证候诊断依据。

图9 平滑后正常人(编号2)的瞳孔内眼角距的变化

图10 相邻帧的瞳孔内眼角距变化量

表2 独立样本检验

抑郁症是一种常见的和缺陷的心理健康障碍，客观测量技术的缺失使诊断和治疗困难。本研究从ekman的基础表情理论［10］出发，构建抑郁症患者和正常人的基本表情库，并采集基本表情和视频。基本表情包括中立、愤怒、恐惧、快乐、伤心、厌恶、惊讶，经过人工标记面部特征点后，通过主动外观模型对其进行训练，获得针对特定人的主动外观模型。在采集完成后，使用主动外观模型对视频进行处理，跟踪每一帧的面部特征点位置并记录，然后分析特征点的位置变化，包括瞳孔的位置。

通过分析瞳孔运动数据我们发现，抑郁症肝气郁证患者和正常人的瞳孔运动存在差异，抑郁症肝气郁证患者的瞳孔运动比正常人偏弱。通过对数据的分析我们发现，在相邻帧变化量的绝对值样本偏度值(skewness)上，抑郁症肝气郁证患者和正常人存在差异。抑郁症肝气郁证患者的偏度值主要集中在0.5～7之间，中位数3.4左右，而正常人在1.2～15之间，中位数6.3左右。因此，我们可以依据瞳孔内眼角距绝对值的偏度来初步识别抑郁症肝气郁证患者，其值在3.9以下的可被认为有较大概率患有抑郁症肝气郁证，是抑郁面部表情及眼神的主要特征，初步揭示抑郁面部表情及眼神与抑郁情绪内心体验关系。

综上所述，抑郁症肝气郁证患者和正常人的瞳孔运动存在差异。运用图像识别及机器学习精确辨识表情，提供抑郁症肝气郁证自动检测的可行性，为有效地识别抑郁症提供了新途径。抑郁表情是非常重要且又亟待开展研究的问题，中医学对面部表情仍然只是现象学描述，无法揭示表情产生于变化的根本原因，应当发掘整理中医学已有的认识基础上，发挥中医“以象测脏”方法之长，借鉴现代科学方法，开展抑郁面部表情的基础和临床研究，以提供理论导向和临床指导。

［1］SAARNI SI，SUVISAARI J，SINTONEN H，etal.Impactof psychiatric disorders on health－related quality of life:general population survey［J］.British Journal of Psychiatry，2007，190 (4):326－332.

［2］陈泽奇，胡随瑜，张海男.抑郁症常见中医证候标准的研究［J］.中医杂志，2005，46(1):47－49.

［3］董景武.疾病和有关健康问题的国际统计分类:ICD－10(第十次修订本)［J］.北京:人民卫生出版社，2010.

［4］孙广仁.中医基础理论［M］.北京:中国中医药出版社，2002: 225.

［5］宋炜熙，胡随瑜，张海男，等.抑郁症肝郁气滞、肝郁痰阻证证候标准第二轮专家问卷分析［J］.中国临床康复，2004，8(3): 488－489.

［6］ DENGYI ZHANG，CHENGZHANG QU，JIANHUI ZHAO，et al. Eye Contour Extraction Method from Monocular Image with Monkey Face，2008.

［7］王海军，乔明琦，张惠云.《雌性实验猕猴情绪评价量表》建立及信度检验与效度估计［J］.中国中医基础医学杂志，2006，12(8):60－63.

［8］王海军，乔明琦，张惠云.经前期综合征(PMS)肝气逆证猕猴造模及用药血清中雌激素检测与分析［J］.中药药理与临床，2006，22(5):58－59.

［9］高冬梅，乔明琦，张惠云，等.经前期综合征肝气郁证猕猴模型评价指标［J］.中医杂志，2005，46(12):931－933.

［10］P.EKMAN.Strong Evidence for Universals in Facial Expressions: Areply toRussell.s Mistaken Critique［J］.Psychological Bulletin，1994，112(2):268－287.

Recognition of Facial Expressions and Eye in the Patients with Liver-qi Stagnation of Depression

YANG Huan－xin1，YU Yan－hong1，LV Xiao－min2，WANG Qing－xiang3，QIAO Ming－qi1△
(1．Shandong University of Traditional Chinese Medicine，Jinan 250355，China; 2．Shandong Provincial Mental Health Center，Jinan 250014，China;3．Qilu University of Technology，Jinan 250355，China)

Objective:Establishing a recognition system based on the computer of depression of Liver－qi stagnation syndrome patients with facial expressions and eye pattern，preliminary exploration depression facial expression and eyesight and depressive emotion experience，seeking method of direct and accurate evaluation of depression.Method:Construction of basic facial expressions of depression of Liver－qi stagnation patients and normal persons，collecting basic facial expressions and video，manually labeled facial feature points，and obtaining the active appearance model for a specific person.Results:the skewness of value of depression of Liver－qi stagnation mainly concentrated in between 0.5～7，median 3.4%，and between 1.2～15 median 6.3 normal people around.Conclusion:Patients with depression of Liver－qi stagnation pupil fluctuation is weak，(dull eyes)，from the inside corner of the eye pupil of absolute value of skewness in 3.9 below，there is a greater probability of suffering from depression of Liver－qi stagnation is depression facial expressions and the eyes of the main features.

Depression;Liver－qi stagnation;Facial expressions;Eye

R749.4

A

1006－3250(2017)02－0230－04

2016－08－11

国家自然科学基金青年基金项目(81102738)－抑郁症肝气郁证抑郁眼神识别及其关键指标探索;国家自然科学基金面上项目(81573829)－抑郁症肝气郁证患者抑郁眼神，面部表情和姿态多模态识别及其脑区功能定位

杨焕新(1985－)，男，山东烟台人，讲师，医学博士，从事肝藏象生理病理与情志致病机理研究。

△

乔明琦(1955－)，教授，泰山学者，博士研究生导师，从事肝藏象生理病理与情志致病机理研究，Tel:0531－89628079，E－mail:qmingqi@163.com。