基于可拓设计的驾驶人多模态情绪感知装置研究

费德意，冯 桑

（广东工业大学 机电工程学院，广东 广州 510006）

驾驶人的驾驶情绪状态将直接影响其行车感知与操作稳定性，因此设计一种可以对驾驶人情绪状态进行全面、准确感知与识别的车载装置已成为目前研究的热点。目前此类研究多数都是针对生理信号或行为信号展开的。其中，生理信号是个体情绪对外界应激的直接表现，有利于排除个体差异因素，具有较高信效度。易慧等[1]通过提取心电信号并滤波，达到了较好的情绪识别效果。钟铭恩等[2]发现驾驶人左右额叶脑电信号在不同情绪状态下有明显变化。Sharma等[3]研究了应力传感器，并可用于监测驾驶员压力水平。然而，这类检测方法需要接触人体，如脑电信号一般要通过电极帽进行采集，对驾驶造成一定干扰，埋下了安全隐患。相比下，行为信号的采集无需接触身体，易在行车中被获取。谢卓然等[4]采用USB工业相机采集人脸图像以获取驾驶人表情特征数值，通过映射判断其情绪状态。马兴民等[5]认为情绪状态可由外在面部表情体现，并采用表情识别实现系统功能，但存在一些误差。

仅通过某种单一信号的检测手法或方案显然无法保证检测结果的准确性和系统的稳定性，车载情绪识别装置更多应依赖多模态信息。为开发多模态的情绪识别系统，于申浩等[6]从面部图像和脉搏信号中提取特征，识别驾驶员的路怒情绪。Poria等[7]对文本、语音、面部表情融合的多模式情感分析研究进行了综述。刘鹏[8]通过融合面部表情和语音对驾驶人路怒症进行了研究。Katsis等[9]使用面部肌电图、心电图、呼吸和皮肤电活动来综合评估驾驶人情绪状态。

然而，在对不同模态的情绪感知装置进行组合时，多数研究者仅凭个人经验从单一的技术角度考虑，缺乏相应的综合分析与论证，无法确保多模态情绪识别装置的合理组合及有效落地。可拓设计是借助于可拓论与可拓创新方法等进行产品概念设计并处理设计过程中的矛盾以寻求较优方案的设计理论与方法，作为可拓工程的一个重要方向，已在工程技术、信息科学等多个领域得到广泛应用[10]。

在可拓设计论三个创造法[11]基础上，吴培旭等[12]提出多功能产品创造法，为多功能产品的开发设计提供了一套有章可循的设计步骤。姚干勤等[13]提出可拓重构设计方法以满足客户对产品造型风格的需求,避免了造型设计中由设计师主观意识依赖过强和客观知识使用不足造成的缺陷。王体春等[14]为提升大型复杂产品方案结构配置的设计效率和质量,提出了一种基于可拓本体概念的快速设计可拓模式框架。李仔浩等[15]基于逆向设计建立了一种新型模型化与定量化相结合的产品创意生成流程化方法，并应用于发电机创新设计，提高了设计效率[16]。郭恒发等[17]提出了一种融合可拓学与TRIZ的产品设计创意生成方法，提高了创新效率及优度评价的科学性。祁钰茜等[18]利用物元分析理论与层次分析法对愤怒驾驶状态及程度进行辨识，证明可拓理论用于交通安全分析是可行的。

因此，本文综合考虑经济性、部署难易度、可靠性等因素，采用可拓设计理论，寻求开发多模态情绪识别系统的最优方案。

1 构建基元模型

驾驶员行车过程中的情绪识别对象包括语音、面部表情、姿态等行为信号和脑电、心电等生理信号。若想开发一款情绪多模态识别装置，必须充分利用各类传感器特性并科学组合。首先将情绪检测装置M的功能用事元A表示，再根据发散树生成的事元定义出情绪检测装置的类物元。

上述类物元涉及7类传感器、3类安装位置、信息准确度、信噪比和采集难度，根据单一情绪检测装置的检测对象进行归类，可得出以下具体产品物元。

2 物元重组关系分析与可拓变换

2.1 物元重组关系分析

本文所研究的情绪感知模块属于行车中的实时系统，主要执行数据采集和滤波等预处理功能，具体的情绪计算分析交由车载域控制器甚至云端进行后处理。因此，不同检测装置间的兼容性较强，不存在互斥关系。但将具有不相关关系的物元组合在一起，只会造成成本上的提高，组合实施的具体功能效果需要根据各个组成物元的信息准确度、信噪比、采集难度来进行综合决定。

单一检测装置所包含的3种安装位置各不相同，但驾驶室前端、车体以及驾驶员身体之间的装置安设互不干涉，可兼容于同一目标车辆，根据物元关系的定义可知其安装位置间为不相关关系。

由重组关系的定义可得，面部表情、声音、姿态检测装置三者的重组关系为相似关系，电信号、体温、脉搏检测装置间的重组关系也为相似关系，驾驶行为检测与这两者间为不相关关系。

根据以上分析，列出各拓展产品的重组关系如表1所示，其中R表示相似关系的个数，N表示不相关关系的个数。

表1 重组关系拓展统计Table 1 Statistical table of restructuring relationship expansion

2.2 利用可拓变换生成产品创意

由表1可知，面部表情检测、声音采集、姿态动作三者间均含有相似关系，将这三者放在一起进行开发将会充分利用相似关系以节约成本，同理，体温、脉搏、电信号同样具有这种联系。而驾驶行为检测与其余几项检测装置均无法构成相似关系，但由于它的存在也不影响驾驶员操作及其余检测，即不与其余检测装置互斥，因此也可以作为一种检测之外的补充。但是，若同时采用面部表情检测和体温脉搏或电信号检测，由于这两者为不相关关系，不会有成本上的节约，而且由于图像检测放置于驾驶室前端可能会干扰驾驶员视线，电信号检测需要与驾驶员相互接触，这或多或少影响驾驶员的操作，所以这两种检测方式同时进行是不太合理的。

在重组获得创意时，各情绪信号同时传输存在相应传感器接收频率不一致的问题，可通过滤波器进行同步或改变后处理模块处理频次等方式解决。除此之外，各检测装置相关物元间不发生传导变换，因此只需对应变换其安装位置即可。

根据以上分析，利用可拓变换方法可获得多种检测装置的设计创意。

创意3 在保留创意1不与驾驶人身体直接接触的优势上，将驾驶行为检测装置与创意1所述复合检测装置进行结合，引入车体信息源，生成新的含检测对象特征元的一维分物元。

由表1可知安装位置间属不相关关系。根据创意1的安装位置对创意3的安装位置特征做增加变换

创意4 对创意2引入车体信息源，形成以驾驶行为、体温、脉搏、电信号检测为一体的产品创意，其含检测对象特征元的一维分物元表示为

根据创意2的安装位置对创意4的安装位置特征元做增加变换。

3 优度评价与方案选取

选取由2.2节所确定的如下4种新产品构思方案进行优度评价。

在行车过程中，不同的情绪信号有不同的检测方法。这些方法存在着信号采集难度、途径和准确性、信噪比和装置成本上的差异，如果简单地将其糅合在一起，将会造成生产成本上的冗余或感知效果不理想。表2对这些指标进行了初步对比分析。

表2 对情绪识别不同信号的比较Table 2 Comparison of different signals for emotion recognition

根据表2，采用优度评价方法[11]选择适合的评价特征对上述4种方案进行评价择优。

考虑所采集的信息与情绪关联的强弱，将信息准确度定为评价特征；考虑在汽车工业的量产问题，将装置成本作为评价特征，由于相关产品的原理、生产工艺与产品质量等特性相差过大，成本难以界定具体数值，设厂商的预期成本为c；考虑所采集信息是否便于降噪提取，将信噪比设为评价特征；考虑在实际行车过程中装置处于所要求的安装位置上是否便于数据采集，将采集难度作为评价特征。由此确定4个对应的一级衡量指标为

根据上文提到的各方案共轭部确定其等级并进行综合优度计算。结合表2 可得到各方案关于MI1的关联度为

比较上述优度评价结果，其中C(Z3)的值最大，方案3的优度评价最佳，即将驾驶行为检测、面部表情检测、声音采集、姿态动作检测功能进行组合。通过查找方案3的物元模型，得到该方案的传感器架构为相机、麦克风及轮速计、IMU组合，安装位置为驾驶室前端及车体。该方案采集难度低，信息准确度高，中等信噪比且成本处于合理的范围内。

4 总结

针对驾驶人的情绪检测感知问题，本文探究了车载驾驶人多模态情绪感知装置的较优组合方案。通过可拓设计中的多功能产品创造法，从各单一检测装置入手逐步推导出一系列组合方案，对所得方案进行了优度对比判断，最终得到了较优方案。

随着模式识别、人工智能、车载系统等技术的高速发展，在未来相关研究得到新进展或问题的需求发生改变时，针对驾驶员行车过程中情绪检测识别的实验方法和检测手段也将不断更新与进步，本文所得的最优解也将不再适用，但依然可以通过采用或迭代本文所提供的可拓分析方法更新方案。高级别的无人驾驶技术受法律、伦理等因素限制，落地仍需较长时间，人车交互共驾场景将长期存在。本文提出的驾驶人情绪检测装置组合方案的分析设计方法可以推动相关产品的落地，为驾驶人生命财产安全提供有力的保障。