浅谈基于OpenCV的人脸识别技术在智能卫浴系统的应用*
2020-12-17徐金董英
徐 金 董 英
(唐山惠米智能家居科技有限公司 河北 唐山 063307)
前言
人脸识别技术,是通过图像采集后,对图像内符合人脸特征的信息进行统计和辨识对比,自动并实时判断人脸对应的相关的个性化信息。
Open CV是一种开源的计算视觉和机器学习的软件库,基于C++语言编写且倾向于实时视觉信息的处理,能够嵌入到Linux、Windows、Andorid等相关的操作系统上,实现人脸识别技术。
随着智能家居技术的普及和应用,卫生间的智能化的需求已经提升到一个全新的高度,智能坐便器、智能淋浴器及智能浴室柜作为智能卫生间必不可少的组成部分,统一智能化的发展已经势在必行,人脸识别技术的发展决定了其必将成为智能卫浴组成的重要部分,随着各类新技术应用的导入,人脸识别技术应用成为了各类新技术应用的基础,而人脸识别技术的应用导入程度,也成为了智能卫浴能否最终满足用户要求的标杆。
对此,国内卫生间还未形成统一标准化,且光线变化大,湿度高,镜面易出现雾气,这也无疑增加了人脸识别技术导入的难度。图像采集需要在低照度高湿度的环境下有个更好的数据采集及白平衡系统,人脸识别算法上需要整合多种类使用环境,保证算法的高效运行。
1 人脸识别技术导入方案
本设计方案将图像采集及终端处理的方案整合到智能镜箱当中,此方案可避免图像采集系统暴露在湿度较高的空气中造成故障,也可避免因镜子反射造成算法失效。
人脸识别技术的前提是要基于人脸检测(Face Detection)来执行,图像采集系统由2部分组成:一部分是由定焦针孔广角镜头和高灵敏度CMOS的模组(文章试验选型为舜宇4 mm广角无畸变针孔镜头,图像传感器采用的SONY IMX291);另一部分由偏光广角镜头和低照度CMOS模组和红外光灯组成(文章试验选型为上述镜头加上偏光片,图像传感器采用镁光AR0230),目的是在完全黑暗情况下,依然能够出色的完成图像采集工作和监测人脸活体(Face Liveness)。
镜头视角安装在镜箱上时,以5°的垂直视场角下偏,以便有更好的图像采集角度覆盖这个标准卫生间,且模组算法支持自动白平衡和自动宽动态,适用低照度下的人脸信息采集。
上述的硬件配置也构成了智能卫浴系统人脸识别的图像采集端,也是实现人脸识别的首要前提部分。
图1 人脸识别模块的覆盖范围示意图
采集到的图像信息通过LVDS协议传输到现场可编程门阵列(Field Programmable Gate Array,下述以简写方式FPGA说明,试验选型Altera公司的Cyclone IV系列EP1C12F324I7N),通过FPGA进行图像信息裁减和算法处理,将相应的图像信息转换为灰度图像,并将最终的图像信息转换成数字矩阵,通过RS232通讯协议,发送到Android终端控制器(文章试验选型为基于瑞芯微RK3288内核开发的开源Android控制板),微控制器内安装有基于Open CV软件库的开发的人脸识别软件,以进行人脸检测(Face Detection)。
此处基于Open CV软件库开发人脸识别系统的软件做一个简单的说明,首先需要对使用者的人脸信息进行录入,整合软件训练库内,后调用软件库内的多种分类检索器,对训练时检索的多种数据进行记录和整合,当正常使用时,调用Open CV内的识别器,对实时提供的图像信息进行分析和检索,而最终确认识别信息。
监测到的人脸信息,将进行人脸属性识别(Face Attribute)和人脸提特征(Face Feature Extraction),通过传统的多点比对的方式及由粗到细的灰度策略,对图像矩阵的数据进行数据扫描,并与对应的阈值进行数据比对,实时判断个体的人脸特征信息。
监测到的人脸信息数据进行人脸比对(Face Compare),人脸识别软件通过将采集到的数据,与预先存储在Flash中的设定人脸信息数据(即图像训练库)和人脸相似的度的设定值进行数据比对,判断个体的人设,并及时结合使用时间点,判断个体使用需求,并将控制信号以无线信号(文章试验的无线传输方案采用的是TI的CC2530)的形式传输到网关,由网关控制相对应的产品完成规定动作,个体完成使用后,记录和存储相关的卫生间使用信息。
终端微控制器与智能镜的功能整合,将智能镜箱的Android平台的API端口开放给对应的图像采集端,此方法不影响智能镜箱人机功能交互的实现,同时,还可通过图像采集的API收集更多的用户使用信息,以便通过人机交互的GUI反馈给使用者。
终端控制器所需发送的的信号,通过信号传输端(即网关)完成,传输端的安装位置在环境湿度不高及不会被水淋到的房间内的任意位置。
2 人脸识别技术在智能卫生间的逻辑应用
如下是智能卫浴系统的逻辑应用:
系统启动后,启动人脸识别监控模块,当监测到使用者时,系统进入使用模式:
此时判断室内光线是否过低,如过低则开启灯光照明系统,其中包括室内灯、镜灯等。
当30 s后仍然监测到人脸或未监测到人脸离开室内,则启动新风系统,用于室内通风,并进入长效使用模式。
此时当终端控制器接收到反馈信号后,进入对应的工作模式,如监测到智能坐便器启动后,进入如厕模式,终端控制器根据设定模式,完成关闭图像采集、关闭窗帘等一系列操作。
如图2监测到淋雨系统启动,终端控制器根据室温情况,完成开启浴霸、关闭窗帘、镜箱除雾等一系列功能。适时根据其他的智能设备的情况,进入对应的功能使用模式。
功能使用完成后,人脸识别系统重新开启,此时监测使用者是否离开室内,如离开则在10 s后关闭照明系统,10 min中后关闭新风系统,并离开使用模式。
如未检测到人脸离开,则返回长效使用模式。如下是分模块对上述内容工作原理说明:
2.1 智能浴室柜
当终端控制器检测到人脸并确认使用者后,终端控制器将需求配置信号结合光线传感器,确认是否开启镜灯,其余配置信息以无线信号的形式发送给网关,并由网关继续发送对应的设备及控制端口。
2.2 照明系统与新风系统
当检测到使用者30 s后,终端微控制器发送配置信号给到网关,网关启动新风系统,新风系统启动,直到使用完成时,计时10 min中后,关闭新风系统。
当检测到使用者后,终端微控制器检测光线传感器,当且仅当光线不足时,发送配置信号给到网关,网关启动照明系统,直至使用完成后,人离开使用环境,计时30 s后,关闭照明系统。
2.3 智能坐便器与淋浴系统
当终端微控制器检测到人脸后,上述系统启动后,当智能坐便器或淋浴系统,检测到人体即将使用时,关闭图像采集系统。然后进入隐私保护状态,关闭窗帘。
智能坐便器的即将使用的监测装置可采用微波雷达实现及其他相关方法实现,清洗及吹风等产品的需求,由终端控制器发送到网关,并由网关直接控制智能坐便器实现相关的定制化需求。
淋浴系统的监测实现可采用淋浴房门的监测的传感器及其他相关方法,水温、水量及增压系统是否启动,通过终端控制器将识别后的个人需求发送给网关,并由网关控制淋浴器的定制化使用需求。
2.4 其他智能设备
智能卫生间内配置有自热毛巾架,紫外线消毒灯等,亦整合相应的产品逻辑,后通过网关对产品进行智能控制。
图2 智能卫浴逻辑系统
3 结语
基于Open CV的人脸识别技术在智能卫浴应用,笔者提供了一种可实现的控制方案及控制系统,经过多种环境测试,市场反应良好,但此种方案对于卫生间的标准化及使用环境有相关的要求,还需针对此方向进行更新算法及深入研究。