基于AI+IoT的幼儿辅助看护系统的设计与研究

杨宇轩 郭庆 邹方驰 梁晓雪 曾傲雪

摘要：为了减轻家长对幼儿看护的压力，该文设计了一种基于AI+IoT技术的幼儿辅助看护系统。该系统采用摄像头连接手机终端对幼儿状态进行画面的实时监控，采用传感器对数据进行采集，并在软件平台上完成对数据的处理，进行可视化分析，最终实现对幼儿情绪、语音以及安全活动范围的检测，也可以检测幼儿的体温、心率等生命体征，当检测到异常时，触发危险警报系统提醒家长，家长可在手机终端实时查看孩子的状态，实现对幼儿的辅助看护。

关键词：AI;IoT;实时监控;数据处理;辅助看护

中图分类号：TP399      文献标识码：A

文章编号：1009-3044（2022）22-0072-03

1 引言

自二胎政策实施以来，我国出生人口大幅增加，婴幼儿数量逐步增加，各种安全事故频发。家长大多都比较忙碌，对婴幼儿的照顾会有所疏忽，因此婴幼儿看护也受到越来越多的关注[1]。鉴于此，本文设计了一种基于AI+IoT技术对幼儿辅助看护系统。该项目通过调用百度人脸检测API接口，实现人脸情绪识别，并用物联网连接技术将各类传感器、ARM单片机以及终端相连接，形成一个完善的物联网智能看护系统。

基于百度 AI 开放平台的人脸识别技术，提供了人脸检测与情绪等属性分析、人脸对比、人脸搜索、活体检测等功能，并且情绪识别功能完善;基于百度 AI 开放平台的语言处理应用技术，情感倾向识别、对话情绪识别等功能，都是基于大数据和深度学习，自动学习词义及词序关系，具备较强的泛化能力，情绪识别精度高[2]。该系统可以让家长不需要时刻跟随照看孩子，一定程度上比较贴合当前父母照顾幼儿的需求没有用户的时刻亲身监管，也一定程度上给予了儿童独立成长的空间，同时也可以让家长在做其他事情时更加放心。

2 系统功能框架

该系统是为了辅助家长看护幼儿，故有生命体征监测、人脸情绪识别、实时监控、语音识别、安全范围监测功能，可以全方位辅助家长看护幼儿，减轻负担。

2.1 生命体征监测

在不影响孩子正常生活的前提下，利用红外测温传感器以及光学心率传感器对幼儿的体温以及幼儿心率分别进行测量并存储在ARM板上，定时上传到家长的移动终端上实时显示。

2.2 人脸情绪识别

通过摄像头进行实时人脸扫描识别，使用OpenCV编程并接入百度智能云平台的人脸监测与属性分析技术，进行实时识别幼儿当前表情以及情绪状态。

2.3 语音识别

通过语音识别模块录音生成音频文件，再用设计的哭叫识别系统软件检测音频文件，当检测到哭叫声时，会触发危险报警。

2.4 实时监控

由于家长不能无时无刻陪伴在孩子身边，故本模块的设计便于家长随时查看孩子的当前状态，更好地发现孩子的异样并及时解决。本功能模块可实现将移动终端和摄像头与网络连接来传输画面，实时查看当前幼儿监控画面，并与幼儿进行实时沟通，从而在孩子做出危险行为前及时提醒孩子，减少幼儿因贪玩好奇等原因造成的意外事故。

2.5 安全范围监测

安全范围监测模块是利用超声波测距仪来实时监测安全范围。先设置一个安全距离，当传感器由接收的回波信号算出的距离违背设定的安全距离时，系统会触发警报并及时告知家长。

3 物联网系统体系架构

物联网的基本体系结构包括三个方面：感知层、网络层、应用层[3]。第一层是感知层，主要包括网关和各类需要的传感器，可以实现数据的采集。第二层是网络层，主要起承上启下作用，将感知层采集到的数据，通过无线网络传输给应用层进一步处理。第三层是应用层，包括服务器和手机终端。

3.1 感知层

感知层主要包括各种传感器，摄像頭模组，多种开发板以及多模网关等，它们之间采用ZigBee和WiFi进行传输，具体如下所示：

3.1.1 传感器与摄像头

本系统使用了XD-58C脉搏心率传感器、MLX90614非接触式红外测温传感器、HC-SR0超声波测距模块、Geeetech Arduino语音识别模块以及ov2640摄像头模块，他们通过连接开发板，智能采集物理数据，并传输给开发板。

3.1.2 开发板

本系统主要采取ZigBee无线通信技术，经过综合分析故采用了德飞莱CC2530开发套件，如图2所示。CC2530芯片有明显的的优点，比如工作频带相对较低，支持802、PRO、2007、RF4CE等标准，满足三种网络拓扑结构、外置天线模式，电流低、工作温度相对恒定等[4]。此开发板也可以与多种无线模块拔插式对插，比如WiFi模块、4G模块以及BC26的NBIoT模块，从而实现多模通信，将数据传输到OneNET云平台，可随时查看相关数据。

3.1.3 网关

网关是物联网辅助看护系统的数据传输的重要枢纽，是实现数据通讯的中转站[5]。网关采用小米米家多功能网关，该网关支持ZigBee3.0、WiFi、蓝牙&蓝牙Mesh三种通信协议设备，可以实现不同协议设备的互联互通，不仅可以接收终端节点传输来的数据并且转输给上位机，也可以接收上位机的指令，然后传输给各个终端节点实行。

3.2 网络层

网络层主要为路由器或交换机，路由器是互联网的主要结点设备，通过路由决定数据的转发，与Web服务器采用有线宽带连接方式。网络层在系统中起到承上启下的作用，将感知层和应用层相连接，在物联网看护系统中起到重要作用。

3.3 应用层

应用层主要是由Android 移动终端以及web 服务器组成。Android属于开源系统，相比iOS更加开放，对硬件的兼容性更强，并且Android开发的周期也较短，测试时可直接使用apk文件进行安装，从而使得开发流程更加便捷。

4 系统移动应用设计

本系统移动客户端使用Android开发技术，后台系统通过接入百度人工智能API将硬件采集存储在服务器里的数据进行分析。

用户移动客户端有以下几个功能，具体界面如图2所示。

4.1 用户登录

用户输入已注册的用户名和密码即可登录。未注册的用户点击“注册用户”字样可进行账户注册并绑定手机号，用户名，密码将储存于MySQL数据库中;用户忘记密码点击“忘记密码？”字样输入注册时手机号并通过验证即可重新设置密码。

4.2 个人中心

登录系统后可在此界面填写或修改账户资料以及接收系统消息和对软件的设置。

4.3 监控传输画面

主要功能为实时传输终端监控的幼儿画面，并显示幼儿的体温、心率以及情绪状态。同时可实时语音通话，实现云看护。

4.4 数据可视化界面

对云平台存储的数据（幼儿的体温、心率以及情绪状态） 进行可视化处理，以统计图表的形式呈现在不同页面。

4.5 危险反馈机制

当系统检测到幼儿有危险时，比如有发热、心率过高、超出安全距离等异常情况时，触发危险报警系统，手机震动并响铃，提醒家长注意孩子当前状态。

5 关键问题的研究

在该系统中，涉及两个关键问题，分别是幼儿脸部情绪识别和幼儿安全范围监测。

5.1 人脸情绪识别

人脸情绪识别技术是计算机根据人类在情绪特征的预先设定，通过情绪计算判定人脸面部表情。

在本次项目中实现这一技术内容如下：

（1） 通过摄像头采集幼儿实时的视频，利用 OpenCV 对视频进行抽帧分析，判断该帧图像中是否包含人脸，如包含人脸则将图像进行Base64编码，即将图片数据编码成一串字符串，使用该字符串代替图像地址。可以首先得到图片的二进制，然后用Base64格式编码即可。

（2） 接入百度智能云平台人脸识别技术，以达到人脸检测：检测图片中的人脸并标记出位置信息;

（3） 人脸情绪识别中，识别数据分为动态图像序列和静态图片两种。由于动态图像序列技术尚未成熟和表情识别算法一般都针对静态图像进行识别和验证，将监控设备捕捉的动态图像逐帧筛选为一系列静态图像，通过处理静态图像实现图像识别[6]，首先使用最大联通区域分割法实现人脸检测，然后使用局部二值化算法、主成分分析算法、Gabor小波變换算法对人脸表情特征进行提取，最后采用向量机（SVM） 算法对人脸进行分类识别。

（4） 人脸质量信息：返回人脸各部分的遮挡、光照、模糊、完整度、置信度等功能，并利用OpenCV 的 rectangle 和 putText 将人脸区域及情绪信息标注出来，将情绪信息保存下来[7]。利用 Matplotlib 绘制幼儿情绪统计信息的图表，并通过 Flask 以 Web 的形式将这些统计图表进行发布，将幼儿情绪的监测结果反馈给家长。

5.2 安全范围监测

安全范围监测主要是利用超声波传感器对幼儿是否跌落床下问题进行监测，当幼儿肢体超过床体边缘时，传感器发出异常信号，触动危险报警系统，提醒家长注意孩子当前状态。    使用的测量仪器是超声波测距传感器，超声波测距传感器是根据时间差测距法来测量距离，即：

[S=340*t/2]

（超声波在空气中的传播速度为340m/s，t是根据计时器记录测出发射与接收回波的时间差，S为出发射点距离物的距离） ，首先将传感器放置床角位置，使其发射波沿着床边缘，当孩子肢体超过床体边缘时，超声波测距传感器所测量的距离将会突然缩短，传感器发出异常信号启动危险报警系统。

6 结论

本文的研究目标是基于AI+IOT技术设计研究出一款为家长看护孩子提供智能便携服务的幼儿辅助看护系统，该系统以家庭为单位，提供新型智能化婴幼儿看护服务，实现监护系统下幼儿生理状态，情绪心理状态，行为动作状态的捕捉，为家长看护孩子提供更完善更便捷的智能服务，并可以减少婴幼儿安全事故发生概率。

参考文献：

[1] 陈蓓.智能婴幼儿看护系统设计研究[D].上海：东华大学，2016.

[2] 叶阳，顾国民.基于百度API的实时人脸检测[J].信息记录材料，2020，21（5）：226-227.

[3] 李雪茹.基于Android的物联网医疗监护系统的研究与设计[D].曲阜：曲阜师范大学，2015.

[4] 韦煜.基于ZigBee无线技术的智能家居系统设计与实现[D].成都：电子科技大学，2019.

[5] 王运红.智能家居系统客户端与网关的设计与实现[D].杭州：浙江工业大学，2014.

[6] 刘大诚.人工智能情绪识别应用研究[J].中国高新科技，2019（13）：59-62.

[7] 宋永生.基于OpenCV及AI的网络学习者情绪监测系统[J].信息技术与信息化，2019（11）：9-12.

【通联编辑：李雅琪】