婴儿欲望与状态识别系统

宫瑾+沈小键+贾磊+李鸿鑫+杨子康

摘 要：针对新生儿父母难以准确理解婴幼儿哭闹所传达的信息，文中设计了婴儿欲望与状态识别系统。该系统由智能婴儿袜、智能手机、云服务器构成，通过实时检测婴儿的体温、心率、睡姿、踢被状态并及时报警反馈给看护者，以降低婴儿猝死综合征的发病率。

关键词：欲望与状态识别系统；App

1 作品简介

由于很多新生儿父母对婴幼儿监护所知甚少，因此当新生儿生病哭闹时，父母往往无法准确获悉孩子的意愿，如果不能及时发现，就会延误治疗时机，导致婴儿病情加重甚至出现险情。婴儿猝死综合征（SIDS），系指外表看似健康的婴儿突然意外死亡，甚至几分钟的翻身，就会夺走婴儿的生命。

本系统将智能手机与可穿戴设备相结合，将哭声音频分析、生理参数实时检测、人机交互信息融为一体，设计了一款名为“Baby Saying”的婴儿欲望与状态识别系统，来帮助初为父母的年轻家长或婴儿照料者准确了解婴儿的意图和状态，并及时发出提示和报警信息，以保护婴儿安全，减少婴儿家人的烦恼，使得人们家庭生活更幸福。

2 工作原理

2.1 系统总体方案

“Baby Saying”由智能婴儿袜、智能手机、云服务器构成，系统总体构成框图如图1所示。

智能婴儿袜穿在婴儿脚踝处，其上装有以MCU为核心的硬件电路，用以实时检测婴儿的体温、心率、睡姿、踢被状态，以蓝牙通信的方式将所采集的数据传送到智能手机。

智能手机上需安装系统App，可不断接收婴儿智能袜发送的数据并进行存储与处理，在婴儿出现异常状态时智能手机发出音响并显示报警，以提示婴儿照料者；同时，智能手机作为系统的操作界面，使用者可用手机查看相关信息并进行相应操作；当婴儿啼哭时，使用者可以使用手机对婴儿的哭声录音，系统App将进行处理并与云平台连接，将录制的婴儿哭声音频数据、生理数据上传到云平台，与云平台上的婴儿哭声音频数据库中的样本进行比对、处理，分析出婴儿啼哭的初步原因，并将该信息传回智能手机，智能手机的App在接收到初步原因信息后将向婴儿照料者提出若干问题，待婴儿照料者回答后智能手机将分析出婴儿啼哭的原因。

2.2 体温检测及报警方案

我们采用非接触式红外测温仪MLX90614作为温度采集模块，任何单片机都可以通过I2C接口与其通信。通过可穿戴设备上的温度采集模块（MLX90614）采集数据，经STC15系列单片机（MCU）内部的I2C通信模块串口将转换为数字量的数据通过蓝牙模块实时发送到手机客户端。

2.3 心率检测及报警方案

心率传感器的主要作用是判断孩子的实时姿态。通过可穿戴设备上的心率模块采集到的模拟量，经STC15系列单片机（MCU）内部的ADC模块串口将转换为数字量的数据通过蓝牙模块实时发送到手机客户端。

2.4 睡姿检测及报警方案

我们采用三轴加速度传感器（GY-61）来判断孩子的实时姿态。通过STC15系列单片机（MCU）内部的ADC模块经过串口将转换为数字量的数据通过蓝牙模块实时发送到手机客户端。

2.5 踢被检测及报警方案

由可穿戴设备上的温度采集模块（MLX90614）采集温度数据，通过STC15系列单片机（MCU）内部的I2C通信模块经串口将转换为数字量的数据通过蓝牙模块实时发送到手机客户端。该模块可同时监测到婴儿的体温和婴儿所处环境的温度，通过计算温度差值来判断婴儿是否在睡觉的过程中踢被。

2.6 啼哭原因识别方案

将哭声音频、生理数据、婴儿现状三部分相结合进行啼哭原因分析。其中哭声音频比对分析占50%、生理数据占20%、婴儿现状占30%，可依据三者的基本权值得知啼哭原因。通过手机录制的音频信号、婴儿智能袜获取的生理数据、监护人的问题回答获取婴儿现状，以生理数据为辅，以哭声音频比对和婴儿现状为主。

2.7 数据通讯方案

手机和婴儿智能袜采用蓝牙4.0传输，通过手机对蓝牙串口进行监听，从特定的串口读取硬件设备获得的生理数据，并对数据进行分析、处理。

手机和云端服务器通过网络请求进行通信，采取HTTP的POST方法将处理哭声得到的数据上传，在云端进行数据比对，并将结果返回至手机客戶端。实现手机与远端服务器的数据通讯。

2.8 硬件实现原理

婴儿智能袜硬件框图如图2所示。

2.9 智能婴儿袜软件实现原理

通过传感器采集的数据经由单片机进行分析与处理，当系统上电工作时，单片机初始化，温度传感器MLX90614、心率传感器、角速度传感器GY61、蓝牙依次初始化，之后传感器对婴儿当前的状态进行分析与判断，当婴儿体温高于或低于设定值时，系统通过蓝牙模块向手机发送高温、低温报警指令。同理，当婴儿心率超出正常值时亦发送报警指令，同时，当GY61监测到婴儿睡姿不正常（如俯卧）时，会及时提醒父母。程序流程如图3所示。

2.9.1 人机界面设计

系统提供了易操作、通俗易懂的界面设计。

2.9.1.1 连接蓝牙界面

打开智能手机的蓝牙开关如图4（a）所示。搜索一定范围内的蓝牙传输设备如图4（b）所示。选择婴儿智能袜设备如图4（c）所示。

2.9.1.2 应用界面

应用主界面包含的4个按钮分别代表所能实现的四个功能，简单易懂，层次清晰。应用子界面简单大方，以图文并茂的方式对婴儿数据、哭声识别和异常报警等情况进行了展示和处理，把想要了解的信息清晰地展示在宝宝知音界面上。

程序主界面、哭声分析按钮按下后界面、分析结果返回展示界面、生理数据主界面、睡眠检测界面、综合信息界面、体温曲线图、心率曲线图、睡姿饼形图如图5所示。endprint

2.9.1.3 蓝牙通信实现原理

蓝牙通信采用BLE技术（Bluetooth Low Energy，BLE），手机须支持蓝牙4.0，且需保证手机和硬件设备之间的距离小于15 m（无遮挡状态下）。

硬件使用模拟串口技术实现蓝牙数据的发送。通过手机端搜索设备，可发现附近所有可连接设备。搜索设备的回调方法如图6所示。

搜索指定的服务和串口，找到所需串口。服务搜索如图7（a）所示。串口发现如图7（b）所示。

找到所需串口，从串口中读取数据并存储，如图8所示。

2.9.1.4 数据处理实现原理

数据主要来源于蓝牙接收的哭声数据和服务器返回的数据。蓝牙数据为172A30.4A36.4A0形式，分别表示心率、环境温度、体温，睡姿选择使用正则表达式处理数据，如图9所示。

由于婴儿心率较成人快，所以我们把心率的报警阈值设定为150次/min。体温上限报警阈值设定为37.8℃。而当婴儿俯卧时，我们认为婴儿有窒息的可能。踢被报警则在环境温度和体温相差超过4℃时触发。

哭声数据保存为MP3格式，发送时读取该MP3文件存入Byte数组中，然后通过HTTP协议发送该Byte数组的字符串表示形式。

服务器返回数据（1-5），其中，1代表困了，2代表病了，3代表尿了，4代表饿了，5代表无聊。只要根据返回的数据进行判断就能确定婴为何啼哭。判断程序如图10所示。

2.9.1.5 云服务原理

系统使用新浪云应用（SAE）与云存储服务（SCS），如 图11所示。

首先在新浪云创建云应用与云存储。将服务器代码通过git合并在云应用的远程仓库master分支上，然后切换到当前版本的代码。此时云应用和云存储就可以作为云服务器使用。我们将解析好的音频数据集以HTTP协议的POST方法上传到部署在云应用上的php代码中，php访问数据库，返回比对结果。云应用部署代码如图12所示。

2.9.1.6 啼哭原因识别原理

啼哭原因识别将哭声音频、生理数据、婴儿现状三部分结合分析。其中哭声音频比对分析占50%、生理数据占20%、婴儿现状占30%，依据三者的基本权值得知啼哭的原因。

（1）啼哭声音频比对

哭声音频比对分析根据所采集的数据库中的音频数据进行对比。“宝宝知音”的云端基于新浪云服务器开发，将搭建的云主机作为云计算的操作平台，操作过程如下：

a.云主机接收到啼哭声的音频信息时，将音频信号进行数字化处理，即采样和量化。采样即将模拟信号在时间域上进行等间隔取样；量化的目的在于将婴儿啼哭声信号波形的幅度值离散化。

b.对婴儿啼哭声的预加重。通过预加重技术可以提升高频部分的频谱，进而使整个频带更为平坦，便于语音参数分析。

c.对婴儿啼哭声的分帧和加窗。分帧操作是将啼哭信号分段分析，由于婴儿的声带不稳定，为了截取婴儿短时稳定信号，采用分帧操作；加窗的目的在于提取每一帧特征信号。

d.对婴儿啼哭声进行端点检测。端点检测的目的在于找到啼哭声声段的准确起止位置，有效去除啼哭声前后的多余噪音后，才能够确定啼哭声段的有效数据，为后续获取更准确的日哭声段提供依据。操作过程流程如圖13所示。

对啼哭声进行处理后，大大减少了啼哭声的噪音，能够更准确地获取啼哭声的重要信息。使用IMFCC算法提取婴儿啼哭信号的特征参数，该算法在婴儿啼哭声的高频区域有出众表现，对MFCC起到了较好的补充作用，因此将MFCC与IMFCC结合使用，进行啼哭声提取的优化。

啼哭声识别算法使用动态时间规整（DTW）算法，由于婴儿啼哭声是一种特殊的“语音信号”，具有语音信号的相同特质，而DTW是一种语音识别匹配算法，因此在“宝宝知音”的分析过程中也使用了这种算法。

（2）生理数据获取

通过可穿戴设备上的温度模块（心率模块）采集婴儿的体温（心率），并将采集到的体温（心率）通过单片机的串口将数据通过蓝牙模块实时发送到手机客户端，客户端将生理数据发送到云主机，云主机收到数据后进行数据存储和分析，最后将得出的初步结果发送给手机端。

（3）婴儿表面现状

服务器返回啼哭原因可能性结果，监护人回答手机上2～3个关于婴儿表面的问题后，手机端将信息通过HTTP以表单的形式发送至云端服务器，云端服务器通过云计算得到最终判断。

综上所述，将通过手机端获取的三类数据分别发送到云主机进行处理分析，在云端服务器的云主机上根据基本的权值进行结果比对，将得到的结果返回手机客户端。啼哭声原因分析处理流程如图14所示。

2.9.1.7 哭声音频数据库的实现原理

哭声数据的采集并不考虑婴儿的性别，只是对啼哭声进行分类标识。数据库中的数据按照婴儿啼哭常见的原因类别进行划分，共分为病理性啼哭、饥饿性啼哭、寂寞性啼哭、排泄性啼哭、困倦性啼哭等五类。无论是手动采集的数据还是来源于网上的数据，都采用了同样的方法进行标注。

手动采集的数据主要来自20个婴儿，共计92条。经过分类标注后，病理性啼哭有18段、饥饿性啼哭有23段，寂寞性啼哭有13段，排泄性啼哭有23段，困倦性啼哭有15段。

来源于网上的数据，共计124个啼哭音频段。同样，通过初步筛选后，最终得到113段，其中病理性啼哭有24段，饥饿性啼哭有31段，寂寞性啼哭有22段，排泄性啼哭有21段，困倦性啼哭有15段。

啼哭声采集说明：

病理性啼哭包括婴儿发烧啼哭声、婴儿肠绞痛时啼哭声、婴儿肠胃炎时的啼哭声。

饥饿性哭声包括婴儿生理性饥饿的啼哭声、婴儿欲望性饥饿的啼哭声。endprint

寂寞性啼哭包括婴儿需要妈妈的怀抱时的啼哭声、婴儿需要玩耍时的啼哭声。

排泄性啼哭包括婴儿尿了、婴儿拉屎时的啼哭声。

困倦性啼哭包括婴儿啼哭后熟睡前的啼哭声。

数据库的建立基于云端服务器的云存储服务。采用新浪云服务器，其可以提供便捷的操作与高效的处理速率，将数据库架构在该云服务器的云存储中，方便新浪云主机进行数据分析。我们提供了五种基本啼哭类型的哭声库作为App的比对样本，并建立了数据库的数据模型。Baby Saying文件如图15所示。

婴儿排泄性啼哭、婴儿饥饿性啼哭、婴儿寂寞性啼哭、婴儿病理性啼哭、婴儿困倦性啼哭等五种啼哭类型的数据库建立界面如图16所示。

基于24种婴儿病理性啼哭建立的数据库如图17所示。

由于我们的资源有限，收集的数据量十分有限，只有上百条哭声信息，理论上还不足以准确匹配，但数据库的建立为我们提供了对比的平台，能够保证一定的准确程度。今后随着使用量的增加，我们会继续完善该数据库，增加数据量，以提高啼哭原因的分析准确性。

基于31种局部婴儿饥饿性啼哭建立的数据库如图18所示。

3 创新点

（1）本作品突破了传统婴儿监护产品的局限性，可以实现婴儿重要生理参数、睡姿、踢被状态的连续实时监测并在出现异常情况时发出报警，对婴儿啼哭原因进行分析识别，为婴儿监护提供了一种现代化的方法，同时还有效解除了家长在照料婴儿时遇到的困难。

（2）本作品采用婴儿智能袜作为系统检测的载体，可在不需要安装额外设备的前提下对婴儿实现连续监护，系统搭建容易，使用方便。

（3）本作品采用智能手机作为系统的人机接口，通过智能手机应用软件良好的UI设计使用户操作更加简单便利，及时获得报警提示信息，便于系统升级和功能扩展。

（4）本作品综合运用可穿戴式设备技术、移动计算技术、物联网技术、云计算技术提出了一种婴儿监护解决方案。

（5）应用信息融合的方法结合婴儿哭声音频数据、生理参数数据、照料人的观察信息来进行婴儿啼哭原因的识别，以提高婴儿啼哭原因识别的准确性。

（6）运用大数据的概念，在云端建立了婴儿哭声音频数据库，随着产品的应用推广与用户数量增多，逐渐积累样本数据，以进一步提高婴儿啼哭原因识别的准确性。

4 发展前景

据有关数据统计，我国目前0～3岁的婴幼儿约有5 000万，婴幼儿无法用语言来准确表达自身的状态和欲望，需要精心监护，人们对应用高科技开发的婴儿监护产品具有极大的兴趣，市场需求广阔。

现有市场上的婴儿监护产品主要有如下几种类型：

（1）视频监视产品。该类产品将传统的视频安防技术移植到了婴儿监护领域。通过在婴儿床上安装摄像头来实时采集婴儿的图像，并借助无线通信方式将信息传送到手持终端或手机上，照料者可以在不同的房间通过手持终端或手机观察婴儿的状态。现有市场上的该类产品包括摩托罗拉MBP系列无线婴儿监视器、飞利浦InSight系列无线高清婴儿监护仪、大华股份与阿里云联合推出的乐橙小逗宝等，市场价格约在500～2 000元之间。该类产品可以远程监视婴儿的活动，但不能分析婴儿的欲望和生理状态，对提升照料婴儿的质量和及时发现异常情况的作用有限。

（2）宝宝尿湿提醒器。该类产品一般由一或两个发射器（尿湿感应发射器和动作感应发射器）以及一个接收器组成，发射器与接收器之间通过无线通信连接，当出现宝宝睡醒、哭闹、爬起、踢被、尿湿和汗湿等状况时，接收器接收相关信息，并自动进行声光报警。现有市场上的该类产品包括爱玛科YB系列婴儿尿湿提醒器、沃塔森婴儿宝宝感应尿湿提醒器、凯威达尿湿报警器等，市场价格约在200～500元之间。该类产品能够有效检测出婴儿出现的尿湿及踢被等现象，但功能有限、使用不便。

（3）婴幼儿智能体温监护仪。该类产品由佩带在婴儿臂上的连续检测婴儿体温和环境温度的温度测量单元与实现显示功能的手机组成，当婴儿发烧时或踢被子后，温度测量单元通过蓝牙通信向照料者手机发出报警信息，或者照料者随时查看婴儿的体温。现有市场上的该类产品包括呵护宝婴幼儿智能体温监护仪、乐测智能体温贴等。该类产品能够佩带在婴儿身上，连续检测婴儿的体温并在婴儿发烧时发出报警，但功能单一。

（4）婴儿哭声分析器。该类产品包含两种类型，一种是婴儿哭声分析器硬件产品，在婴儿哭闹时将该产品放在婴儿旁录制一段几十秒的哭声，系统对婴儿的哭声音频信息进行解析来判断出婴儿表达出的欲望与状态，具体包括Hungry-饿了，Bored-想要人陪，Annoyed-尿了或身体不适，Sleepy-困了，Stressed-紧张有压力，现有市场上该类产品为美国格朗电器的“Why Cry Baby Crying Analyzer”，价格约100美元；另一种产品为安装在iPhone或Android智能手机上的App，这款婴儿哭声分析软件能够帮助翻译宝宝的哭声，现有市场上的该类产品为西班牙一家公司开发的Cry Translator，可以在Apple Store上有偿下载。该类产品能够通过婴儿哭声解析婴儿的欲望与状态，解决了婴儿无法用语言表达给人们带来的困惑。但是婴儿实际的欲望与状态除了与哭声还与其他信息相关，所以该解决方案在实际使用时的判断准确率并不高，没有被广泛应用。

近年来，逐渐应用计算机音频处理技术来分析婴儿的哭声以确定婴儿啼哭的原因。日本研究者K Kikuchi等人利用婴儿哭声的频率来分析婴儿的欲望和状态，并进行了计算机仿真和实验。上海上悦通信技术有限公司的孙萍提出了一种婴儿哭声解读方法与装置，运用统计分析方法将婴儿哭声的反应状态分为饥饿、不适、疲劳、惊吓、烦躁、生病疼痛6种，并建立了哭声特征值文件库，通过将采集的当前婴儿哭声与哭声特征值文件库进行比较来判别哭声所代表的婴儿当前状态。解读装置由麦克风、语音输入电路、中央处理器、语音输出电路、键盘、扬声器与液晶显示器组成。北京大学深圳研究生院刘宏等提出了一种实时婴儿啼哭声识别方法，录制婴儿啼哭声音信号建立声音库并进行预处理，在判断时，采集婴儿啼哭声音并依次进行分帧、加窗处理后提取实时特征向量序列，将获得的实时特征向量序列与模版进行匹配得到似然度最大的类，并进行投票得出婴儿啼哭原因的类别。Cry Translator软件能把婴儿的各种哭声归纳到“饥饿、累了、无聊、生气、感到压力”几种模式中。当婴儿啼哭时，将智能手机麦克风靠近他，按下开始键，10 s之内这款软件就能够分析出婴儿的欲望和状态，并告诉照料者一些应对的方法。以上研究和产品都仅仅依据采集的婴儿哭声进行分析和处理，对录音环境要求较高，没有充分利用婴儿的生理参数和婴儿照料者能够观察到的信息，实际应用判断准确率不高，同时还缺乏对婴儿发烧、翻身等状态的识别，并未得到广泛应用。

综上所述，目前市场上还缺少能够全面、可靠、便捷地帮助婴儿照料者识别婴儿体温、心率、姿态是否正常，婴儿是否饥饿、寂寞、困倦、病痛、恐惧，并在出现异常时立即报警提示的产品。本项目提出和实现了一种融合婴儿生理参数、婴儿哭声音频数据、监护人观察到的婴儿表现信息的婴儿欲望与状态识别系统及方法。所开发的智能婴儿袜能够帮助婴儿照料者识别婴儿的体温、心率、姿态是否正常，婴儿是否饥饿、寂寞、困倦、病痛、恐惧，并在出现异常时立即报警提示，提出对应的处理建议。本产品科技含量高、功能全面，处于黄金时机，具有巨大的市場潜力。

本项目是将智能手机与可穿戴设备相结合，将哭声音频分析、生理参数实时检测、人机交互信息融合为一体所设计的名为“Baby Saying”的婴儿欲望与状态识别系统，用以帮助初为人父母的年轻家长或婴儿照料者准确了解婴儿的意图和状态，并及时发出提示和报警信息，以保护婴儿安全，减少婴儿家人的烦恼，使得人们的家庭生活更幸福。测试结果表明，“Baby Saying”能够实现所设计的功能，经过进一步改进和商品化后将有广阔的市场前景。endprint