基于人体姿态识别的智能家居控制算法研究

编者按：基于资料分析、调查分析、总结研究等方法展开关于智能家居的思考，提出了一种基于人体姿态识别的智能家居控制的方法。提出了通过家居人体姿态控制算法（HBPCA）模型控制家居各个部件、家具、电器的方法。希望通过本方法推动智能家居的发展。

研究背景及现状

现状背景

为进一步了解基于姿态识别的智能家居现状背景，本人展开了相关的资料、案例调查，发现目前相近的技术主要包括：基于便携式传感器的人体姿态识别技术、基于视频检测的人体姿态识别技术。

思考分析

基于便携式传感器的人体姿态检测方法局限于设备，需要实时佩戴传感器，当行动不便或者忘记佩戴，则无法监测人体姿态情况。基于视频检测的人体姿态识别技术的精度高，且克服了佩戴的问题，但存在隐私暴露和在物体遮挡下无法识别的问题。且该方法会受光线、背景环境等因素的影响。

对于此缺陷，本文提出了一种新方法：基于光学摄像头和红外阵列传感器的人体姿态识别方法。

针对智能家居的需求，本文引入基于光学摄像头和红外阵列传感器的人体姿态识别方法，并且引入3D卷积和3D反卷积理论，构建了基于姿态识别的智能家居控制算法网络（Home body posture control algorithm，HBPCA）。

家居人体姿态控制算法

解决的技术问题

本文针对基于人体姿态识别的智能家居控制的需求分析，最终提出了基于光学摄像头和红外阵列传感器的HBPCA算法，其中主要解决的技术问题有以下几点。

1.数据处理

本文采用光学摄像头和红外阵列传感器同时采集人体姿态数据，在进行数据采集与处理时，主要解决的工作包括：数据采集的差异性、数据融合问题、数据集划分。

2.特征网络的构建

通过红外阵列采集的特征数据，由于位置问题、姿态问题，可能会存在特征信息不足和特征信息小等问题，针对此问题，需要选取合适的特征提取网络。

3.HBPCA的训练优化

搭建好HBPCA后，需要对HBPCA进行训练优化，期间解决的问题主要包括：训练方法、训练步骤的、参数选取、模型部署等相关的工作。

系统过程方案

1.系统总体架构

根据以上的基于光学摄像头和红外阵列传感器的HBPCA灯光控制的描述与分析，建立架构系统，总体框架如下。

总体框架过程描述：

本方案主要包括两部分：数据采集与处理部分、姿态指令识别部分。

（1）数据采集与处理部分

第一，普通光学摄像头采集光学特征图;

第二，在光学特征图上进行人体的18个关键点标注;

第三，红外阵列传感器采集热力图;

第四，数据对齐处理，生成NPZ文件数据;

（2）姿态指令识别部分

第一，基于NPZ文件数据训练HBPCA模型;

第二，将采集到的姿态数据，输入到HBPCA，进行人体姿态识别;

第三，将HBPCA识别到的人体姿态数据指令传输给灯光控制系统，灯光控制系统相应做出指令响应。

2.HBPCA的搭建思想

本发明基于局部极小值局限性，学习过程收敛速度，精度综合考虑网络结构的隐层、隐层节点数以及相关的函数。

步骤1：创建HBPCA。

步骤2：创建HBPCA数据集——npz数据集，将该数据作为HBPCA训练数据输入，训练HBPCA模型。

步骤3：普通摄像头和红外阵列传感器采集人体姿态数据指令。

步骤4：将采集的人体姿态数据指令输入到HBPCA训练好的模型中，HBPCA识别人体姿态数据指令。

步骤4：灯光控制系统接收到人体姿态数据指令，并做出相应的指令。

HBPCA设计

1.数据处理

本发明使用红外阵列传感器在数据处理时，遇到的主要问题：特征提取。基于此，本发明提出了数据融合的方法——通过普通光学摄像头采集光学特征图;然后标注人体的18个特征点，如图3、图4;最后通过基于时间戳的数据对齐的方法，将热力图和光学特征图进行数据对齐融合生成npz数据组。

2.网络结构

本发明由alphapose网络、5层3D卷积、maxpooling、3层3D反卷积、全连接层构成，网络结构与过程如图5：

在HBPCA中，先通过alphapose网络生成人体姿态关键点的置信图，接着经过四层3D卷积、maxpooling、四层3D反卷积提取图像特征，经过Full connection层，生成线性向量，输入姿态指令（如“0”表示关、“1”表示开灯、“2”表示打开窗户、“3”表示打开空调等）

3.HBPCA训练

（1）训练参数

训练的参数设置如表1：

（2）訓练过程

HBPCA算法搭建训练步骤如下。

步骤1：预处理图像。

步骤2：普通光学特征图、热力图数据处理。

步骤3：将处理后的数据写入 npz文件。

步骤4：定义HBPCA网络模型。

步骤5：选择训练策略——随机梯度下降。

步骤6：设定合适的batch-size、学习率、优化器等参数。

步骤7：HBPCA训练，打印训练过程中的损失值，保存 epoch 模型，使用验证数据集进行验证，打印验证结果，并存入训练日志。

步骤8：导入测试数据，进行测试。

步骤9：测试数据集上进行模型评估。

结果评估

基于HBPCA系统，对轮形数据集进行分析，构建知识图谱、训练集，搭建神经网络结构，其中网络准确率高达96.5%。

对结果文件进行效果展示，构建不同步数下的直方图和基于热力图的姿态效果，如图6所示。

结束语

21世纪以来，信息高速发展，云计算、大数据、物联网、人工智能等信息技术与各个行业逐步深入融合，关于人工智能相关的理念涌入市场。基于深度学习的算法理论百花齐放，为智能家居发展提供了良好的信息技术环境。

参考文献：

[1] 刘勇，李杰，张建林，等. 基于深度学习的二维人体姿态估计研究进展[J]. 计算机工程，2021，47（3）：1-16.

[2] 周燕，刘紫琴，曾凡智，等. 深度学习的二维人体姿态估计综述[J]. 计算机科学与探索，2021，15（4）：641-657.

[3] 乔迤，曲毅. 基于卷积神经网络的2D人体姿态估计综述[J]. 电子技术应用，2021，47（6）：15-21.

[4] 刘洁，李毅，朱江平. 基于双相机捕获面部表情及人体姿态生成三维虚拟人动画[J]. 计算机应用，2021，41（3）：839-844.

作者简介：陈彪（1994--），男，汉族，湖南人，研究生，AI算法工程师，深圳市信润富联数字科技有限公司，研究方向：AI视觉。