管控区域人员异常行为检测系统与方法研究
2022-07-07周晓芳吴松洋孙伟华
周晓芳 吴松洋 韩 玮 丁 昊 孙伟华 邱 瑾
(公安部第三研究所 上海 201204)
0 引 言
对于监狱、限制进入区域、高密级区域等管控区域和特殊场所，安全问题至关重要。全面、实时、准确地进行人员异常行为检测，能够有效辅助管理人员获取准确信息，提前阻止危险活动的发生，保障区域安全，并实现管理资源的合理分配。
对管控区域范围的异常行为检测本质上是行为识别的问题。随着人工智能、物联网、大数据等技术的发展，行为识别在智能家居[1-2]、老人监护[3-4]、病人康复[5-6]等领域得到了广泛应用。
从分析数据类型角度，目前的行为识别方法主要分为基于图像信号的方法和基于传感器信号的方法。
基于图像信号的方法利用计算机视觉和图像处理等技术，分析所采集的视频或图像进行行为识别。例如，文献[7]基于深度视频中的关节运动信息，提取相对位置信息和角度信息并进行特征融合，进行人体行为识别。文献[8]提出了一种Improved FSSD方法来检测跌倒行为。文献[9]结合卷积神经网络和循环神经网络，提取视频中的时域信息和空间信息，以识别视频中的人体行为。文献[10]针对中小人群异常行为检测问题，提出了自适应阈值的Vibe算法检测运动目标，结合基于加速分割的自适应通用角点检测算法，采用极限学习机算法对群体行为进行学习和分类。
基于传感器信号的方法通过各类型场景传感器采集数据，经算法分析实现行为识别。例如，文献[11]提出基于无线体域网的囚犯异常行为识别方法，采用分类算法检测管控区域内打架斗殴等异常行为。文献[12]基于多传感器时域特征，实现了对8种人体日常行为模式和4种摔倒模式的实时识别。
总体上，基于视频分析的方法可获取的信息更丰富，但是难度相对较大，对于环境、设备和用户的适应较为困难。基于传感器信号获取的信息相对不丰富，但受到的影响小，处理难度相对小，准确性较高，对于实际用于环境的适应性强。本文采用基于传感器信号设计进行人员异常行为检测研究应用。针对管控区域监控应用场景，目前的行为分析方法存在实时性差、目标动作单一、准确率低等问题，本文从位置和动作两个方面提出了全面的行为分析方法。前者判断目标人物位置是否在合理管控范围内，主要基于位置特征实现，后者判断目标人物具体的动作行为，主要基于传感器加速度特征实现。本文实现的监控区域人员异常行为检测系统是综合位置和行为等多种因素的智能分析系统，其优点有：一方面，与现有的以位置管理功能为主的监控系统相比，该系统具有更高的安全性，可对合理位置内的目标行为进行监控；另一方面，与视频分析监控相比，基于动作传感器的行为监测所需计算能力要求低、实时性好、虚警率低，在受控区域内安装方便，是目前技术条件下较好的解决方案。
1 管控区域人员异常行为检测系统
1.1 监控内容及范围
总体上，管控区域内的异常行为分为两种情况：个人异常行为和多人(群体)异常行为。个人异常行为包括闯入、脱管、滞留、暴力动作，而多人异常行为主要指异常接触。异常行为检测系统需能够实时读取被管控人员的位置和动作信息，对相应行为进行分析识别并做出准确判断。该系统由计算机、传感器、基站等硬件设备和数据库、数据处理算法和异常行为识别算法等软件部分组成。本文研究的内容架构见表1。
表1 监控内容及范围
1.2 系统核心硬件
本文所搭建的监控系统的核心硬件有动作感知模块、动作采集基站、位置感知模块和位置采集基站等。
动作感知模块采用多传感器融合方案，包括三轴加速度计、三轴磁力计、三轴陀螺仪。九轴数据融合后，通过2.4 GHz无线频段实时传输至动作采集基站。
动作采集基站无线数据传输频段为2.4 GHz、无线数据传输速率支持48/96 Hz，数据输出接口采用USB2.0，可选配外置定向和全向天线，可接外置移动电源供电，有单独的电源线和数据线，室内外无线传输距离分别为50 m和150 m。
位置感知模块采用2.4 GHz蓝牙技术实现，每个模块都有一个不重复的编号。模块定期主动向周围发送模块编号和定位信号强度信息，发射频次可调。
位置采集基站工作频率为2.4 GHz，工作带宽1 MHz，发射功率0～6 dBm，工作模式有RFID和BLE。当工作在RFID模式时使用私有信道2 401 MHz或2 481 MHz，使用该频道的产品较少，外界干扰较少。当工作在BLE模式时使用蓝牙协议中的37广播信道，避开了Wi-Fi等无线干扰严重的频段。由此，位置采集基站可有效避免系统内部及外界设备的电磁干扰。
1.3 系统拓扑结构
本文完成了基于位置及传感器特征的实时提取和行为分析系统搭建，图1为系统整体架构。通过位置感知模块和动作感知模块分别感知位置信息和动作信息，通过采集层的位置采集基站和动作采集基站上传至后台。采用去噪、平滑、补全、同步等技术方法，将系统所采集的原始数据转化为可用于算法处理的数据。通过建模过程，形成不同类型行为的特征数据库。通过行为分析算法，实现位置行为、动作状态的行为识别，并向应用层提供数据接口。
图1 异常行为检测系统整体架构
基于位置的特征提取硬件系统由高精度蓝牙基站、移动节点和一个实时位置服务器基站组成。系统中作为射频发射器的移动节点附着于目标人员身上，作为射频接收器的高精度蓝牙基站通过以太网接口，提供与实时位置服务器基站的连接。
基于加速度的特征提取硬件系统由动作感知节点、动作采集基站和一个实时动作服务器基站组成。动作感知节点采用三轴加速度计、三轴陀螺仪的传感器融合技术实现，其固定于目标人员手腕和脚腕部位，用于加速度与角速度数据采集。采集数据通过动作采集基站上传至实时动作服务器基站。基于位置和加速度的特征提取硬件系统拓扑结构分别如图2所示。
图2 基于位置和加速度的特征提取硬件系统拓扑图
2 基于位置特征的异常行为检测
位置信号感知模块采用蓝牙技术实现终端接收信号强度(Received Signal Strength Indication，RSSI)信号的感知后，通过位置信号采集模块采集各感知模块信号，并通过位置信号生成算法解析得到可用的位置坐标信号。位置信号生成算法包括位置信号处理算法和位置信号优化算法两部分，整体流程如图3所示。
图3 基于位置的特征提取模型流程
位置信号处理算法通过阵列天线接收的RSSI信号，测量到达角(Angle of Arrival，AOA)，从而精确测量出目标信号的方向和坐标(x，y)，见图4。一个位置信号处理模块可计算出给定高度的标签的2D坐标，两个位置信号处理模块可计算出其3D坐标。
图4 基于AOA测量目标方向和坐标
但是，因管控区域内墙体反射，会产生多个沿不同路径传播的信号分量，通过相互叠加干扰使原信号失真，造成多径效应(Multi-path Effect)。多径效应会导致信号处理模块输出的位置信号产生较严重的漂移。另外，目标移动过程中由于节点缓存数据溢出或网络传输不稳定，会导致数据缺损，表现为目标位置的闪烁和瞬移。为解决以上问题，本文通过卡尔曼滤波器对目标的RSSI值进行修正，采用牛顿迭代算法进一步修正目标的位置坐标，一定程度上克服了多径效应带来的偏差，提高了系统的抗扰度。针对数据缺损问题，采用最大期望算法，在目标的非完整位置数据集中对缺损的数据进行极大似然估计，实现局部最优的缺失位置数据补全。
由于管控区域环境的稳定性，人员行为目的往往与其所经历的关键区域有关。某人员在某时刻进入特定关键区域，并在驻留一段时间后离开特定关键区域，这个过程所产生的时空信息称为行为样本。多个连续的行为样本组成的连续时空信息即为行为轨迹。管控区域日常活动下人体的室内行为需经历多个区域，利用行为发生的位置数据、时间数据可构建出人员行为轨迹。行为轨迹可分为移动行为和停留行为。停留行为和关键区域的变化通常对应着特定的行为意图。因此人员行为轨迹中的关键区域特征成为分析人员行为习惯的关键因素。将连续的行为轨迹分割为更小的行为单元，提取出行为所对应的空间行为特征组，能够更好地利用空间数据进行行为分析。轨迹分割步骤如下：
(1) 获取用户行为轨迹数据，主要包括行为发生关键区域、行为起始时间。
(2) 若关键区域发生变化，触发个体特征表更新，并启动timer计时。
(3) 离开关键区域后，timer计时结束，该关键区域的个体特征数据生成。
完成轨迹分割后，还需构建基于位置信息的人体行为数据库。本文通过模拟管控区域的实际应用环境构建实验平台，实现位置信息采集，然后按照人员类型和所访问的关键区域进行标注和分类，分别建立个体位置行为特征数据库和关键区域人员特征数据库。
个体位置行为特征数据库针对具体人员进行建库，包含该具体人员的一系列空间行为特征组。空间行为特征组包含4个元素
关键区域人员特征数据库针对具体关键区域进行建库，包含该关键区域所含人员特征和时间特征。关键区域人员特征数据库包含2个元素
关键区域的变化可触发个体位置行为特征数据库和关键区域人员特征数据库的更新。在获取人员行为轨迹数据的基础上，把时间、空间、上下文信息与人的行为相关联，实现个体异常行为和多人异常行为的检测。具体来说，通过获取行为初始发生时的空间上下文信息，根据行为的空间变化特征，实现闯入和脱管行为的识别；结合行为发生时间和关键区域的驻留时长，实现滞留行为的识别；通过特定空间的人员特征分析，实现异常接触行为识别。个体和多人异常行为检测算法流程分别如图5和图6所示。
图5 基于个体位置的异常行为识别
图6 基于关键区域的异常接触行为识别
3 基于加速度特征的异常行为检测
动作数据主要由动作感知模块实现人体动作的传感数据感知，其中加速度模块获取加速度三通道数据，陀螺仪模块获取角速度三通道数据。采集数据通过无线传输方式，实时传输至动作采集基站。
不同模块之间因采样频率差异、时间同步问题和模块采集数据缺失，会导致模块间数据无法同步。为解决此问题，本文通过线性插值的方式补全缺失数据，再进行采样，实现数据匹配。针对数据的噪声和毛刺问题，通过移动窗口均值平滑的方式进行数据平滑。
大量数据统计表明，即便在受控实验条件下，仍存在较大的样本间差异和个体差异。样本间差异指同一受试者两次独立动作间差异，个体差异指不同受试者独立动作间差异。为解决数据差异问题，本文提出了基于统计特征的差异削减算法，把不同周期过程的同一类动作人为归一化，从而使不同动作过程的动作可以方便进行比较，缩小因数据差异导致的样本偏差。
本文采用滑动窗口分窗方法对连续数据进行处理，并提取加速度向量幅值(Signal Vector Modulus of Acceleration,SVMA)、加速度幅值的平均绝对偏差(Mean Absolute Deviation,MAD)和角速度姿态角特征值，保证了单个窗口的运动模式一致性和数据准确性。其中，SVMA和MAD分别按式(1)和式(2)进行计算。
(1)
式中：ax、ay、az分别为加速度的x、y和z轴分量。
(2)
综上，基于加速度的特征提取模型流程见图7。
图7 基于加速度的特征提取流程
基于传感器的异常动作检测主要分为样本采集、样本特征统计分析和行为分类三部分。
(1) 样本采集。用于训练样本采集的惯性传感器节点固定于测试人员的手部、脚部等身体部位，以沙袋为动作施加对象，由测试人员模拟暴力动作和非暴力动作的动作状态，获得动作状态的惯性传感器数据信息。记录人员负责记录测试人员的击打次数、过程和类别。
(2) 样本特征统计分析。对样本特征进行筛选组合，在保证识别准确率的要求下，使用尽可能少的特征。特征筛选的方法也是数据降维的过程。用主成分分析法实现特征选择，并设计正交实验等来对样本进行统计。
(3) 行为分类。识别是否为暴力动作属于二分类问题。综合考虑数据获取难度、应用场景、使用条件等因素，选取SVM分类算法用于异常行为检测。选取线性核函数，训练时的输入参数为特征矩阵X和对应的分类标签Y。X为m×n的矩阵，m为样本数量，n为特征数量，即每一行代表一个样本，每一列代表一个特征。Y是m×1的列向量，每行表示当前样本的类别。训练完成后，即可用训练好的SVM分类器对动作类别进行预测。
4 实验与分析
在基于位置特征的行为检测方面，本文分别针对闯入、脱管和滞留行为的算法识别准确率进行测试。每种行为分别进行正样本200组和负样本200组进行采集，然后对各行为的报警漏报率(指标1)和误报率(指标2)进行分析。测试结果如表2所示。
表2 基于位置特征的行为检测实验
在基于加速度特征的行为检测方面，根据样本多样性和多维度特征原则，按照不同性别、身高和体重，选取14名男性和7名女性志愿者分别进行动作数据采集，男性完成494次数据采集、女性完成612次数据采集。通过筛除部分非标准动作和无效数据，选用1 000组数据完成了分类器训练。示例样本加速度的X轴分量和提取的SVMA特征值曲线分别如图8和图9所示，其中y轴单位为重力加速度常量g。
图8 示例加速度样本数据集X轴分量
图9 示例SVMA特征曲线
测试样本总数量为83，其中正样本(暴力动作样本)为57，负样本(非暴力动作样本)为26，从假阳性率(False Positive Rate,FPR)和假阴性率(False Negative Rate,FNR)两个维度来考察二分类算法的分类性能，其中FPR表示将非暴力动作预测为暴力动作的次数占总非暴力样本的比例，FNR表示将暴力动作预测为非暴力动作的次数占总暴力样本的比例。测试结果如表3所示。从表3可以计算出，FPR为11.5%，FNR为1.8%。另外，综合评价一个分类器的常用指标是F值，其计算方式如下：
(3)
(4)
(5)
经计算本次实验中分类器的F值为96.5%。从上述实验结果看，本文所提异常动作检测方法能够在可接受的误检范围内，有效地实现异常动作的检测，很好地辅助管控区域安全管理。
5 结 语
针对人体异常行为，目前大部分已有系统和方法仅仅集中于解决单个或少数异常行为的检测。而在实际情况下，人员动作类型多且复杂，因此需要同时进行全面的异常行为检测。本文提出了基于位置特征和加速度特征的异常行为检测方法，设计并搭建了全流程硬件和软件系统，该方法对于应用环境的适应性和鲁棒性较高。大量实验结果表明，所提方法能够实时准确地对管控区域内的个人异常行为(闯入、脱管、滞留和暴力动作)和群体异常行为(异常接触)进行全面检测，从而能够提前阻止危险活动的发生，保障区域安全。
