基于TSN 的化学实验室人员不安全行为模式识别

黄振邦

（1 中国人民公安大学 信息网络安全学院， 北京 100038； 2 安全防范技术与风险评估公安部重点实验室， 北京 100038；3 中国人民公安大学 公共安全行为科学实验室，北京 100038）

0 引 言

不安全行为是导致化学实验室事故的重要原因之一。 2021 年7 月24 日，江西省吉安市欧普特实业有限公司由于实验员操作不当，导致了实验室爆炸事故，造成了1 死1 伤；2021 年3 月31 日，中国科学院化学研究所的学生在实验过程中因操作不当，导致了实验室爆炸事故，造成1 名学生当场死亡；2018 年2 月28 日，美国宾夕法尼亚州埃克斯顿Frontage 实验室人员因违规接触氰化钾而导致死亡。 可见，在实验和其他日常工作中，化学实验室中人员的不安全行为、不当操作极有可能引发实验室安全事故。 事实上，自20 世纪90 年代起，国内外学者对不同类型的事故原因进行了大量的统计分析，发现人为因素是事故中最为重要的因素之一。因此，减少实验室中的人员不安全行为，成为了降低实验室安全事故风险的重要途径之一。 除加强安全制度的设计与落实、加大实验室人员培训力度等管理措施之外，借助科技手段提高实验室人员不安全行为的识别与预警能力，也成为了重要的风险防控手段。

操作人员在完成各种作业过程中存在一种潜在的危险性，这种活动行为就叫做不安全行为。 高校化学实验室中的人员不安全行为是在违反化学实验室管理运行标准规范的情况下，出现的对实验室人员、设备、环境产生负面影响乃至危害安全的行为。 例如，清华大学化学工程联合国家重点实验室的《实验室规章制度》中仪器管理办法第11 条规定：不准携带或吃任何零食；中山大学的《实验室安全基本准则》中第6 条规定：实验室内禁止吸烟、饮食、娱乐和睡觉等与实验操作无关的活动；《中国人民公安大学学生实验守则》中规定：应及时制止玩手机、游戏、睡觉等与实验室内容无关的行为。 在以往的针对实验室安全的研究中，很多学者通过研究事故案例，分析事故原因，在安全管理制度、安全标准化建设、安全教育培训和事故应急预案等方面提出对策，刘宝勇等基于“三一七”理论创新了实验室管理模式。 近年来，随着计算机技术的发展，赵江平等基于图像处理技术对人体跌倒行为进行识别；李明等基于视频图像处理对实验室异常行为进行检测，得到了较为准确的结果。 然而，使用传统的图像处理技术识别人员行为，在提取特征时通常需要进行较为复杂的参数调整，模型的泛化能力和鲁棒性通常较差，计算效率较低，实时性差，难以应用到实际的实验室安全管理过程中。

随着高性能计算和深度学习技术的广泛赋能，人体行为识别得到了快速发展。 人体行为识别主要是通过识别、分析人的动作类型、行为模式，并使用自然语言等方式对其加以描述。 行为识别属于计算机视觉领域中的模式分类问题，主要包括视频预处理、行为表达和行为分类3 个步骤。 近年来，国内外学者提出了多种深度学习算法驱动的人体行为识别方法，例如，基于C3D、Two－stream、TSN、TSM、Slow－fast 等深度神经网络的方法，在公开数据集上的识别率普遍达到了较高的水平。 张舟等提出了一种顺序验证的关键帧提取方法，并应用到行为识别中；Fang 等通过卷积神经网络确定工人在高空工作时是否佩戴安全带；李华等基于深度学习方法对建筑工人在工作时是否佩戴安全帽进行检测；佟瑞鹏等融合了深度学习视觉、深度信息图像、可穿戴传感器等智能识别技术，有效提高了矿工不安全行为识别的抗干扰能力；温廷新等提出了一个基于迁移学习的网络模型，对煤矿工人的不安全行为进行识别。 然而，利用深度学习方法专门针对实验室中人员不安全行为识别的研究十分匮乏。

基于此，本文首先以某高校化学实验室为实验场景，由多位志愿者在设定的实验场景下模拟特定的不安全行为，通过高清摄像机采集视频监控数据，构建化学实验室人员不安全行为模式数据集；建立基于时域分割网络（Temporal Segment Network，TSN）的人员不安全行为模式识别模型，并测试模型性能，为化学实验室人员不安全行为的预警和防控提供技术支撑。

1 研究数据与方法

本文的技术路线，分为5 个步骤，如图1 所示。

图1 技术路线Fig.1 Research process

（1）定义本文研究的不安全行为模式，在实验室场景下通过高清摄像机，采集并整理得到视频数据集；

（2）对视频数据进行数据处理；

（3） 建立以深度残差网络（Residual Neural Network， Resnet） 为 基 础 模 型 的 时 域 分 割 网 络（Temporal Segment Network， TSN），在 基 础 模型Resnet 中增加dropout 层，防止训练数据出现过拟合现象；

（4）将处理后的数据输入到网络中进行模型的训练并调整参数，将数据送入SoftMax 分类器中进行分类识别，并使用训练后的模型对化学实验室人员不安全行为模式数据进行测试；

（5）通过计算召回率、精确率和1 指数对模型性能进行评价。

1.1 构建实验数据集

根据高校化学实验室的相关管理规定，本文选择吃东西、喝水、睡觉、玩手机、闻嗅试剂5 种不安全行为模式作为识别目标。 其中，吃东西和喝水会导致出现误食实验室危险化学品的情况；睡觉和玩手机会分散实验人员对化学实验的注意力，从而增加发生实验室安全事故的概率；选择闻嗅试剂作为识别目标则是因为化学实验室中存在多种有毒化学试剂，闻嗅试剂可能会损害人体健康。 具体行为模式描述如下：

（1）吃东西。 实验人员将食物放入口中，随后进行咀嚼，当这两个动作连续出现时，即判定实验人员出现了吃东西行为；

（2）喝水。 实验人员将装有液体的杯子或瓶子与口部接触，做出仰头或倾斜杯子动作时，即判定实验人员出现喝水行为；

（3）睡觉。 实验人员做出趴在桌子上或闭着眼睛背靠在座椅上的动作，且保持该动作时间较长时，即判断实验人员出现了睡觉行为；

（4）玩手机。 在实验室中手持手机进行操作或将手机放在桌上操作的行为；

（5）闻嗅试剂。 实验人员的口鼻与装有液体的试剂瓶、烧杯、试管等实验仪器接近至一定距离（1 ～5 cm）且口部并未与仪器接触时，即判定实验人员出现了闻嗅试剂行为。

本文选择的实验场景为某高校化学实验室。 实验室两侧靠墙部分有储物柜，储物柜中的仪器柜上摆放着多种化学实验设备，干燥箱、培养箱、易爆炸的蒸馏器等；储物柜中的药品柜中有多种化学药品，易燃危险品乙醚等，有毒化学品硫化氢、金属钠等。实验室中间部分放有两排长实验桌，长桌上摆放有烧杯、试管和试剂瓶等实验器材。 为了尽可能增加场景的多样性，在实验室中选取3 个角度设定了3个实验场景，如图2 所示。

图2 实验场景Fig.2 Experiment scene

场景1 所设区域为实验室左侧部分，包括储物柜、实验桌及座椅；场景2 所设区域为实验室中间，包括两排实验桌以及杂乱的座椅；场景3 所设部分为实验室右侧部分，包括储物柜、白色桌布掩盖的实验桌及1 张座椅。 由于实验室场地有限和摄像机的录制范围较大，最多可以保证3 个场景之间不会互相干扰，因此选择设定3 个场景，每个场景细节各不相同。

录制视频所使用的监控摄像机分辨率为4 096×2 160，监控摄像机放置高度约为2 m，镜头角度为向下倾斜30°，可以覆盖整条实验桌及过道并且不会拍摄到其他场景中的人员，摄像头设置的位置如图3 所示。 录制视频的帧速率设置为25 fps，采用自然光照明和室内灯照明且照明情况良好。

图3 实验室布局示意图Fig.3 Laboratory layout schematic diagram

采用志愿者模拟不安全行为的方式进行视频数据采集。 共召集志愿者8 名，每名志愿者分别模拟5 种不安全行为模式，并且在同一时间段、同一场景，有且仅有一位志愿者进行不安全行为模式的模拟。 志愿者模拟不安全行为模式的视频截图示例，如图4 所示。

图4 志愿者模拟不安全行为模式示例Fig.4 Examples of simulated unsafe behavior patterns

1.2 数据集处理

对于构建的视频数据集，首先进行长段视频分割，并设置标签。 将录制的长段视频按照6 s 间隔自动分割，得到视频片段，对得到的视频片段逐个查看视频内容，并按照定义的不安全行为模式的标准对视频片段按照类别设置标签，即将每个视频片段划分到5 种不安全行为模式类别下，并对视频片段文件按照类别进行重命名，得到5 种不安全行为模式的视频片段共5 646 个。其中，吃东西966 个、喝水967 个、睡觉1 275个、玩手机1 483 个、闻嗅试剂955个。 得到视频片段后对视频抽帧，并生成索引文件，用于深度学习模型的训练。

模型训练前将数据集划分为训练集和测试集。为了检验模型在普通随机划分情况下的识别效果，以及模型针对不同人员的行为模式识别效果，将实验分成两组，以数据集划分方式的不同进行区分。第一组：对所有数据随机进行5 次划分，每次选取总数的80%作为训练数据，20%作为测试数据，每次分别得到4 517 个训练数据和1 129 个测试数据；第二组：挑选不同人员进行划分，在8 名志愿者中采用其中7 名志愿者对应的视频作为训练数据，1 名志愿者对应的视频作为测试数据，测试集中志愿者的视频数据在训练集中不会出现，只在测试集中出现，共进行3 次划分，分别对模型进行训练、测试。 通过两种实验数据集划分方式进行对比实验，验证模型的识别效果以及泛化能力。

1.3 模型构建

本文构建了基于时域分割网络（Temporal Segment Network，TSN）的化学实验室人员不安全行为模式识别模型。 模型框架如图5 所示，具体步骤如下：

图5 模型框架Fig.5 Framework of the model

（1）向模型输入处理过的视频数据，将输入的视频数据划分为时间相等的几个部分（segment）；

（2）从每个部分中随机选取视频段（snippet）进行卷积操作，提取数据特征，每部分视频经过卷积操作后都会给出基于该部分视频行为类别初步预测得分；

（3）不同部分的初步预测得分采用共识函数融合来产生共识，最后将得到的共识送入分类器（预测函数）中进行最终的预测。

具体来说，输入一个视频，TSN 把其按相等时间间隔分为部分｛，，…， S｝。 随后，按照公式（1） 建模。

其中：（，，…， T） 代表段序列，每个段T从其对应的部分S中随机采样得到；（T；） 表示采用参数为的深度残差网络作用于视频段T，（T；） 返回T相对于所有类别的初步预测得分；代表共识函数，通过共识函数，结合多个部分的初步预测得分，以获得其之间关于预测类别的共识；代表预测函数，本文采用SoftMax 作为预测函数，预测整个视频中每个行为类别的概率。

本文共识函数采用简单形式， 即G ＝g（F（），…， F（T）），对于类别（1，2，…，5），采用取平均函数，从所有部分中相同类别的得分中推断出某个类别分数G。

本文卷积操作选择了深度残差网络Resnet101作为基础模型，由100 个卷积层和1 个全连接层组成，总共包含5 个层级。 其中，Max Pool 表示最大池化；Average Pool 表示平均池化；fc 表示全连接层，并在全连接之前增加dropout，防止数据出现过拟合现象；Conv 表示改变维度的卷积块；Conv Block 表示不改变维度的卷积块，每个卷积块由3 个卷积层组成。

模型训练参数设置：输入视频分为3 部分，学习率为0.001，训练批量为16，迭代次数为100，dropout比率为0.8，迭代次数达到30、60 时衰减学习率。

1.4 模型评价指标

本文采用召回率（）、精确率（） 和1 指数对模型的识别结果进行评价，计算式（2）～式（4）如下：

其中：为被正确分类的正样本数；为被正确分类的负样本；为被错误分类的负样本；为被错误分类的正样本。

例如，对闻嗅试剂这种模式而言，当标签为闻嗅试剂的样本被识别为闻嗅试剂时，就属于被正确分类的正样本；当标签为闻嗅试剂的样本被识别为其他行为模式的样本时，就属于被错误分类的正样本；当其他几种行为模式的样本被识别为闻嗅试剂时，就属于被错误分类的负样本。

2 结果与讨论

为了验证模型对化学实验室场景下的不安全行为的识别效果及泛化能力，使用本文构建的化学实验室人员不安全行为模式数据集对构建的模型进行测试。 共进行两组实验，通过第一组实验验证模型的识别效果，通过第二组实验验证模型的泛化能力，并对出现的情况进行分析和讨论。

第一组实验得到的5 次测试结果的召回率（）、精确率（）、1 指数的平均值见表1。

表1 第一组实验测试结果Tab.1 Test results of the first group of experiments %

模型识别5 种不安全行为模式的结果的召回率（）、精确率（） 和1 指数的平均值分别达到了99.3%、99.5%和99.4%，各项评价指标均在98%以上，表明本文构建的基于时域分割网络的化学实验室人员不安全行为模式识别模型，可以准确地识别本文定义的5 种化学实验室不安全行为模式，具有较好的识别效果。

第二组实验得到的3 次测试结果的召回率（）、精确率（）、1 指数的平均值，见表2。 模型识别5 种不安全行为模式的结果的召回率（）、精确率（） 和1 指数的平均值分别是972、975和973，与第一组实验相比略低。 喝水模式的召回率仅为92.9%。 实验结果显示，第二组实验的第1 次实验中模型误识别的样本数量较多，因此对该次实验结果进行进一步分析，第二组实验中第1 次实验结果的部分混淆矩阵，见表3。 喝水样本中有10 个样本被误识别为闻嗅试剂，可能是由于用杯子喝水和凑近烧杯闻嗅试剂的行为存在相似性；玩手机的样本中有6个样本被误识别为吃东西，可能是由于监控摄像头在实验区域的斜上方，人体遮挡住了手机或食物，导致出现误识别的情况； “吃东西”的样本中有2 个样本被误识别为喝水，可能是由于吃东西和喝水都是将食物或水杯递到嘴边，行为存在相似性。

表2 第二组实验测试结果 Tab.2 Test results of the second group of experiments %

表3 第二组实验部分混淆矩阵Tab.3 Partial confusion matrix of second group of experiments

第二组实验总共设置3 次实验，其余2 次实验中被误识别的样本数量较少，其识别结果的各项评价指标与第一组实验相近，只有第1 次实验中出现了被误识别的样本数量较多的情况。 出现这种情况的原因是第1 次实验的测试集中志愿者存在多余动作，对模型识别不安全行为模式造成了一定程度的干扰，但是第二组实验模型识别结果的各项评价指标仍在90%以上，表明模型仍可以较为准确地对视频数据进行识别。 在高校化学实验室中，实验人员在进行实验时不可避免地会存在多余动作，而实验结果也证明了在针对存在多余动作的视频数据时，本文构建的模型仍可以较为准确地按照本文定义的标准对各个不安全行为模式视频进行识别，表明本文构建的基于时域分割网络的化学实验室人员不安全行为模式识别模型具有一定的泛化能力，即面对新出现的人员，也可以准确地识别本文定义的5 种不安全行为模式。

3 结束语

为了建立化学实验室场景下的人员不安全行为模型，本文首先调研了高校化学实验室的相关规章制度，定义了喝水、吃东西、玩手机、睡觉、闻嗅试剂5 种化学实验室人员不安全行为模式，进而构建了不安全行为模式视频数据集，建立了基于时域分割网络的化学实验室人员不安全行为模式识别模型，对上述5 种不安全行为模式进行识别。 结果显示，在第一组实验中，5 种行为模式识别结果中的1 指数均在99%以上；第二组实验中，5 种行为模式的识别结果的1 指数均在95%以上。

本文构建的基于时域分割网络的化学实验室人员不安全行为模式识别模型，可以在化学实验室场景中准确地识别本文定义的5 种不安全行为模式，且该模型具有一定的泛化能力，预期可以为化学实验室人员不安全行为预警和风险防控提供技术支持。

本文的研究工作仍存在一些不足之处，如定义的不安全行为模式较简单，而在化学实验室场景中仍存在更加复杂的不安全行为模式，这些复杂的行为模式目前尚难以基于本文提出的方法进行准确识别，仍有待进一步研究。