基于数字孪生的实验室行为监控系统

章兆丰，周箩鱼

（长江大学 电子信息学院，湖北荆州，434023）

0 引言

基于智慧教育、智慧校园的理念和未来发展趋势，可以预见实验室作为实践育人的重要场所，是将来需要提高信息化、数字化、智能化水平的重要场景。在人工智能、大数据、物联网、数字孪生等技术蓬勃发展，并持续引领驱动各行业领域向着智能化目标稳步推进的背景下，将这些技术应用于实验室场景成为当前的研究热点[1~3]。

本文以实验室为场景，提出了一种基于深度学习的实验室学生行为检测方法，通过建立学生实验室行为数据集，训练生成基于目标检测算法YOLOv5 的实验室行为检测模型，并以此为基础，结合数字孪生技术，构建了一套实验室数字孪生智能监控系统。该系统可以实现对实验室学生行为的实时智能检测，并可通过三维数字化模型对行为检测结果进行直观的可视化表达；另外，系统生成的历史行为数据可用于学生实验行为状态的分析、教学质量评估、实验教学过程的优化以及提高实验室管理水平和实验室资源利用率。

1 实验室行为检测测试及结果

1.1 数据集和实验平台

本文首先采集实验室监控数据，并定义实验行为类别，考虑到行为的一般性，本文定义三种实验室行为（正常实验行为，玩手机行为，睡觉行为）。在此基础之上，对采集到的大量监控数据进行筛选和截取，并对选取到的实验室行为图像进行标注，生成实验室行为数据集。共有524 张图像输入到网络中学习。

实验采用深度学习框架PyTorch 进行搭建，操作平台为Windows 10。具体配置如表1 所示。

表1 训练平台配置

1.2 训练结果

为了评估算法效果，采用精确率（Precision）、召回率（Recall）、平均精度均值（mAP）来评估训练结果。模型采用YOLOV5 检测模型[4]。该模型相比以前的版本，有一些关键改进，提高了检测的性能。

（1）马赛克数据增强。YOLOv5 采用了马赛克数据增强来丰富数据集。这种数据增强方式是把4 张图片通过随机缩放、随机裁减、随机排布的方式进行拼接。这种方法可以很好地丰富数据集，并且丰富了检测物体的背景和小目标。

（2）Focus 结构。YOLOv5 引入了一种Foucs 结构在进入主干网络之前对图像进行切片操作，Focus 结构的引入使得在下采样的过程中保持图像的信息。

（3）CSP 结构。CSPnet 在[14]中被提出。它能够有效解决卷积神经网络主干中的梯度信息重复问题，并将梯度变化从头到尾融入特征图中。CSP 结构的引入不仅降低了计算量，还提高了精度。在YOLOv5 中，设计了两种不同的CSP 结构被分别应用于主干网络BackBone 和特征增强Neck 中。

（4）PAN 结构。YOLOv5 借鉴了PANet[15]，在特征增强Neck 模块中采用了FPN+PAN 结构，FPN 从上往下传递特征，PAN 则从下往上传递特征。这种组合结构主要提高了特征提取的能力。

实验训练参数设置如下：输入的图像像素为640×640，初始学习率为0.01，权重衰减正则系数为0.0005，最大迭代次数设置为300。模型的精确率、召回率以及平均精度均值如图1 所示。可以看到，当迭代次数大约达到100 次时，各指标数值趋近于1。最终Precision 为0.919，Recall 为0.887，mAP@0.5 为0.932。实验结果表明，该模型能够很好地适应实验室行为数据集的数据特征，其精确率和召回率都能够满足本文应用需求。此外，每帧图像的平均检测时间为30ms，也可以满足本文实时检测的需求。

图1 训练结果

2 实验室数字孪生智能监控系统

目前，数字孪生技术在工业领域已经有一些尝试应用，陶飞等人提出了数字孪生车间的概念并阐述了其系统组成和实现方法[5]。同时针对数字孪生车间的信息物理融合进行了系统性的理论解释并给出了框架设计[6]。王尚刚等人提出了一种数字孪生智慧燃气系统[7]，将数字孪生与燃气运营中各种复杂对象、场景相结合，以实现数据一体化；并基于一些实践工作，证明了其数字孪生系统的可行性。然而，教育领域的实际应用还较少，大部分的相关研究仍处于理论探索阶段[8-9]。基于此，本文开展了实验室数字孪生智能监控系统的设计及开发，以推动实验室的智能化建设。

2.1 系统设计

本文的数字孪生系统设计如图2 所示，分为物理层、感知层、数据分析层、数据中转层、驱动及应用层、数据传输层。

图2 实验室数字孪生监控系统设计

（1）物理层。客观存在的物理实体，孪生的目标对象。本设计中指真实世界实验室场景以及实验室学生。

（2）感知层。采集物理实体实时数据的各种传感器或设备。本设计由实验室内监控摄像头采集实时图像数据。

（3）数据分析层。数据分析层负责对感知层采集到的数据进行解析和处理以获取主要孪生数据。孪生数据是数字孪生系统的核心驱动，而要实现虚拟世界对物理层的映射，需要合适的孪生数据作为基础。本设计中，监控摄像头采集到的视频数据无法直接作为系统的孪生数据使用，这里由本地服务器作为处理中心，接收摄像头采集到的视频数据，并通过算法对接收到的视频数据进行相应的处理，算法处理主要分为两个方面：一方面是使用目标检测算法YOLOv5 实现实验室人员的实验室行为检测，输出目标框和对应的行为类别；另一方面是将目标检测算法的输出进行有效性筛选以及完成虚实的定位映射。最终图像数据在该层被处理为Json 数据传输到数据中转层，这里的Json数据就是该数字孪生系统的主要孪生数据，主要包括实验室人员的位置信息和对应的行为状态等信息。

（4）数据中转层。负责数据的管理、存储、共享。本设计采用云服务器作为数据中转站，以实现广域网的数据传输，并可基于云服务器部署Web 端。在云服务器的数据库上存储的数据，一部分是作为实时数据传输到客户端，另一部分则作为持久化数据以供历史查询或统计分析。

（5）驱动及应用层。驱动及应用层是数字孪生系统的具体体现和最终目的，用户通过其与系统进行交互，获取信息。该层需构建三维可视化虚拟场景，通过孪生数据驱动虚拟模型，完成数据的实时映射和可视化。

（6）数据传输层。指基于有线网以及无线网的网络通信，包括通信协议，数据传输层分布于各层之间，将各层连接为一个有机的整体。本设计采用的TCP/IP 协议。另外，网络传输的数据除了监控摄像头到本地服务器局域网传输的数据为视频数据以外，其余广域网中传输的数据皆为轻量的Json 数据。

2.2 虚拟场景的搭建

虚拟场景需要尽量还原物理层，且重点在于体现出物理层的主要特征，在本文中，主要特征包括实验室场景环境的静态特征和实验室学生行为的动态特征。本文以Unity 引擎为核心实现数字孪生虚拟场景的搭建。Unity 是一个2D/3D引擎和框架，提供设计2D、3D 应用场景的系统，且具有十分丰富和强大的功能，所以非常适合用于搭建虚拟世界。

2.2.1 虚拟模型三维建模、动画、贴图

虚拟模型是数字孪生的核心部分，是虚拟场景可视化的基础。本文主要采用三维建模软件3dsmax 进行实验室场景中环境、各种物品和实验室学生的虚拟模型的建模，并根据本文定义的实验室行为类别进行相关人物模型行为动画的制作，实现人物行为动态特征的可视化表达。另采用Substance Painter、PS 等软件进行模型贴图相关操作，赋予模型纹理及材质，以提升模型的观感。

2.2.2 UI 界面制作

在虚拟场景中除了要显示实验室本身的场景，还需要有UI界面提供用户友好便捷的交互功能和数据可视化面板等。本文主要使用Unity 引擎自带的UGUI 系统制作UI 界面。

2.2.3 脚本编写

在Unity 中主要使用C#语言编写脚本来进行应用开发，如响应用户输入、控制虚拟世界中发生的事件和对象行为。本文中脚本需要实现的功能主要有三个部分，一是实现应用通信功能以获取孪生数据；二是编写虚拟模型控制脚本，根据获取的孪生数据控制和驱动虚拟人物模型行为动画；最后是UI 界面数据显示和交互式控件逻辑控制脚本。

2.2.4 基于Unity 整合

最终需要在Unity 引擎上将上述所有虚拟模型、动画、脚本等进行整合，从而请求、接收数据、驱动虚拟模型，完成真实数据与虚拟模型的虚实融合，实现物理层面到虚拟层面的实时映射。

2.3 客户端及测试结果

在Unity 上开发完成的项目，可以发布到多种平台作为客户端，如安卓、Windows、Web端等主流平台。现以Windows 平台的客户端为例，介绍和展示该系统的客户端。

图3 为实际整体测试中客户端虚拟场景画面与本地服务器端正在处理的视频监控画面的对照。测试结果表明，虚拟模型行为状态与实验人员行为状态基本同步，且本地服务器端的处理速度能达到45ms每帧左右，满足实时性要求。

图3 测试及对照效果展示

图4 为数据统计界面。实验数据表明，用户可以通过该系统查询某一天各种行为状态在不同时间段内的占比以及当天的实验室设备使用率，满足现场应用需求。

图4 客户端界面—数据统计界面

3 结语

本文首先以实现实验室监控智能化为出发点，基于深度学习算法提出了一种实验室行为检测方法，并经过实验表明了构建的检测算法模型能够在监控下对定义的学生实验行为进行实时、准确的识别，基本实现对实验室行为的智能监控。另外，结合数字孪生技术设计并实现了一种实验室数字孪生智能监控系统，为此搭建了本地服务器和云服务器用于系统数据的分析、存储、共享；基于Unity 搭建了实验室三维数字化空间实现了虚实映射。系统测试结果表明，该系统的交互性、实时性、虚实同步性以及可视化效果基本达到了预期效果。

该实验室数字孪生智能监控系统，不仅能够对实验室学生行为进行有效的智能监测，还可以在保护个人隐私和不需要终端接收大量视频数据的条件下，仍然通过系统客户端实时直观地反映实验室学生状态和实验室资源利用情况。此外，该系统还可为用户提供历史数据，以用于学生实验行为的分析、实验教学过程的优化、教学质量评估等。综上，该系统可用于提高实验室教学和管理水平，大量减少人力消耗，进而推动实验室的智能化管理和教学。