基于人工智能技术的邮轮智能防疫追踪系统

乐玉强

（上海船用柴油机研究所，上海 201108）

0 引 言

2020年爆发的全球新冠肺炎疫情给全球邮轮经济的发展带来了很大冲击。邮轮因具有人员密集、医疗资源匮乏等特点而成为疫情重灾区。发生疫情的“钻石公主号”邮轮在没有任何防疫手段的情况下，相关管控一片混乱。目前豪华邮轮建造领域的关键技术仍由欧洲的几大传统造船厂掌握，其在船型设计、动力、环保和装饰等方面不断有新的发展创新出现，但其在邮轮信息化方面的建设相对滞后。尤其是在人工智能、大数据分析和物联网等新技术的应用方面，造船行业明显滞后于其他行业。这主要是由于涉及隐私保护，制约人工智能技术对相关数据的采集，从而限制了该行业的发展。

国内一般将传染病划分为甲、乙、丙等3类，其中甲类和乙类分别为强制管理类和严格管理类传染病。甲类传染病包含鼠疫、霍乱等；乙类传染病包含新型冠状病毒肺炎、非典型肺炎、禽流感、登革热、炭疽、伤寒和疟疾等，共26种。这些传染病具有以下2个特点：

1）发病快、传染快，均可通过空气和人体呼吸道传播，在人员密集、密闭场所多的邮轮上传播速度更快；

2）发病前后通常伴有发热现象和肺部感染导致的血氧饱和度下降的情况，一般可通过电子体温监测、血氧饱和度监测等手段进行预判。

我国邮轮产业的发展必须紧跟时代，非常有必要在邮轮上设置基于人工智能技术的智能防疫追踪系统，为智慧邮轮和安全邮轮建设提供基础保障。

1 邮轮智能防疫追踪系统的组成和功能

该防疫追踪系统通过岸端和船端实时同步更新乘客和船员近14 d及实时的身体状态，第一时间准确发现体温和血氧饱和度等指标异常的人员，之后对其进行相应的医学检测，确定所患传染病类型，并采取相关治疗及隔离措施。此外，通过该系统准确绘制发病人员的行动轨迹及与轨迹相关的密接者的信息，并进行2次、3次密接者追踪运算和对相应人员的实时定位等操作。

该系统主要由热成像测温设备、高清摄像机和智能解析服务器等视频安防类设备组成，需接入智能手环系统，同时通过内网数据接口与登船系统、医疗系统和酒店管理系统（Property Management System，PMS）无缝对接。系统架构见图1，主要用到热成像技术、基于视频的人脸识别技术、大数据分析技术、物联网技术和邮轮卫星通信技术等。系统通过船、岸数据接口实现实时同步全程数据追踪与健康安全分析。

图1 邮轮智能防疫追踪系统架构

1.1 系统操作流程

系统操作流程包括如下4项。邮轮在单个航程中可能会停靠多个港口，每停靠1个港口，都应重新按该流程操作。

1）到港前健康数据采集与上传：在线健康申报或在线Check-in等提交，上传必要的数据和资料（包括体温数据和健康码）。

2）登船时健康状态监测与核实：在乘客排队登船时对其进行无感体温扫描，利用带热成像摄像头的手持或自助数字哨兵设备进行体温筛查和健康码核验。

3）航行期数据采集-追踪-分析：在餐厅、剧院和会所等公共密闭场所的出入口设置具有测温功能的人脸识别摄像机，对乘客进行无感体温监测，并进行历史数据分析。同时，接入可监测体温、血氧饱和度等的智能手环监测系统，将儿童、老人等特定乘客的健康数据接入数据库中一并进行分析。

4）离船前健康状态复检：在离船出口区域设置无感测温人脸识别摄像机，自动监测离船人员的体温情况，可在到岸离船和航行结束离船2个场景中进行。

1.2 系统实现的主要功能及指标

实现的功能主要分为系统类功能和软件操作类2种，其中：系统类功能包括实时测温、人脸识别、分析与追踪等；软件操作类功能包括操作人员通过软件实时监控和搜索，以及与相关邮轮办公软件和应急管理软件进行数据共享等。

该系统的主要指标涉及相关技术载体的硬件性能，如热成像设备测温精度、人脸识别准确率、后台接入设备数量要求和追踪次级等（见表1）。相应的技术指标随船型的变化进行调整，此处接入的设备数量主要针对的是13万t Carnival Vista级船型。该系统的主要功能应能覆盖绝大部分乘客和船员，对于部分易感染的儿童和老年人，可通过增加监测手环进一步精确地全天候监测其体温、血氧饱和度等指标。儿童因新陈代谢快，经常出现内热等现象，其正常体温往往高于成年人，通过佩戴手环精准确认体温，降低防疫系统的误报率。对于老年人等体质较弱的人群，可佩戴智能手环，这样有助于发现早期的肺部感染造成的血氧饱和度下降。呼吸困难是甲类和乙类传染病感染人群发病前后的重要临床表现之一。这与人体的血氧饱和度下降有关，主要是肺部感染所致。根据国内相关临床医学评测，血氧监测手环在阻塞性睡眠呼吸暂停低通气综合症初筛方面具有较高的临床价值［1］。由此可见，腕表式血氧仪在监测人体血氧饱和度方面具有很大优势，对于邮轮防疫体系的构建而言具有较高的实际利用价值。

表1 系统的主要功能及指标

1.3 系统软件

后台软件系统需建立中央管理数据库，支持连接不少于1 000个不同类型的热敏设备和摄像机等终端，具备历史数据跟踪和密接者追踪功能，并能覆盖整个航程。所有数据通过本地服务器存储，并定时通过卫星通信系统上云备份。软件具备与第三方系统（如登船系统、医疗系统、PMS和智能手环监测系统等）进行数据连接的软件包［2］。应用软件应具有实时测温监控追踪功能，通过各入口测温系统与视频监控系统联动，实时监控乘客的健康状况。若发现高温乘客，可立即追踪其密接者。另外，软件中应设置单独模块，用于记录和分析采集到的每位乘客或船员的健康状态信息，该模块不仅能调取登船系统中的客户数据，而且能向医疗系统输送数据，全方位、多角度对乘客的健康保驾护航。

2 人脸识别视频监控系统软硬件部署

人脸识别视频监控系统包含以下4个核心组成部分［3］。

1）视频处理／人脸捕获工作站：在视频图像中发现人脸，评估图像的质量并将其提交给人脸识别比对工作站。

2）人脸识别比对工作站：提取目标人物的人脸图像特征，并将其与数据库中的相关数据相对比。

3）黑名单数据库：根据实际需求制订黑白单照片采集模板，并将相关数据录入数据库中。

4）报警显示工作站：根据数据对比结果进行报警显示，或将相关对比结果传输给操作人员的终端设备。

软硬件部署主要涵盖前端摄像机和后台部署。对于已运营的邮轮而言，可单独部署前端热成像摄像机，在后台设置相应的AI（Artificial Intelligence）算法和测温服务器的软硬件设备。对于在建的邮轮，可在视频监控系统中规划前端热成像人脸识别摄像机，并将智能防疫追踪系统嵌入视频综合服务平台，实现统一部署、统筹管理。

2.1 前端硬件部署

以Carnival Vista级邮轮（中国首制邮轮船型）作为参考，虽然该船型的安防视频监控点能达到1 000个，但只需在关键点位设置热成像人脸识别摄像机。本文以商业甲板层和舱房标准层为例进行分析。热成像人脸识别摄像机点位布置见图2。

图2 热成像人脸识别摄像机点位布置

室内主要出入口应设置具有测温和人脸识别功能的摄像机；其他场所应设置人脸识别摄像机；大型室内密闭场所（如剧院、会所等）应增加具有测温功能的摄像机。舷梯和成人娱乐场所出入口应设置移动式测温设备；室外场所应设置星光级或黑光级人脸识别摄像机。所有摄像机的像素要求不低于200万。

2.2 视频综合服务平台部署

2.2.1 整体部署

1）平台硬件：在后台控制室内安装监控管理平台服务器、AI算法及测温服务器、控制键盘、智能存储主机和视频编／解码器，并配备监控屏幕墙和4联控制操作台，存储主机的容量需保证图像保存时间不小于30 d。［4］

2）平台软件：部署的安防管理软件平台应基于“统一软件技术架构”理念设计，采用业务组件化技术，满足平台对业务的弹性扩展需求。该平台适用于全行业的通用综合安防业务，对各系统资源进行整合和集中管理，实现统一部署、统一配置、统一管理和统一调度。

2.2.2 平台功能

1）平台子系统统一集成、统一监控。平台对各子系统进行统一管理和控制，实现用相同的环境、相同的软件界面对分散的、相互独立的子系统进行集中管理，为系统交付及维护人员提供一站式安装、运行和维护服务。

2）基于组件设计，便于扩展。平台基于组件化理念设计，以各类功能与应用整合和集成为核心，实现由单纯的图像监控向基于深度学习算法的人脸识别应用的拓展和延伸。

3）应用接口开放。平台通过Web Service和http接口提供基础服务，实现应用接口开放，接口遵循RESTful规范。对于已运营的邮轮而言，安装该系统需调用视频监控系统的视频等数据，厂家应提供SDK软件开发包，SDK中需含有不同功能库的动态链接库（Dynamic Link library，DLL），DLL中封装有厂家的功能函数。在系统开发过程中，为调用DLL中的函数，必须要有函数原型声明的头文件（.h文件）和库文件（.lib文件）。因此，用户必须将需使用的功能库的DLL文件、头文件和lib库文件导入编程环境中［5］。

2.2.3 平台架构

1）逻辑架构：可通过门户、客户端和移动客户端访问平台，其中门户为Web集成框架，集成各Web组件提供的菜单界面。

2）业务架构：综合安防管理平台采用组件架构，不同组件承担不同的功能，从能力上分为共性业务组件、通用服务组件和基础环境组件。

3）数据架构：平台中的数据包含结构化的业务数据、资源数据、录像数据、图片数据及缓存。业务数据存储在PostgreSQL中；资源数据存储在目录服务中；录像数据存储在智能存储主机和云存储中；图片数据存储在asw组件（存储接入服务）中；部分高热访问数据存储在redis缓存中。

4）部署架构：部署架构图见图3。平台按组件维度进行拆分部署。拆分可将数据库独立部署到独立的服务器中，可将tomcat容器中的组件拆分部署到独立的服务器中，可将设备接入框架、媒体网关、视频点播和级联网关等组件独立部署到其他服务器中，可将核心服务单独部署。

图3 视频综合服务平台部署架构图

3 基于视频的人脸识别和跟踪算法的应用

在进行图像识别之前，应先对人脸图像进行预处理，在图像识别和分析过程中对输入的人脸图像进行分割、特征抽取和匹配等。预处理方法主要有直方图均衡化、灰度拉伸、中值滤波和同态滤波等。对图像进行预处理能去除图像中与人脸不相关的信息，准确定位人脸部分，使图像细节更明显，进一步提高人脸图像特征提取、匹配和识别的可靠性［6］。人脸验证模式主要有3种：

1）1∶1 验证，计算机对当前人脸与人像数据库进行快速比对，得出是否匹配；

2）1∶N验证，在海量的人像数据库中找出当前用户的人脸数据并进行匹配；

3）M∶N验证，通过计算机对场景内的所有人进行面部识别，并将所得结果与人像数据库相比对，是动态人脸比对。

1∶1验证模式和1∶N模式属于配合式验证模式，适用于门禁考勤、海关通行等场景中。邮轮场景下的人流量较大，势必需采用基于视频的人脸识别算法和M∶N验证模式作支撑。M∶N验证模式属于非配合验证模式，通常在一段视频中无法看到乘客的正面映像，因此必须利用少量侧脸图片，通过3D建模还原正脸图片，并保证具有极高的还原度。模糊照片还原技术模型见图4。模糊图片还原之后，还原结果能在百万级人脸的商业数据库中将目标缩小到前50范围内，实现将多张人脸照片合成为高质量照片和还原人脸功能。

图4 模糊照片还原技术模型

算法的精准度取决于人脸识别算法模型，包括能识别的人脸特征点数量、年龄分布、人种、性别、图片清晰度、角度、光线、面部遮挡、化妆情况和表情等。结果的可信度也取决于比对库的大小，比对库越大，误识率就越高，越需更复杂精密的算法模型。同时，可结合体温检测进行关联分析。在人脸识别的基础上，通过姿态识别、行人检测、物体识别图像分类和像素分割实现人脸与身体姿势及行动轨迹的融合，以实现更精准的密接者追踪。

还可进一步进行人脸关键点检测（包括眼角、眉毛尖端、嘴角和鼻尖等），各特征点以图像坐标的形式呈现，不同的特征点数量（21～106个）可表达不同精度的人脸变化。人脸关键点检测功能可采用基于级联回归的算法，结合深度学习的五官标定初始化，综合多个不同标准的多点数据集知识，使同一个模型能应用于不同数量的关键点检测中，以保证具有更小的误差和更好的适应性。人脸检测技术中的关键点定位算法可对各种表情、姿态和角度的人脸进行精准关键点定位。从专用数据集中随机选取数据，其中，80%用于训练，20%用于测试，计算所有图的平均每点误差与眼距之比的平均误差需在5%以内。加入面部轨迹追踪与视频动态解析技术，极大地提高人脸检测的速度，能随着视频内容的变化迅速定位人脸所在位置，进而计算与周围人群接触的距离和停留时间。新冠肺炎最容易发生接触传染的距离在2 m以内，最短接触时间约为15 s。设定参数之后，即可通过大数据分析列出1号病人的Ⅰ类密接者、Ⅱ类密接者和Ⅲ类密接者。

为实现更精准的密接者追踪，可通过提取在目标图像跟踪过程中得到的图像的主要特征，组建图像特征集，通过计算提取的特征的均布差值得到目标图像与背景图像的差别，将目标范围约束在对应的空间中。在进行目标图像识别时，融合EM（Expectation-Maximization）算法，根据目标图像投影熵特征分布模型获取目标图像中与各目标特征相对应的混合高斯函数的Mahalanobis间距，得到目标图像特征所属类别，进而完成精确的目标图像跟踪。试验结果表明，多摄像机下的目标跟踪关联算法精确度高，效率高［7］。

4 结 语

基于人工智能技术的邮轮智能防疫追踪系统部署之后，能有效地对船上可能发生的疫情做出预判、告警和追踪，为整个航程的防疫管控提供有利的先导条件。同时，从热成像、人脸抓拍、告警提醒、人为干预和数据追溯等多个角度为防疫管控提供强有力的技术支持。此外，与登船系统和邮轮医疗系统进行实时对接和数据共享，符合智慧邮轮和安全邮轮的发展理念。本文所述防疫追踪系统仅用于疫情的早期发现和感染人群轨迹追踪中，为邮轮防疫安全管理提供告警和追溯等服务。后续可进一步将该系统拓展应用到疫情快速发展之后的工作中，辅助管理团队对邮轮开展分区隔离管理工作。