基于知识图谱的建筑安全领域计算机视觉研究综述

2021-04-02孙龙龙王其宽顾嘉浩雷吉烽

安全与环境工程 2021年2期

孙龙龙，王其宽，施凯，顾嘉浩，雷吉烽

(1.重庆大学管理科学与房地产学院，重庆 400044；2.中国地质大学(北京)工程技术学院，北京 100083)

建筑业是高风险行业，建筑施工现场存在的诸多安全风险因素导致安全事故时有发生，这不仅威胁着工人的生命安全，还会给企业和社会造成重大损失。据中华人民共和国住房和城乡建设部办公厅关于2019年房屋市政工程生产安全事故情况的通报显示，2019年全国共发生生产安全事故773起、死亡904人，比2018年事故起数增加39起、死亡人数增加64人，分别上升了5.31%和7.62%。因此，加强建筑工程安全管理具有重大意义。国内外学者对该领域的研究一直在持续进行，涉及的研究内容包括安全风险因素识别、安全风险评估、安全事故预防以及借助建筑信息模型(BIM)、VR/AR可视化技术辅助安全管理等多个方面。上述研究表明，建筑工程安全事故的成因是复杂多样的，各个因素之间存在相互联系和相互作用，几乎每个事故因果模型和相关研究都提到了包括人为因素和物理因素在内的复杂因素，它们是建筑施工现场安全事故发生的主要原因。因此，实现这个复杂因素的准确检测与识别对建筑工程安全管理工作具有现实意义。

近年来，计算机视觉技术的快速发展为建筑工程安全管理提供了可能性。计算机视觉技术的发展被认为是一种自动识别不安全行为和不安全状态的可靠方法。从工程的角度来看，计算机视觉技术旨在实现人类视觉系统无法执行任务的自动化，可以更加智能、高效地检测施工现场的人为因素和物理因素，实现风险的识别与预警。同时，随着多种数字技术和深度学习技术的发展，将这些技术与计算机视觉技术相结合，其自动化水平将会进一步提升。

尽管计算机视觉技术在处理建筑安全风险问题上具有较大的优势，但其发展同样存在不足及局限，同时国内外学者在该领域的研究方向较分散，缺乏对计算机视觉技术在建筑安全领域应用的综述性研究。因此，本文基于2000—2020年间Web of Science核心合集中的相关研究文献，借助VOSviewer文献计量软件对计算机视觉技术在建筑安全领域应用的研究现状进行了综述，并对未来的研究方向进行了展望。

1 研究方法

1. 1 文献计量搜索

本研究的文献计量搜索主要是针对Web of Science(WOS)数据库。WOS是综合性文摘索引数据库，基本可以包括某一领域的主要研究文献，解释该领域的研究发展方向。具体而言，文献计量搜索主要包括以下几个步骤：

(1) 首先在Web of Science数据库中使用高级检索，输入检索词形式为“TS=((construction site*) AND ((safety) OR (risk)) AND ((computer vision*) OR (vision-based)))”，检索时间为“2000—2020”，点击检索，初步获得173篇文献。(请注意，符号*用于捕获一个关键字的变体，例如“computer vision”的变体有“vision system”“visual system”)。

(2) 然后根据关键词、研究领域、语种(只选英文版)等方面对总体文献进行筛选，删除与主题不相关的文献。筛选的主要标准是：采用计算机视觉技术、专注于建筑领域的安全风险。最终获得166篇研究文献。

1. 2 科学计量分析

本研究的科学计量分析是通过文献计量软件VOSviewer进行的。VOSviewer是一款知识图谱分析工具，支持大规模数据处理，可以生成多种基于文献计量关系的可视化图谱，如作者或期刊的共引关系图、关键词共现关系图，用以研究文献的研究动态与热点。常见的知识图谱分析工具还有CiteSpace，可用于追踪某一领域的研究热点与发展趋势。与之相比，VOSviewer文献计量软件的分析结果更适合WOS数据的分析，同时具有图形展现方式丰富、显示清晰、结果易于解释等特点。

本文使用VOSViewer1.6.15文献计量软件作为研究分析工具，基于“数据检索→生成可视化图谱→可视化分析→结果讨论”的研究路线，对计算机视觉技术在建筑安全领域的研究现状与发展趋势进行了可视化定量分析并辅以定性分析。

2 研究结果分析

根据第1.1节文献计量搜索获得的166篇文献，通过VOSviewer生成关于期刊来源、作者、关键词的可视化图谱。

首先按出版年份对166篇文献进行了分析，如图1。

图1 不同年份研究文献发表数量Fig.1 Number of papers published in different years

由图1可见，从2004年起，计算机视觉技术在建筑安全领域的应用研究有了零的突破；2010年后，该领域的研究逐步引起了学者的注意，较多研究文献开始出现，自2015年后，该领域的研究已成为热门，这与建筑信息模型化(BIM)技术与大数据技术在建筑业内的推广有时间上的匹配关系；尤其是2018和2019年，研究文献发表数量暴涨，这些研究趋势与计算机视觉技术本身的发展密不可分。在本世纪初，基于学习的计算机视觉技术开始流行，2015年基于深度学习的计算机视觉技术也成功促进了该领域的研究。

2. 1 出版物来源分析

除了每年发表的文献数量外，本文还对这些文献的出版物来源进行了分析。在VOSviewer中，选择引文分析，将最小文献数和最小引用数分别设置为2和0，总共110篇文献中有15种出版物达到了阈值。按文献发表数量排序，取前十名的出版物及其对应的数据，见表1。

表1 出版物量化数据

由表1可知，从发文量、总引用量来看，

Automation

Construction

期刊对计算机视觉技术在建筑安全领域研究的影响最大；

Advanced

Engineering

Informatics

期刊虽然发文数量排第四，但其总引用量、均引次数及总链接强度均排第二，说明其论文质量较高；

Computer

aided

Civil

and

Infrastructure

Engineering

期刊虽然发文数量较少，但其均引次数高居第一，说明该期刊在该领域具有一定的影响力。进一步从期刊的质量情况来看，其中SCI期刊占比高达84%，一方面说明该领域论文质量整体水平较高，能够较好地代表该领域最新的研究成果，另一方面说明该领域的研究处于较好的研究环境且拥有较高的关注热度，有利于该学科的发展。

2. 2 作者共现分析

作者共现分析是为了探讨计算机视觉技术在建筑安全领域知识主体的研究及合作情况，明确该领域的核心作者及其合作关系，有助于全面把握该领域的研究现状。通过VOSviewer获得作者合作网络图和主要作者发文情况统计表，见图2和表2。

图2 作者合作网络图Fig.2 Network diagram of authors’ cooperation

表2 主要作者发文情况统计表

图2显示了该领域主要研究人员及其合作关系，其中节点大小表示发文量的多少，连线长短表示合作关系的紧密程度。由图2可见，所有作者可以分为6个合作群体，从整体来看，合作群体相对分散，表明不同群体之间缺乏合作。

由表2可知，Lee、Li、Luo、Zhu、Han、Teizer是计算机视觉技术在建筑安全领域的主要研究作用，在2015—2020年间他们的研究热度较高，其研究方向和内容在一定程度上反映了计算机视觉技术在建筑安全领域的研究方向。其中，Teizer等在该领域是先行者，早在2006年就提出利用智能计算和传感技术确保施工现场安全；Lee和Han关注从人体工程学和生物力学角度对工人的不安全行为进行识别和评估；Zhu则更关注人机交互行为的识别与预测；Li和Luo在近几年表现较为活跃，他们关注将计算机视觉技术与深度学习技术相结合，并集成多种数字技术用于提升建筑工程安全管理的效益。

通过VOSviewer对作者所在国家和研究机构做进一步分析发现，密歇根大学、华中科技大学和香港理工大学等研究机构在该领域的表现良好，且其他研究机构与三者都有着较强的联系；美国、中国、加拿大、韩国和澳大利亚等国家的学者在该领域的表现良好，但不同国家与研究机构的学者之间的合作较少。因此，在未来的研究中，不同国家与研究机构之间应加强交流与合作，使研究成果更具实践价值；在时间上，美国等国家涉足该领域较早，而中国在近年来后来者居上。

2. 3 关键词聚类分析

关键词反映了论文的核心内容，并展示了某一领域研究的范围。为了构建和映射建筑安全风险与计算机视觉技术之间的关系，使用VOSviewer获得了建筑安全研究领域中的关键词共现网络分析图，并进行了聚类分析。连线的长短表示两个关键词之间关系的强度，节点的大小表示关键词出现的次数，不同的颜色代表通过VOSviewer聚类的不同知识领域。将关键词最小出现次数设置为5，获得达到阈值的40个关键词，见图3。

图3 关键词聚类分析图Fig.3 Cluster analysis of keywords

由图3可见，很明显“computer vision”“construction”“equipment”等关键词出现的频次较高，表明计算机视觉技术被积极用于建筑安全领域；其次“construction safety”“safety”等关键词也多有出现，表明建筑安全领域安全管理与计算机视觉技术正在紧密结合。根据颜色分布，可将主要关键词分为3个研究主题，详见表3。

表3 关键词聚类分析获得的研究主题表

由表3可知，通过关键词聚类分析获得的3个研究主题可概括为设备的识别与跟踪、工人的不安全行为识别以及计算机视觉及其发展。其中，第一聚类涉及“equipment”“recognition”“tracking”等关键词，说明该主题关注的是施工现场设备的识别与跟踪，而设备的不安全状态往往会导致安全事故的发生；第二聚类涉及“safety”“construction worker”“action recognition”等关键词，说明该主题关注的是施工现场工人的安全管理，通过对工人不安全行为的识别，进而实现安全计划与预警；第三聚类涉及“computer vision”“deep learning”等关键词，说明该主题关注计算机视觉的应用，并且随着深度学习技术的发展，计算机视觉技术也将更加智能和高效。

关键词共现网络是研究领域的静态表示，但不能反映研究领域随着时间的变化，VOSviewer提供了时间网络图，每个节点都由文献中使用关键词的平均年份来表示。图4显示了近4年间该领域关键词的变化情况。

图4 关键词时间分布图Fig.4 Time distribution diagram of keywords

由图4可见，“construction”“construction safety”“computer vision”“deep learning”等关键词依次出现，表明建筑领域对建筑安全更加关注，并积极与计算机视觉技术结合，深度学习技术在最近研究中成为热点。将图3与图4进行对比来看，第一聚类涉及的关键词发表时间大致对应2018年前后，第二聚类涉及的关键词发表时间对应2017年以及之前年份，第三聚类涉及的关键词发表时间对应2019年前后。

3 讨论与未来研究方向

根据检索的文献，本文对计算机视觉技术在建筑安全领域的研究现状及其不足进一步做定性分析，以展望未来的研究方向。

3. 1 技术挑战

基于计算机视觉技术识别信息的准确性和可靠性是安全监督系统成功的关键，然而动态复杂的施工环境往往给计算机视觉技术带来挑战，造成许多技术局限，如光照条件、遮挡和摄像机放置等。本文检索的文献中，相关学者试图通过一些方法来克服这些技术限制，其中有学者使用深度学习算法来扩展训练数据集，以解决部分遮挡的问题；还有学者提出使用无人机代替施工现场的固定摄像机，以解决摄像机放置的空间限制。但是，这些方法仍不能完全解决技术上的局限性。因此，本文建议将多种数字技术与计算机视觉技术相结合，以增强目标特征的提取精度并克服局限性，比如传感器、物联网、BIM等；其次利用深度学习技术，解决施工现场数据集的问题，如Zhang等建议建立大型综合的现场数据集，该数据集由现有数据和未来更多研究数据一同组成，逐步完善，并通过建立数据共享平台和奖励机制实现平台的可持续运转。

3.2 个人防护设备(PPE)检测的不足

工人在施工过程中不佩戴个人防护设备(PPE)将会增加事故发生的可能性，因此计算机视觉技术在检测PPE方面的研究已得到广泛的关注。本文检索的文献中已经能够检测工人不戴安全帽、高能见度背心和安全带的情况。需要注意的是，为了更好地确保工人的安全，对PPE的识别需要努力提升检测精度和计算效率，如利用Faster R-CNN目标检测算法。虽然现有研究致力于检测未佩戴PPE的工人，但尚无研究能够确定未用或误用PPE的准确时间，致使对工人的预警与保护不够及时。

3. 3 整体场景信息获取

整体场景信息是指施工现场所有或者大部分组成部分的信息。在安全风险管理领域，尽管计算机视觉技术在目标检测与跟踪方面取得了显著的进步，但多数研究仅针对施工现场的部分个体目标进行检测，而忽略了目标所处环境的空间逻辑关系，导致计算机视觉技术的自动化程度不高。相关研究指出，可以使用高级视觉算法提取视觉语义或者借助本体的高级信息技术解决该问题。

3. 4 综合安全监控系统设计

综合安全监控系统是指对施工现场所有潜在的不安全行为或状态进行监控的系统，其应包括数据的输入、处理、结果输出以及安全反馈，检测的现场不安全信息要求具有全面性。现有研究中仅研究了部分安全事故类型中涉及的目标，例如机械碰撞事故中的机械(如挖掘机)和工人，然而施工现场事故类型多样，目前尚未有较为综合的安全监控系统来解决多种安全事故的监控。

相关研究提出的综合安全监控系统应满足：①面向不同的用户，即面向不同职能、不同文化水平等情况的人员，如工人与管理人员；②面向不同的项目级别；③快速及时地反馈。边缘计算可能满足综合安全监控系统的实时要求，使用先进的5G移动无线网络可以灵活地支持各种设备和服务，实现综合安全监控系统各部分的集成。