基于视频摘要的地铁工程施工Near-miss事件识别及自动响应研究

余宏亮， 黄金艳， 蒋 励， 陈 珂

(1. 武汉科技大学 恒大管理学院， 湖北 武汉 430065； 2. 华中科技大学 土木与水利工程学院， 湖北 武汉 430074)

Near-miss(险兆事件或未遂事件)是指尚未引起安全事故的，无伤害、无损失或仅有轻微伤害、损失的事件。它通常几乎不会对人员、过程或环境立即造成影响[1]，但其往往是安全事故发生的前兆，多起Near-miss事件发生将增大安全事故发生的可能性。因国内学者对Near-miss中文翻译尚未统一，下文中Near-miss、Near-miss事件、险兆事件、未遂事件具有相同的含义。

20世纪70年代中期美国学者正式提出Near-miss分析的概念，它作为事故序列前兆ASP(Accident Sequence Precursors)分析的一种，广泛应用于石油化工、航空航天、核工业等领域。2007年中国石油技术安全研究所秦凤竹发表《美国化工行业未遂事件管理》将Near-miss概念全面引入国内。以“Near-miss”为主题词，检索CNKI中国知网数据库，去除新闻报道及不相关文献，有效文献仅162篇。经过数据分析，我国学者主要在石化[2]、煤矿[3,4]、医疗[5]、交通[6]等领域开展Near-miss研究。

周志鹏等[7]首次将Near-miss事件概念引入地铁施工安全管理中，转变了地铁安全管理理念。本文将地铁工程施工Near-miss事件定义为：在地铁施工中，由于不安全因素导致的没有发展成为地铁安全事故的事件。这类事件没有造成伤害、损失或只是造成轻微伤害、较小损失。我国学者在地铁工程施工Near-miss事件研究方面处于起步阶段。邓小鹏等[8]研究地铁工程Near-miss知识库构建方法，实现Near-miss系统管理。文艳芳等[9,10]对地铁施工阶段Near-miss事件危险源结构进行系统研究，提出地铁施工Near-miss事件自愿上报意愿低的关键影响因素是：认知水平，未对上报者和当事人保密，存在责备及苛责文化等。

Near-miss事件管理的重要步骤是发现上报，但Near-miss事件的当事人或目击者，因个人因素、管理因素、文化氛围的影响，缺乏主动上报的意愿，文献[10]虽对上报意愿影响因素进行了细致分析，但提出的激励自愿上报的手段是否奏效未经验证。地铁工程施工现场均部署了视频监控装置，有利于Near-miss的发现上报，但监控视频冗余信息多、存储大，传统的监控管理存在人工监管耗时、高工作量、低浏览效率、漏检等问题，视频监控并未得到高效的利用。

视频摘要(Video Summarization)是通过选取有代表性、有意义的视频内容，对原始视频进行浓缩概括的一项技术。在监控视频领域的应用与研究广泛，王亚沛等[11]提出对象和关键帧相结合的监控视频摘要方法；马元元等[12]对海量监控视频分级摘要生成系统进行了研究；李大湘等[13]提出基于运动轨迹聚类的监控视频摘要算法。视频摘要技术在监控视频中的应用，可有效解决监控视频信息冗余、海量存储及人工监管等问题[14]。因此，本文提出在视频监控图像中根据Near-miss事件特征，抽取典型帧形成视频摘要，设计一种基于客观事实的Near-miss获取方法，避免了施工人员不愿主动上报的困境。基于视频摘要技术研究Near-miss事件的识别和自动响应机制，从而提升地铁工程施工“事前”安全管理水平和效率。

1 地铁工程施工Near-miss事件知识库构建

地铁工程施工Near-miss知识的获取，主要依靠管理人员在长期的工程实践活动中积累或领悟，Near-miss知识库是获取、分析、存储和传播 Near-miss 知识的有效途径，构建Near-miss知识库可为地铁工程施工Near-miss事件识别与响应提供数据支撑。

1.1 地铁工程施工Near-miss事件的分类及特征

地铁工程施工Near-miss事件与地铁施工安全事故的发生有密切联系，地铁施工安全事故主要包括坍塌、水害、火灾、机械伤害、物体打击、爆炸、中毒、触电、高处坠落、其他伤害[15]，参考地铁施工安全事故的分类，将地铁施工Near-miss事件分为10类，如图1所示。

图1 地铁工程施工Near-miss事件分类

地铁工程施工Near-miss事件与安全事故相互联系，又相互区别，表1从损失程度、发生数量、发现来源、影响程度、影响因素、管理难度和管理主体七个方面描述地铁工程施工Near-miss事件的特征。

表1 地铁工程施工Near-miss事件特征

1.2 Near-miss事件知识库的构建方法

文献[8]详细描述了地铁工程施工Near-miss知识库的构建过程，本文依据Near-miss事件的分类与特征，将Near-miss知识库分为10个子库，采用SQL语言构建6张关系数据表实现存储，如图2所示。

地铁工程施工Near-miss知识库是研究基于视频摘要的Near-miss事件自动响应的基础，其中，Near-miss知识基本属性表作为Near-miss事件自动响应的检索依据，Near-miss预防措施表与纠正措施表提供事件发生处理措施。获得地铁工程施工Near-miss视频摘要图像后，通过检索地铁工程施工Near-miss知识库，可以迅速获取对应的Near-miss知识，从而进行处理应对，为地铁工程施工Near-miss事件的预警及处理提供了知识保障，为提高地铁工程施工Near-miss事件管理水平提供了理论支持。

图2 Near-miss知识库构建过程

2 基于视频摘要识别Near-miss事件的方法

2.1 地铁工程施工远程监控及视频图像管理

视频监控作为提高地铁工程施工现场安全监管水平的有力措施，国家和地方安全监管部门颁布法规大力推行。2010年住建部发文“鼓励建设、施工等单位采用现代化信息技术加强施工现场监控管理，提高风险防范能力”[16]；2012年住建部发布了JGJ/T 292-2012《建筑工程施工现场视频监控技术规范》[17]，北京、天津、上海、南京等地也出台了相应的施工现场远程视频监控管理实施办法，其中《上海轨道交通施工现场视频监控系统技术要求》[18]对监控区域范围、监控视频保存与备份进行了规定。视频监控系统在北京、上海、广州、深圳、武汉等城市地铁工程项目施工现场得到了广泛应用。

国内学者对地铁工程施工视频监控系统总体架构[19]、主要功能[20]、关键技术[21,22]等方面进行了研究。为了能捕捉Near-miss事件，地铁车站视频监控应实现施工区域全覆盖，包括：出入大门、各类车辆、材料堆放加工区域和施工作业面。监控区域覆盖范围较大，监控内容多，传统的人工监管管理难度较大，通过合理的视频监控摄像头布设，既经济又功能完善地实施监控业务，做到及时发现Near-miss，并有效采取安全措施。李权[23]制定了施工现场视频监控布置原则，并建立了地铁车站施工现场视频监控点动态布置模型。朱红霞[24]通过研究得出地铁盾构区间视频监控摄像头布置最优布设位置为盾构机出土口、吊装井口等，并确定了对应区域的监控内容。利用上述研究成果和工程实景调研可知，地铁工程现场施工视频监控系统的部署为基于视频摘要的Near-miss事件识别提供了可靠的图像和数据基础。

2.2 Near-miss事件危险区域视频图像选取

2.2.1 Near-miss事件危险区域的识别与划分

地铁工程施工技术难度高，施工环境复杂，施工人员安全意识参差不齐，现场安全管理难度大。进入易发生安全事故的危险区域将会提高安全事故发生的概率。Near-miss事件危险区域的识别与划分实质是危险源的识别，其理论基础是风险管理中的风险辨识过程和方法，赵挺生等[25]指出危险区域一般与第一类危险源密切相关。危险源是Near-miss事件的根源，依据地铁工程施工危险源分类和空间分布识别危险区域。根据相关文献[26,27]、规范，调研发现：基坑工程、脚手架工程、模板工程、混凝土工程、起重吊装作业、动火作业、用电作业、运输作业、施工机械作业、地下施工作业等作业区域是地铁工程施工现场易发生安全事故的危险区域，这些危险区域也是Near-miss事件高发区域，所以对这些危险区域实施重点监控是预防事故发生的有效技术手段。本文对地铁工程施工现场危险区域的识别条件、划分规则与事故类型进行分析，如表2所示，获得地铁施工现场重点监控区域的范围，通过对进入这些危险区域的工人进行监测，识别进入危险区域的Near-miss事件，并采用摘要技术对监控视频进行浓缩，提升安全监控的效率。

表2 地铁工程施工现场危险区域识别与划分

2.2.2 Near-miss事件危险区域监控视频特征

监控视频是由一系列相关的图像帧组成，除了具有图像的一般特征外，由于拍摄设备、手段、目的及内容的不同，还具有一些显著的特征。

(1)监控视频图像静态特征：包括颜色、纹理、形状、空间关系等。

(2)运动特征：反映监控视频的动态信息，如运动目标的位置变换、大小、速度等变化。靠近、进入危险区域工人的运动特征可通过跟踪工人在危险区域的行为来反映。

(3)结构特征：监控视频是对某个固定地点做长时间连续拍摄，主要记录特定空间内(即Near-miss事件危险区域)运动对象的活动情况。

(4)视频内容上：背景变化较小，监控场景相对稳定，信息密度低，存在大量无Near-miss事件发生的片段，且处于Near-miss状态的目标对象相对较少，这些特征说明监控视频信息冗余度很高，适合进行压缩。曾试验过一段49 M的视频经过视频摘要技术处理后，压缩比约1/300。

2.3 Near-miss事件视频摘要生成算法

Near-miss事件视频摘要生成的基本原理是：基于Near-miss事件危险区域划分规则，首先通过施工现场的摄像头聚焦预先划分的Near-miss事件危险区域，进行重点监控，将监控视频中划分的危险区域范围在视频中框选出来，围绕着框选的危险区域进行Near-miss事件识别和处理。通过背景建模获得视频背景图像，检测到运动目标进入Near-miss事件危险区域的行为时，自动开始进行运动目标识别，并跟踪运动目标的运动轨迹信息，最后运用关键帧提取算法生成摘要。其生成算法包含4个主要部分。

2.3.1 运动目标的检测

检测监控视频框选Near-miss事件危险区域中的所有运动目标，是Near-miss事件识别的关键工作。视频帧的变化实质是信息的变化，运动目标检测的实质是利用图像中目标与背景交界处信息量最大进行分割，是信息论[28]在图像处理领域的应用。运动目标的检测包括两个主要步骤：首先采用混合高斯背景建模[29]获得视频背景图像，然后运用背景差分法[30]进行运动目标检测，对复杂的地铁施工监控场景具有良好的适应性。

(1)背景建模

每个像素建立(3≤K≤5)个高斯分布构成混合模型表示背景图像：

(1)

(2)

式中：n为任一像素观测向量Xt的维数。

根据当前像素点与其背景模型中高斯分布的相互匹配程度来更新背景模型。

匹配公式：

|Xt-μi,t-1|≤2.5σi,t-1

(3)

更新公式：

ωi,t=(1-α)ωi,t-1+α

(4)

μi,t=(1-ρ)μi,t-1+ρXt

(5)

(6)

(7)

式中：T为预先设定的阈值。

(2)背景差分法运动目标检测

背景差分法是根据当前视频帧Xt(x,y)与背景图像Bt(x,y)作差分运算，差分灰度值dt(x,y)大于阈值T的部分为运动目标。

dt(x,y)=|Xt(x,y)-Bt(x,y)|

(8)

(9)

式中：dt(x,y)，Xt(x,y)，Bt(x,y)分别表示t时刻的差分图像、当前视频帧图像、背景图像在(x,y)处的像素值；T为阈值；Dt(x,y)为dt(x,y)与T相比的结果。

2.3.2 目标跟踪与轨迹提取

目标跟踪的目的是获取监控图像序列中运动目标在Near-miss事件危险区域中的位置、行为及运动轨迹信息。Kalman滤波方法是一种快速准确的状态估计跟踪算法，主要按以下五个步骤进行。

(1)状态向量预测方程

(10)

(2)误差协方差预测方程：

P(k,k-1)=A(k,k-1)P(k-1)·AT(k,k-1)+Q(k-1)

(11)

(3)Kalman滤波增益：

K(k)=P(k,k-1)HT(k)(H(k)P(k,k-1)·HT(k)+R(k))-1

(12)

式中：K(k)为Kalman增益矩阵；HT(k)为观测矩阵H(k)的转置矩阵；R(k)为观测协方差矩阵。

提前计算年终奖个税，合理避税。各公司在发放年终奖时，建议合理安排好金额，适当注意避开个税税率中的几个“盲区”，计算税后收入，避免出现“企业多给，员工少拿”的尴尬。

(4)状态向量修正：

(13)

(5)对误差协方差矩阵修正：

P(k)=P(k,k-1)-K(k)H(k)P(k,k-1)

(14)

式中：P(k)为最佳估计的协方差。

通过对Near-miss事件危险区域中运动目标的检测与跟踪，可以获得视频图像帧中运动目标的位置变化信息，以视频图像帧中运动目标的质心坐标(xm,ym)作为位置坐标，将其连接起来作为运动目标的运动轨迹G。

G=[(x0,y0),(x1,y1),…,(xn-1,yn-1)]

(15)

式中：m为监控视频图像帧序号，m=0,1,…,n-1。

视频摘要的核心是关键帧的提取，即从大量的图像中选择具有代表性的图像，其理论基础是子集选择问题。子集选择是一个NP(Non-Deterministic Polynomial Problems)难问题[31]，按照求解子集选择方法的不同，关键帧提取的方法可分为凸松驰(Convex Relaxation) 优化、行列式点过程(Determinantal Point Process) 等。

根据运动目标与跟踪方法检测出框选危险区域内含有运动目标视频片段的定位信息，即运动目标出入框选危险区域的起始帧及结束帧，根据Near-miss事件特征，表现Near-miss事件的关键帧应体现运动目标危险区域进入、危险区域停留、危险区域离开等关键信息。

本文采用基于内容分析的关键帧提取方法。以运动目标出入框选危险区域的起始帧及结束帧作为参考关键帧，反映运动目标进出危险区域的行为；对危险区域进入前与离开后的运动目标状态，根据参考关键帧以固定帧间隔各抓取一个关键帧；对运动目标进入危险区域内的视频段，只要运动目标进入危险区域内，其所有行为都可认为是Near-miss事件，即运动目标进入危险区域内的所有视频帧都可作为关键帧，所以选取中间帧作为关键帧。

2.3.4 摘要合成

运用泊松图像编辑技术合成摘要，对取得关键帧中的运动目标进行扣取，将其按照时间顺序放入背景图片中的对应位置，加入关键帧序号与时间标签，并将2.3.2节中获得的运动物体的运动轨迹在合成的图像中显示，最终形成地铁工程施工Near-miss事件静态摘要，可以直观了解到运动目标在地铁施工Near-miss危险区域的运动情况及行为信息，以便施工现场安全管理者对Near-miss事件及时处理，避免安全事故的发生。

3 地铁工程施工Near-miss事件的自动响应

识别地铁工程事故Near-miss事件后，根据风险传递[32]原理，若对Near-miss事件不及时处理，将会造成安全事故的发生。

通过视频摘要技术对施工现场Near-miss事件进行捕捉后，借助信息化平台将Near-miss事件的信息与Near-miss知识库中的案例数据进行对比分析，获取各类Near-miss事件的预防及纠正措施，及时对Near-miss事件作出响应。处理流程如图3所示。

图3 地铁工程施工Near-miss事件的自动响应流程

3.1 Near-miss事件视频摘要结构化信息

Near-miss事件的视频摘要生成后，需要建立每个视频摘要的结构化数据(图4)，作为Near-miss知识库相关案例的检索条件。本文设计的Near-miss事件视频摘要结构化数据包括: 标识、分类、过程等属性。其中C2，C3，C4部分属性作为相似度计算中的特征值。每个视频监控摄像头可获知图像的时间、位置信息，管理人员预设事件类型、环境信息，事件的编号和名称由系统自动生成。

图4 地铁工程施工Near-miss事件的结构化模型

3.2 基于CBR推理模式的Near-miss事件检索

CBR(Case-Based Reasoning)是一种利用以往相似经验去推理解决新问题的方法，在工程领域有广泛的应用，张兵等[33]提出了基于CBR的超高层建筑施工安全事故研究的计算框架和应用系统。谭文博等[34]运用本体和CBR推理技术，开发了深基坑施工安全风险评估模型。王勇等[35]提出基于CBR推理的地铁施工事故案例库的建立与评价。地铁工程施工Near-miss事件的发生影响因素复杂，采用CBR 推理模式比较适合这类“弱理论强经验”的应用领域。

在完善地铁工程施工阶段Near-miss视频摘要结构化数据后，查询Near-miss知识库，检索类似Near-miss险情的发生过程，采用最邻近检索法[36]，选择知识库中最有参考价值的案例作为此次Near-miss事件的处理依据，知识库中的Near-miss与报告的Near-Miss的相似度函数为：

(16)

其中，对应属性的局部相似度sim(xi,yi)计算分为以下三种情况：

(1)文本类型：

(17)

(2)数值类型：

(18)

式中：min(xi,yi)表示两值中取小值，max(xi,yi)表示两值中取大值。

(3)枚举类型：

(19)

式中：R为枚举数值集合；min(R)，max(R)为R中最小值与最大值。

本文将Near-miss检索阈值设为80%，经过对目标案例的检索，若在知识库中找到的案例达到匹配要求，则将案例库中检索案例匹配度最高的解决方案直接应用于目标案例；如果检索到的案例达不到匹配要求或无相似案例，则采用人工处理，确定对应解决方案。检索流程如图5所示。

图5 地铁工程施工Near-miss事件检索流程

3.3 Near-miss事件自动响应服务

Near-miss事件检索完成后，将该Near-miss事件视频摘要图片与对应解决方案推送给现场安全管理人员，迅速开展追踪调查和整改，并将整改结果进行反馈与评价，最终形成Near-miss事件报告，并对地铁工程施工Near-miss知识库更新，Near-miss事件报告也可作为安全教育培训的实例教材。由于Near-miss事件后果损失小，具体的Near-miss事件纠正与整改效果难以量化，结果无法立即呈现，所以评价包括两个部分：一是Near-miss预防效果评价，对一段时间内相似地铁施工Near-miss事件出现的频率进行统计，如果频率高说明解决方案的效果比较差，反之效果较好；二是工人安全行为评价，对一段时间内某个工人出现Near-miss行为的频率进行统计，如果频率高说明解决方案的效果差，并且该工人需要进行安全教育培训，反之效果较好。

图6 地铁工程施工Near-miss事件响应流程

4 应用案例

4.1 项目概况

武汉轨道交通工程某车站主体结构全长359.8 m，标准段宽33.65 m。车站顶板覆土厚度为3 m。车站工程采用明挖顺作法施工。车站主体基坑围护结构采用地下连续墙+4道内支撑+1道换撑体系。按照《武汉地铁施工现场监控中心技术导则》的规定，沿基坑前、后、左、右端和中心制高点部位，布设了5个动点高清红外网络高速智能球机(摄像头)。5.8 G无线设备传输至监控机房交换机，监控机房放置一台NVR(Network Video Recorder)设备(9 T硬盘)和显示设备。

4.2 Near-miss事件视频摘要的生成

通过工地现场监控高速智能球机获取基坑临边危险区域Near-miss事件监控视频作为实验案例，采用MATLAB 2017b软件进行程序编译。首先根据临边危险区域划分规则划定危险区域范围，然后使用本文提出的视频摘要算法对临边危险区域Near-miss事件进行自动监测，并生成Near-miss事件视频摘要。

图7是一个正在施工的车站基坑，基坑防护栏杆安装完毕。监控高速智能球机对此区域进行24 h监控，由于现场施工人员安全意识不够，出现施工人员跨越防护栏杆在基坑边缘行走的Near-miss险情。根据危险区域划分规则在施工监控视频中已标记了临边危险区域，利用运动目标检测与跟踪算法，当施工人员进入红色边框区域时，程序自动开始响应，进行运动目标检测与跟踪，识别进入临边危险区域的Near-miss险情。

图7 运动目标检测与跟踪示意

根据关键帧提取与摘要合成算法，对施工人员进入危险区域的视频段提取出关键视频帧，根据Near-miss特征，选取了3个关键帧，包含工人违规跨越护栏进入临边危险区域(图8中①)、在基坑边缘行走(图8中②)、离开临边危险区域(图8中③)3个关键信息， 结合人物运动轨迹和时间标签，合成视频摘要图片(图8中④)。

图8 视频摘要生成

地铁施工现场环境复杂，监控视频中人物目标较小，图9为视频摘要图片局部放大图。绿色箭线表示工人的运动轨迹，绿色数字表示关键帧号。

图9 视频摘要局部

4.3 Near-miss事件自动响应

本文前期通过问卷调查与地铁工程施工事故数据库分析，搜集了180个地铁工程施工Near-miss事件案例，按照Near-miss知识库构建方法进行知识存储，其中，高处坠落类Near-miss事件75件。

根据生成的Near-miss视频摘要，获得结构化信息如下：事件类型C21=高处坠落类Near-miss事件；事件位置C32=基坑，施工环节C33=车站施工；人员身份C41=施工人员，环境状态C43=护栏有缺口/无警示标志，相互位置C44=施工人员与基坑边缘距离小于1 m 。

通过案例检索获得3条相似的案例，选取相似度最高的1条，其提供的纠正及预防措施如表3。

表3 Near-miss纠正措施及预防措施

经现场排查发现：工人为行走方便，移走基坑周围的部分护栏，现场未设置警示标志，现场工人上岗前安全教育培训不到位。按上述处置措施进行整改，以该Near-miss事件发生后一个月为整改评价期，期间未发生施工人员进入基坑临边危险区域的Near-miss险情。

5 结 语

我国地铁工程建设虽然取得了巨大的成就，但其施工安全问题仍较突出，对施工过程中的Near-miss事件及时识别、处理，进行“事前”安全管理，可以有效预防、控制事故的发生，提高地铁工程施工安全管理效率与水平。基于视频摘要技术的Near-miss识别与响应算法为地铁施工安全管理提供了有效手段，规避了人工监控视频的高工作量、低效率问题，提高了地铁施工过程的信息化水平。本文从地铁工程施工Near-miss知识库构建、Near-miss事件摘要生成与自动响应3个方面展开，结合地铁工程施工Near-miss危险区域划分规则和目标检测跟踪算法，在视频监控图像中根据Near-miss事件特征，抽取典型帧形成地铁工程施工Near-miss事件视频摘要，实现监控上报Near-miss事件，并利用地铁工程施工Near-miss知识库为Near-miss事件提供纠正与预防措施，为地铁工程施工Near-miss事件识别与管理提供了一个新思路。