前端人工智能的发展及在油气长输管道的应用*

文/陈思雅

0 引言

油气长输管道埋设在地下，线路分布广泛、地理环境复杂，安全事故随时可能发生。一旦发生油气管线泄漏等情况，会造成严重后果。目前针对高后果区、第三方施工、无伴行路、人口密集管理区多采用视频监控的方式，即通过前端监控摄像机实现远程实时监控，但是大多数视频监控只是被动监控，主要面临以下几个方面的问题：一是视频数量多、图像数据大，非结构化数据价值未得到充分挖掘；二是异常状况的发现依赖于管道保护人员的技能水平，但相关经验丰富的专家往往较少；三是长时间观看视频容易因视觉疲劳导致漏检、误检；四是工作人员面对众多摄像机视频图像时，无法做到同时兼顾所有监控区域；五是维护人员经常在管道事故发生后才发现导致故障的原因，不能在事故发生的第一时间作出应急响应。

从2006年开始，由于互联网发展，大量数据的产生得益于图形处理器（GPU）计算机算力、深度学习、神经网络等人工智能算法的突破，视频监控与人工智能技术开始紧密结合, 所涵盖的技术包括图像识别、行为识别、统计分析、数据结构化等，其中图像、影像智能化识别技术成为管道风险识别、风险管理的重要手段。中国石油大学（北京）管道技术与安全研究中心董绍华教授等利用图像识别技术开展管道焊缝缺陷的智能化判别工作，实现了对管道焊缝数字图像中缺陷的分类评价，识别准确率超过 90%。四川大学的余永维等人利用图像识别技术开展了漏磁图像智能识别判别工作，主要利用卷积神经网络稀疏连接的特性和径向基神经网络的非线性映射能力，将目标特征分类输出，从而准确地实现目标特征的识别。

视频监控领域人工智能技术的引入，可以在前端摄像头、网络视频录像（NVR）数据存储设备以及大数据综合应用平台等节点发挥作用。前端人工智能技术是指基于边缘计算的前端图像影像智能识别技术，它将人工智能技术引入前端摄像头，将摄像头采集到的实时信息进行处理分析和理解，将数据结构化，从而实现在没有人为干预情况下，对设定工作区域内人员或物体的变化进行检测、定位和跟踪，并在此基础上分析和判断目标的行为。2016年11月30日，华为技术有限公司、中国科学院沈阳自动化研究所、中国信息通信研究院、英特尔等62家成员单位成立了我国边缘计算产业联盟，边缘计算行业得到迅猛发展。

1 前端人工智能技术的分类

1.1 按智能化程度分类

前端人工智能技术根据智能化程度以及应用场景的不同，大致可以分为三个层次。

（1）智能网络摄像机。

智能网络摄像机有两种形式，一种是传统的，一般由一台工控机和2～4台摄像机构成，智能视频分析算法配备在工控机内，使得摄像机具有图像识别等功能；另一种是将视频算法写入摄像机内，由一块嵌入式智能AI芯片完成摄像机的智能分析工作，形成成本低廉、快速识别、功能强大的边缘计算。智能网络摄像机的算法相对较为固定，技术成熟度较高，通常在现有的内嵌式进程间通信（IPC）Soc芯片中集成相应的移动侦测、遮挡告警、视频丢失、人员滞留、行为识别等算法即可实现，无需额外增加协处理芯片。

（2）结构化摄像机。

结构化摄像机能够对视频流进行实时的结构化属性分析, 从而提取其中的视频信息、语义信息和图片信息，并能对人员、车辆进行分类抓拍，支持对目标人/车/物进行结构化属性分析。结构化摄像机需要在原有的内嵌式IPC SoC芯片中加装协处理芯片——NPU浅层学习处理器，实现试片流的结构化分析。

（3）深度学习摄像机。

深度学习摄像机采用的是深度学习算法，以海量图片集以及视频资源为基础, 通过机器学习提取目标特征，形成深层可供学习的图像数据，提高特征目标的召回率和精确度。深度学习摄像机一般内嵌高性能能深度学习的GPU芯片。

从国内前端人工智能发展的趋势来看，目前智能网络摄像机的发展应用主要集中在结构化摄像机方面。主要原因有三点：一是视频数据结构化以后，就可以对前端采集到的实时信息进行过滤，去掉大量无用的信息；二是视频结构化以后，就可以传输到后端进行学习训练，进而获取更精准、更适合前端应用的数据模型；三是基于深度学习的摄像机需要内置大量用于训练或验证的数据信息，数据量大，芯片要求高、能耗高。

1.2 按实现方式分类

视频监控行业人工智能技术按照智能分析算法实现方式区分，有以下类型：行为分析类、视频识别类、图像处理类及诊断分析类。其中，视频识别分析与行为分析是智能分析动作，诊断与图像处理分析是提高分析结果准确性的手段。

（1）行为分析类。

行为分析类主要针对视频中目标的运动特征和属性进行检测，偏重于背景模型偏离的变化和已知目标模型的变化，主要应用于动态场景的分析和处理，判断视频图像中运动目标相对位置的变化、目标变化的方向、目标的相对移动速度以及目标形貌特征的变化。主要功能有：移动方向检测，以及交通违章检测、防区入侵检测、绊线穿越检测、客流统计等动态场景分析处理。

有学者研究了一种基于边缘计算的前端图像影像智能识别技术，该技术应用于华盛顿贝尔维尤的交通路口，主要将异构硬件的边缘和私有集群向下延伸至摄像节点，在视频监控的边缘端完成对车辆图像和车牌等的视频实时解码和视频实时分析，主要了解该路口汽车、自行车和行人的实时流量，具有实时性强、网络传输资源小、准确率高的特点。韩青等为变电站设计了一种识别工作人员危险行为和变电站周边危险行为的前端人工智能系统，他们将智能分析功能接入前端摄像头，在云端进行模型的训练与开发，既提高了预警的实时性又增加了识别的准确率，同时还降低了网络传输费用。

（2）视频识别类

视频识别主要是指通过对视频中图像识别、图像比对和模式匹配等技术，实现对视频中相关特征的提取和识别，主要应用在静态场景中。其功能有人脸识别、车牌识别等。

海康威视公司在2017年发布的“AI Cloud”框架，通过将人工智能接入网络摄像头、门禁系统等前端设备，实现了实时人脸识别和车辆车牌识别，响应速度快，识别准备率高。

（3）图像处理类。

图像处理类是指通过视频增强手段，如降噪、去雾、锐化和矫正等手段来修复视频中模糊不清的图像，并对采集到的图像进行部分细节处理和优化，通过上述手段改善图像来増加前端人工智能的召回率和精确度。其功能有红外夜视监控系统等。

视网膜大脑皮层理论（Retinex）算法以原始图像的入射图像为基础，推演出反射率的图像，进而降低了光照不均对图像的影响。Chiang等人将水下光选择性衰减的特点与经典图像去雾算法相结合，提出了一种图像复原方法。张铭钩等为了解决水下目标检测图像模糊的问题，使用了特异性增强的算法对水下图像进行动态调节，以抵消水下光照不均匀导致的图像模糊问题，显著提高了识别的准确性。任彦光等基于边缘计算的原理设计了水下多目标检测系统，为了解决未经未处理的水下图像无法直接使用的问题，其团队提出了一种基于多尺度视网膜增强算法（MSR CR）和暗通道融合的水下图像增强算法，对水下图像的颜色、对比度和细节进行优化处理，优化后的图像更符合人眼感官，无抖动、图像清晰、对比度好，可以从图片中观察提取到更多信息。

（4）诊断分析类。

诊断分析类主要指视频质量诊断，通常以后端管理平台的形式出现。其主要功能是用于监测前端人工智能设备的状态，当视频出现雪花、滚屏、模糊、偏色、增益失衡、云台失控等常见的摄像头故障，以及视频本身的信号干扰、质量下降等问题时，进行准确分析、判断和报警。

杨洋等针对监控视频中的图像模糊、图像偏色、亮度异常、图像帧卡顿等现象提出了视频诊断管理系统，该系统主要运用图像质量分析与判断等核心技术对视频流进行质量诊断，从而能够准确分析和定位异常图像状况，并指导故障检修。北京先进视讯科技有限公司研发了图像质量检测系统，该系统能够对视频图像模糊、雪花画面、画面色偏和信号丢失等常见的图像故障情况进行较为准确地研判，并通知后台工作人员。重庆市计量质量检测研究院以提高视频图像的被检测率和降低误报率为目的，以监控画面清晰度、色彩还原度等方面为评价指标，完成了“视频监控系统检测方法和检测装置的研究与建立”项目，取得了良好效果。常文婧等设计了一套基于人工智能的视频图像质量诊断云平台，通过视觉技术和机器学习，解决了前端人工智能出现的离线、无信号、画面冻结、画质偏色、噪声、图像模糊、遮挡、增益失衡和云台失控等常见故障。

2 前端人工智能技术在油气长输管道的应用

据调查，欧洲输气管道在2007～2016年的管道故障中，引起故障的主要原因是外部干扰，占比为28.37%，在外部干扰的次级因素中，机械开挖（挖掘机、打桩机和定向钻机）是主要原因，占比为31.4%；美国1994～2013年间输气管道的故障中，第三方破坏是占城市天然气管道事故的主要原因之一，占比为20%；英国输气管道1962～2016年间的管道事故故障中，第三方破坏占比为21.8%。狄彦等人调研了2004～2014年间国内发生的约59起油气管道安全事故，研究发现在其中46起因外部因素引起的事故中，第三方破坏为28起，占比为60.8%，占全部总事故的47.5%。从上述调研数据可知，第三方破坏对油气管道的影响巨大。

将人工智能技术嵌入前端摄像头，对视频中有关工程机械的行为实时进行智能分析和判断并生成结果，可以去除视频监控中大量无用的静态画面，只对异常行为进行报警，这样既提高了工作效率，减少了工作量，也降低了漏报和误报率。前端人工智能技术涉及图像处理、对象分析、行为识别、动作判断和报警等多项技术，当异常信息出现时，系统经过运算识别出危险，并自动发送警示信号，可在管道的第三方施工监管、智能巡线、风险评价等多方面应用。另外，前端人工智能通过在网络边缘进行计算和资源存储，仅向后端发送特征数据，减少了用户和服务交互点之间的物理距离和跳数，提高了应用程序的响应时间。因此，前端人工智能是未来油气管道智能化管理的一种重要手段。

无人机在巡线过程中会拍摄大量的图片和视频，这些非结构化数据一方面占用了大量的存储资源，另一方面需要管道保护人员在后台进行回放和查看，对人力物力造成极大浪费。为提高无人机巡线的效率，减轻作业人员的负担，实现油气长输管道缺陷实时识别，可以将人工智能技术应用到无人机机载前端视频系统中，实现无人机视频的前端智能，对危害油气长输管线的非法占压、非法施工、地质灾害、打孔导游等行为，在巡线过程中即可实现智能判断、实时识别。刘文华等将倾斜影响的数字纠正等算法嵌入无人机前端摄像头，从而实现对油气管道周边航拍过程之中图像的智能识别和实时判断，改进后的无人机巡线系统智能化程度高，对油气管道附近行人、车辆的检测精度可达80%以上。刘军杰等将视觉跟踪技术、人工智能技术与无人机高清影像相结合，建立了无人机前端智能识别系统，该系统使用轻量化YOLOv3网络模型，训练了绝缘子串、防振锤、连接点等关键目标的识别，在现场应用中实现了无人机视角下微小目标的检测，在5000张样本训练模型中，当测试阈值设置为0.25，平均检测精度可达到0.78，大大提升了无人机巡检应用效果。

目前长输管道对管道高后果区、无伴行路巡线不便区及人口密集区主要采用视频监控的形式，24小时不间断地提供实时视频流，但是，常规的视频监控无法在险情产生时做到及时干预。周巍等利用前端AI视觉对广东燃气管道高后果区进行违规挖掘、违规施工、非法开采等定向钻机、挖掘机、地勘机等大型机械作业和人员的自动识别，改善了人工监测存在的问题，实现了24小时无盲区管控；该系统目前部署在60多个燃气管道高后果区前端，预警次数达1000多次，预警准确率超过90%，做到了实时监测、及时响应。冯黎明为解决西南油气管道人工巡护的盲区问题，在现有视频监控系统的基础上引入了视频智能分析功能，形成前端人工智能技术；通过视频智能分析识别功能对保护区域内挖掘机、推土机等大型施工车辆及人员进行智能识别，实现了对于第三方施工区域、重要燃气设施等天然气管道监控点的24 小时保护，识别准确率高达90%。孟俊针对管道周边第三方施工和高后果区等风险区域，设计和开发了基于边缘计算的油气管道区域施工机械入侵前端智能识别系统，在边缘端嵌入图像处理算法和运动目标检测算法，并利用深度学习功能有效过滤植物、阴影、水面等因素对现场场景变化的影响。同时检测到目标以后，取用大型施工机械的二维坐标，判断二维坐标与风险区域是否发生碰撞，若发生碰撞即将报警信息推送给调度中心；现场应用表明，该前端智能识别系统识别精度率为92%，处理速度稳定在25fps。钱勇等对油气输送管道视频监控加装前端智能识别系统，利用目标识别算法、动作识别算法等实现对油气管线人员密集场所高后果区24小时的自动化、智能化监测，同时联动声光报警装置、可燃气体检测装置和音柱，有入侵行为发生时即触发现场报警装置报警，值班人员可对报警区域喊话，起到警报和警告的作用，从而减少人力、时间成本的投入，提高对危险隐患预警的能力。

长输油气管道站场及阀室内一般配备周界入侵报警系统，消防火灾自动报警系统构成常见的安全防护预警系统。通过周界入侵的主动防御，不间断实时监控和室内外重点位置火灾预警，最终构成应对内外治安和场站火灾隐患的全地形、全时段、全方位安防系统。但是，上述安全防护系统存在消防系统主动防范领域不够完善、周界入侵系统误报及漏报率较高的情况。对此，可利用搭载AI芯片的前端智能视频监控装置实现油气站场及阀室全方位安全监控：对进入人员/车辆依次进行检查、路线跟踪；对进入作业区的工作人员进行安全帽、工作服的检测识别；对防范区域内入侵、翻越围墙等行为自动判断；对防范区域内人员停留的时间记录；对工作人员的安全行为操作进行识别，对危险行为发出及时警告；对工作区域内人员跌倒行为自动检测，预防作业人员中毒、突发疾病等危险情况；对站内人员聚集和离岗等行为进行主动检测；对保护区域内可燃气体及设备的跑冒滴漏进行自动识别。而且，将识别结果上传至云终端触发报警，自动弹出现场视频，对现场视频进行抓图和报警预录像，大大地减少误报率和漏报率。但目前，前端人工智能在站场及阀室应用仍较少。

3 前端人工智能需要解决的关键问题

目前前端人工智能应用广泛，特别是在油气管道行业，发展前景巨大，但是长输油气管道周边环境复杂、受气候影响较大，设备多、供电难，网络传输费用高、速度慢，想要实现前端人工智能在现场实际有效应用，还需要解决以下关键问题：

（1）背景的复杂性与算法的实时性。平衡运动目标检测算法的准确性、鲁棒性与实时性，既要保证目标跟踪的实时性, 又使得算法对复杂背景有较强的适应性。

（2）图像处理算法。人工智能的基础为视频，而现场视频质量受环境、气候、光照等影响较大，前端存在图像模糊、光照较差等情况，需要有针对性研究图像处理算法，如去雾算法、运动模糊复原、夜间图像复原等，增加视频的可监控性能及前端智能识别的精确率。

（3）轻量化模型。神经网络模型对算力和存储要求较高，但是较难嵌入前端，如何在边缘侧搭载AI芯片的智能嵌入式系统中实现神经网络模型，在保证精度的前提下解决计算量和存储量成为前端智能的研究重点。

（4）前端承载算法单一。一般来说，算法的召回率和精确率与所识别目标的像素、角度等密切相关，大型施工车辆和人脸识别对前端人工智能摄像机的要求都不太一样，因此，单个前端人工智能摄像机只能实现单一的人工智能算法，如果要在设备间进行多个人工智能算法的应用，会造成较大的误差。

（5）能耗高。在边缘端，较多AI应用场景对功耗有严格限制，MAC的大量计算会增加功耗，如何兼顾智能应用算法中的高性能和低功耗，以达到优异的性能功耗比（或能耗比）有待进一步研究解决。

（6）数据相互独立。不同前端人工智能之间的结构化数据无法相互应用和关联，对算法开发和嵌入造成了较大困扰，极易形成信息孤岛。

（7）联动报警。前端人工智能与现存的消防报警、火灾报警、可燃气体报警等报警平台没有实现联动管理、自行激活运行功能。

（8）智能管理。缺乏统一的智能设备管理平台，该平台需具备如下功能：对所有前端人工智能具备数据采集、设备控制、状态查询功能，支持应用程序（APP）故障信息自动推送功能，支持二次开发等。

4 结论

受益于当前人工智能技术、网络通信技术的发展，长输油气管道视频图像的大规模应用及芯片算力的提高，给油气管道系统的安全管理工作带来了颠覆性的影响。通过将视频图像处理技术应用到前端摄像头，既保障了油气长输管道行业中设备和人员及其所处环境的安全，也节省了人力物力，使得视频监控行业由人防变为了物防，由事后处理变成了事前预防，是未来油气长输管道行业提升设备感知，实现智慧管网的必然趋势。本文综述了视频图像前端人工智能技术的定义及分类，并详细列举了其在油气长输管道行业的应用研究场景，并对未来所需要解决的关键技术问题加以探讨。可见，结合油气长输管道行业现场应用具体需求及前端人工智能识别技术特点，将是未来视频图像处理在油气管道行业应用研究的主要方向。