机器视觉技术在塔机监控上的应用

郑 旭，王 辉，马圣良

（1.廊坊凯博建设机械科技有限公司，河北 廊坊 065000；2.凯博信息科技有限公司，河北 廊坊 065000；3.中铁二十二局集团第四工程有限公司，河北 保定 071000）

塔机是建筑施工现场物料垂直运输的主要设备，目前，塔机的安全装置主要是塔机自身的机械限位以及监控系统为主的电子辅助设备。监控系统主要基于信息与通信技术包括ARM 单片机或PLC 实现控制，结合数据传输技术与工业互联网，通过传感器采集数据并传输到显示仪器上，来实现对塔机运行数据的捕捉与监控。基于机器视觉学习技术的监控在塔机上的应用起步较晚，仍处于探索阶段。

1 机器视觉技术

机器视觉技术模拟人类接受视觉信号，通过传感器接受外界光电信号，转化为数字信号，利用视觉仿真技术，对感知场景进行学习与推演，识别特征物，依靠人工智能形成判断指令。通过视觉环境仿真技术结合实际场景建模，采用仿真软件（Ecotect Analysis）进行模拟分析，将仿真照度值与规范标准值对比，验证起重作业视觉优化模型的正确性，为视觉环境优化方案的制订提供依据。涉及人工智能、计算机科学、图像处理、神经网络、深度学习等多个知识领域。实现过程如图1。

图1 机器视觉技术实现过程

其中，双目视觉也称作立体视觉，是机器视觉的一种重要形式，类似利用人眼双眼的视觉差判断出物体远近距离，从而感知目标物体三维信息。双目定位是通过不同位置观测目标物体的多个二维图像，计算图像对应点位置偏差，计算出被观测物体的实际距离的方式。

2 施工场景摄像头技术的应用与发展

摄像头作为视觉技术的主要传感器，在最初施工现场使用中，主要应用于环境监控与人员监控。随着智慧工地项目推进，越来越多的视频技术进入了施工现场。例如，通过在摄像头中嵌套算法，对施工现场临边防护进行识别，人员进入临边会发出报警；识别劳务人员的抽烟、玩手机，扎堆等违规行为，并提供上报；机器视觉技术在大型起重机械上的应用同样广泛，施工升降机中人脸识别，人数识别；通过摄像头捕捉识别标准节螺栓的在位与松动检测等功能。

3 视觉技术在吊钩可视化中的应用

3.1 基于单片机控制系统的吊钩可视化系统

吊钩可视化系统辅助塔司作业，可避免塔司无法清晰观测到吊钩或吊载物周边环境盲目起吊导致的事故。基于ARM 单片机的吊钩可视化系统由电控部分与摄像部分组成，电控部分通过LAN 网桥组网、控制电路板、以及基于232、485通讯模组，串口触摸屏和开关电源等组成；摄像头部分由网络摄像头、锂电池组等。

该系统的控制原理是通过终端各个传感器的数据采集，将AD 数值（485 通讯协议）转化为数字信号，分别对于高度、幅度进行标定学习，计算摄像头的俯仰角与吊钩距离，从而控制摄像头进行分级变焦。该系统虽然满足了吊钩可视化的基本要求，但主要算法基于ARM 单片机通过电子信号实现对摄像头的间接控制，并非通过摄像头自身的机器视觉技术实现。

基于电子控制的吊钩可视化系统依靠塔机监控系统传感器数据保障变焦数据的准确，在实际使用中传感器数据难以维持稳定性，导致摄像头需要经常重新学习标定。此外，塔机顶升、断电等因素都会影响可视化设备的可靠性。机器视觉技术的应用，则可以规避电子控制中的诸多问题。

3.2 基于机器视觉技术的吊钩可视化系统

机器视觉识别技术在吊钩可视化中的应用已经具备一定基础，海康威视、大华等厂家均开发了基于机器视觉学习的自动追踪摄像机，通过手动或自动选择追踪物，完成云台操作及摄像头变焦的操作。该技术已经在塔机吊钩可视化应用场景中得到了验证。

基于机器视觉技术的吊钩可视化系统需要解决吊钩定位问题，目前摄像头有单目摄像头、双目摄像头以及多目摄像头。单目摄像头一般是通过检测摄像头端到吊钩距负载平面的距离，实现摄像头变焦。然而由于吊载物形状不同，容易对摄像头定位引起误判，在实际应用中会出现吊载物丢失、对焦失败等问题。基于双目的摄像头能更好地解决目标物的测距问题，将机器视觉技术融入吊钩可视化中，通过定位技术计算目标物体的相对位置、相机畸变的校正，该技术已经广泛应用于摄像头自动追踪领域。

利用双目摄像头定位过程如图2 所示，双目摄像头可以视为两个单目摄像头，左侧摄像头光心L，右侧摄像头光心R，B是基线（摄像头距离），P1、P2是在观测物平面上的同一观测点，P1-P2为视差D，F为焦距。根据近似三角形Z=（BF）/D，可以求出观测面中各点的相对坐标，从而得到观测物的三维位置坐标。

图2 双目测距示意图

测距后需要对视觉系统进行标定，基于摄像机的成像原理，利用图像像素与空间坐标时间的约束关系，求解摄像机参数的处理过程。标定过程中应用Matlab 工具箱在摄像机标定方面有多种实现函数。OpenCV 视觉类库中包换C++函数以及API 函数封装与接口。Halcon 软件则是软件数学计算与图像处理主要应用软件，可以通过软件内嵌控件，便捷的完成摄像头标定。

在标定过程中，通过OpenCV 中的CamShift算法，对吊钩颜色的追踪，实现了对吊钩的自动锁定。但这种方式无法有效避免当环境中存在同类颜色时对吊钩的影响。而运用SIFT 算法，实现了对于吊钩（目标物）的定位捕捉，实现过程如图3。

图3 SIFT算法的实现过程

此外，近年来REMON 提出通过YOLO 算法识别塔机特征场景，从而实现对于环境认知的学习。对基于视觉跟踪技术的TLD 算法建立的塔机监控系统进行实验测试，视频传输效率、检测正确率均达到了预设要求，跟踪效率与正确率均达到95%以上，完全可以满足现有塔机工作需求。主要厂家的核心技术路线略有差异，形成的产品也基本满足了对于吊钩的捕捉以及定位，达到了市场的一般需求，但稳定性仍有待提高。

4 基于机器视觉技术的群塔防碰撞系统

群塔防碰撞技术能为塔群作业提供安全预警服务，目前，应用较多的主要是基于ARM 嵌入式塔机监控系统，一般建立在单机塔机监控系统之上，用于对有碰撞风险的塔机提供预警报警。实现过程是通过人工录入塔机的基础信息（位置信息、塔机型号、臂长、高度等），再利用各个机构传感器采集的实时数据进行建模，通过无线传输技术组网，根据判断高位塔吊钩与低位塔大臂的位置，实现防碰撞预警。这需要保障各个塔机上监控系统的准确性，同时保证组网数据传输的通畅性。在实际应用中，施工现场复杂，工人安拆水平有限，设备难以做到持续的稳定性。

随着BIM 技术的应用，对工程实现三维数字建模，利用UWB、RFID、Wi-Fi、ZigBee等无线传感技术对塔机作业危险区域内，人员与塔机、塔机与塔机之间的碰撞进行实时采集并组网，对于危险行为提供预警报警。一些厂家基于机器视觉技术开发了群塔防碰撞系统，实现过程是通过视觉技术、定位技术，建立群塔作业模型，可以有效解决以上问题。通过算法对于目标环境的感知与学习，通过塔机摄像机采集视频信号，使用MASK R-CNN 方法进行图像识别。识别危险区域的像素坐标，使用像素和实际距离转换方法来测量安全距离，从而实现对于危险行为的自动收集、分析与预警。

此外，有的厂家开发了基于激光传感器、雷达测距等手段的群塔防碰撞系统，因为塔机吊载过程中作业场景复杂，诸多干扰无法排除，导致该类产品始终未得到市场充分认可。

5 结语

机器视觉技术可以实现对于周遭环境的识别与分析，构建动态多维模型。基于机械视觉技术的塔机监控系统的开发已初有成效，较依靠嵌入式、雷达、激光为核心的群塔防碰撞系统，机器视觉技术更加具有成本优势，更加人性化。机器视觉技术也是实现塔机远程驾驶、无人驾驶的技术核心之一，通过摄像头捕捉塔机周遭图像信息，识别、分析、定位、判断，依托BIM 技术建立信息化模型，结合塔机自身的控制系统与数据传输技术，实现塔机的同步操作，同步感知。

此外，基于机器视觉技术的YOLO 算法、SSD 算法还可应用在塔机的焊接开裂与钢丝绳探伤识别上，通过对塔机焊接裂缝的目标检测、对比，判断焊缝是否达标、钢丝绳是否存在断裂风险。随着塔机信息化及智能化的发展，机器视觉技术将会更多应用到塔机的施工场景中。