图像识别技术在天车吊挂钢包作业的应用

唐山不锈钢有限责任公司设备科 姚旭亮 张士慧

炼钢天车吊挂作业需要天车司机、地面指挥人员协同，天车司机自己无法确认地面吊挂状态，地面吊挂状态完全依靠地面指挥人员，吊挂作业许多环节地面需要指挥者确认，确认不好会造成蹲钩、卡勾、钢包脱落等危险，并且现场指挥人员存在较大人身安全隐患。为了降低炼钢吊包作业流程存在的危险，提高作业效率，设计炼钢天车吊挂作业图像识别系统。此系统将地面拍摄大包耳轴的摄像头图像应用无线技术实时传输到天车平板电脑，平板电脑应用Python编程经过卷积分析，识别天车吊挂作业等待、准备挂钩、正在挂钩、吊钩到位四个状态并语音提示天车司机，从而省略指挥人员的两侧确认和天车司机的二次确环节，不仅避免了指挥人员来回走动所带来的人身安全隐患，而且还能节省挂包时间，提高生产效率。将图像识别、机器学习等新兴技术应用于天车领域，使天车作业更加智能化、更加自动化，实现培养人才、提高利润的目标。

以唐钢不锈钢公司100t转炉-LF精炼-常规板坯连铸为依托，以打造无人化、黑灯工厂、智慧工厂为目标，采用视觉分析等数字化采集、现场控制自动化、信息传递自动化及互联网技术、数据分析统计技术、人工智能机器学习等技术，实现转炉全流程模型控制开发。

随着各类新兴技术的快速发展，整个工业时代的生产模式面临着变革。无人化、智能化、高效化、标准化成为工业发展的前景。而作为当前最为流行的编程语言，Python的应用领域极为广泛。Python是一个高层次的结合科解释性、编译性、互动性和面向对象的脚本语言，应用领域极为广泛：1）WEB开发；2）桌面软件；3）网络编程；4）爬虫开发；5）云计算开发；6）人工智能；7）自动化运维；8）金融分析；9）科学运算；10）游戏开发。炼钢天车吊挂图像识别系统就是通过Keras卷积神经网络识别技术进行生产过程提示。

1 炼钢天车吊挂图像识别系统的设计思路

1.1 天车吊挂作业生产现状

炼钢天车吊挂作业时需要天车司机、地面指挥人员协同，由于天车司机室视野限制天车司机自己无法确认地面吊挂状态，地面吊挂状态完全依靠地面指挥人员通过对讲机通知天车司机。唐钢不锈钢公司炼钢天车吊包作业由等待吊包、主钩下降、确认板钩、继续下降主钩、确认板钩高度、北打小车、确认板钩吊挂、起升主钩、指挥者两侧确认、司机二次确认、指挥者二次确认、起升主钩、试吊共13环节构成。其中除了等待吊包、起升主钩、试吊环节外其它10个环节均需要地面指挥者确认，如果确认不好将会造成蹲钩、卡勾、钢包脱落等危险，现场指挥人员存在较大安全隐。

1.2 天车设备配置现状

唐钢不锈钢公司炼钢天车具有天车定位系统，此系统通过炼钢车间天车、台车定位，天车物重采集，生产设备状态采集，已实现废钢斗、铁包、钢包跟踪和可视化管理，系统通过编码电缆定位技术实现天车大车、小车位置的自动采集和过程监控；天车司机室内配备一台平板电脑，用来显示天车实时位置及过程监控信息，并通过无线网络将天车信息实时传输到地面服务器。

图1 炼钢天车吊挂图像识别系统设计示意图

1.3 天车吊挂图像识别系统实施方案

天车吊挂图像识别系统在天车定位系统基础之上增加两台网络摄像头。网络摄像头安装于地面，分别采集钢包左右耳轴实时图，利用天车定位系统的无线网络与天车司机室内平板电脑通讯，具体通讯方式网络摄像头通过天车定位系统地面交换机连接天车跨上AP基站、天车AP与平板电脑相连，平板电脑应用python语言编程将地面网络摄像头图像实时采集，通过图像识别程序判断天车板勾与钢包耳轴悬挂状态，并将天车板勾与钢包耳轴悬挂实时状态对天车司机进行语音提示。

平板电脑编制地面耳轴图像与天车定位原系统画面切换程序，通过天车定位，在天车大车、小车、吊钩满足吊挂作业条件的状态下天车定位原系统画面切换到地面耳轴画面，画面同时显示左右耳轴图像。当完成吊挂作业后，天车板钩抬起一定高度退出地面耳轴画面，切换到天车定位原系统画面。天车吊挂钢包实时画面显示提高天车吊挂图像识别系统的安全性，实现吊挂作业现场状态司机室内可视化。

2 炼钢天车吊挂图像识别系统技术的实现

2.1 图像传输方案

应用OpenCV技术将摄像头图像显示于平板电脑之上。OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。 它轻量级而且高效，由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。改变图像输出格式，OpenCV默认输出格式为YUYV，可将其改成MJPG格式， 通过用不同电脑测试发现，摄像头在不同的电脑上默认使用获取视频的格式不同。由于项目原因，需要以MJPG格式读取，使用MJPG格式主要是考虑到YUYV数据量较大，影响摄像头读取速度。

2.2 图像传输卡顿解决方案

（1）运用多线程解决负载均衡问题，充分利用CPU资源。随着计算机的配置越来越高，我们需要将进程进一步优化，细分为线程，充分提高图形化界面的多线程的开发。多线程技术使程序的响应速度更快，因为用户界面可以在进行其它工作的同时一直处于活动状态；当前没有进行处理的任务时可以将处理器时间让给其它任务；占用大量处理时间的任务可以定期将处理器时间让给其它任务；可以随时停止任务；可以分别设置各个任务的优先级以优化性能。

（2）摄像头分辨率设置，通过网络摄像头管理软件调整摄像头分辨率设置和帧率设置。可以根据现场无线网桥、平板电脑、交换机等硬件配置把传输图像调整到最佳显示状态。

2.3 图像传输终断解决方案

增加异常处语句，这样平板电脑与网络摄像头通信过程中，如果发生错误通讯失败可以重新尝试连接，程序不会终止运行。

2.4 图片采集分类

摄像头安装于固定位置，通过程序连续抓拍天车板钩吊挂作业图片，将图片按作业状态分成四类（等待、准备挂钩、正在挂钩、吊钩到位）每一类图片不低于1000张。

2.5 训练模型

根据平板电脑配置情况将图片分辨率缩小，降低电脑运算量。应用卷积分析方法生成图像识别四分类器，运行识别程序与静态图片对比查看识别效果。

2.6 语音提示

（1）方法1应用pyttsx3库循环播放语音。

（2）方法2应用playsound库循环播放语音。

3 炼钢天车吊挂作业图像识别系统的应用效果

如图2所示为识别过程，通过现场摄像头采集天车板勾与耳轴画面，通过卷积分析判断是否悬挂到位，同时根据板勾的运动过程实时语音播报悬挂状态，能够实现天车吊包的自动判断过程，为吊包自动化奠定了基础。

图2 天车吊包自动判定过程

唐钢不锈钢炼钢全流程智能化的一个重要部分就是实现天车自动判断耳轴吊挂状态，应用此采用图像识别技术，实现了天车吊挂作业工作状态实时提醒功能，地面图像无线网络传输司机室，提高天车作业安全性和工作效率。应用此系统缩短天车吊挂作业时间。