基于增强现实的钢铁生产线可视化仿真系统

毛立平，孙刘杰，王文举，王 森，黄 琦

(上海理工大学，上海 200093)

0 引 言

钢铁工业作为国民经济的基础原材料产业，在经济发展中具有重要地位。中国是钢铁生产和消费大国，粗钢产量连续13年居世界第一[1]。钢铁工业是国家经济水平和综合国力的重要标志。中国钢铁工业高速发展同时也留下了很多潜在的问题，如组织结构不合理、技术水平落后、污染严重等[2]。因此，中国钢铁工业的持续健康发展非常重要。

随着信息技术的高速发展，钢铁工业信息化逐步加深。对于设备而言，每一条生产线的管理是割裂开来的，经验占主导地位，不是系统性的集中管控。如何实现设备的集中管控，是一个亟待解决的问题。如果一个设备的问题能很直观地反映出来，那么就可以很快分辨出问题产生的原因，以及此问题产生后带来的后果，而不需要花费大量时间梳理流程，那么解决问题的效率会大大提高。那要如何实现这一点呢?人对信息的理解，最容易接受的就是图像，将设备的问题通过可视化技术展现在人眼前就可以在一定程度上解决这一问题。增强现实(augmented reality，AR)技术，可以通过真实环境信息识别和计算机实时三维渲染，把虚拟信息和真实信息融合在一起[3]，这样能够大幅度拓展虚拟信息的展示空间和扩展交互带宽，显著提升可视化的效果。随着网络传输速度和图像识别技术的不断提高，AR技术在微创手术、军事沙盘演练、汽车导航、工程施工、航天飞行训练等多个领域的应用逐渐广泛[4～8]。基于此，笔者将增强现实技术应用在钢铁生产线设备监控上，提出了基于增强现实技术的钢铁生产线可视化仿真系统。

1 系统需求分析

1.1 功能需求分析

工业互联网是基于现代传感技术、网络技术、自动化技术、拟人工智能化技术等先进技术的新一代信息技术，它贯穿于设计、生产、管理、服务等各个环节[9]。基于增强现实技术来设计一套钢铁生产线可视化仿真系统，系统要实现设备监控功能，可以通过移动端设备生成相关生产线的设备模型、并且模型上方有相关设备及板坯轧制信息跳动，加工过程中板坯的运动位置和形状变化也会展现在3D场景中，使用户可以很快发现设备出现的问题，并及时进行维修，减少损失，提高生产线的维修效率。

1.2 性能需求分析

(1)数据显示可满足裸眼观察需求；

(2)生产线设备模型的内部三维结构可直观显示；

(3)为保障动画的流畅性，展示画面的帧率≥24帧/秒；

(4)系统健壮性较强，能处理运行过程中出现的异常，如人为操作错误，系统应该能正确的处理，恰当的回避。

2 AR可视化仿真系统开发流程及关键技术

2.1 开发流程

AR可视化仿真系统以宝钢1580热轧生产线为模型进行开发，图1是系统的开发流程。首先进行1580热轧生产线设备信息的收集与整理，在现场对重要场景进行拍照留存，重要设备运转声音进行收录。接着将照片导入Photoshop进行处理,获取其材质,留作贴图。再用3ds Max等三维软件构建生产线中各设备的模型,保存为合适的格式后导入Unity3D游戏引擎。接着进行Unity3D的二次开发，其中包括纹理贴图、音效添加、板坯动画制作、设备数据展示画面设计，完成Unity3D的二次开发后需通过苹果公司增强现实插件ARkit工具实现空间交互，在现实环境相应位置生成模型，从而实现热轧生产线AR可视化。最后为提升系统的性能，从三维模型和灯光两个方面对系统进行优化。

图1 AR可视化仿真系统开发流程

2.2 关键技术

2.2.1 增强现实技术

增强现实技术是虚拟现实技术的延伸[10]。虚拟现实(virtual reality，VR)，又被译为“灵境”、“临境”等，是由美国VPL Research Inc公司的J.Lanier在1989年创造的一个词[11]。虚拟现实技术综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，它在多维信息空间上创造一个虚拟信息环境，能使用户有身临其境的沉浸感，具有与环境完善的交互作用能力。同时，虚拟现实具有一些人类所拥有的感知功能，比如听觉、触觉、视觉、味觉、嗅觉等感知系统。而增强现实是把真实世界信息和虚拟世界信息内容叠加综合在一起，呈现在人的面前，并且能够被人类感官所感知和交互，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。相较VR，AR最大的特点是不光可以看见虚拟图像，更可以看到真实环境。

2.2.2 场景建模技术

场景建模有两种方式，一种是利用Unity3D本身的建模功能，另一种是从外部导入模型。外部导入使用3ds Max、UG、SolidWorks等常用的建模软件建立三维模型,然后保存为特定文件格式，最后将模型文件导入到Unity3D中进行二次开发。

2.2.3 目标检测技术

目标检测是将图像或视频中的目标物体与其他无关信息进行区分，判断是否存在目标物体，若存在则返回目标的空间位置和范围[12]。增强现实技术需要将虚拟信息附加在现实场景上，对它们进行信息增强，因此第一步需要使用目标检测技术来识别出场景中的目标物体。增强现实中这一步的实现通常是通过对物体进行预标记，提取物体的视觉特征信息并记录，再对现实中的特征点进行匹配，寻找相关的预标记物体，保证增强现实信息可以附加在现实物体上。

3 AR可视化仿真系统设计与实现

3.1 虚拟场景构建

3.1.1 获取信息

前往工厂参观实际热轧生产线，确定连铸坯从加热到卷取过程中的主要设备及配件，获取设备的尺寸数据，必要的细节拍照存档。主要热轧设备有步进式加热炉、侧压定宽机、可逆式粗轧机、保温罩、异周速飞剪机、非可逆式精轧机、层流冷却装置、地下卷取机，具体数量如表1所示。使用声音收录装置对生产线现场重要声音进行收录，如板坯摩擦辊子、高压水喷射、板坯切除音效以及步进式加热炉、可逆式粗轧机、非可逆式精轧机和层流冷却装置等设备运转音效。

表1 主要热轧设备

3.1.2 三维建模

建模的优劣直接影响到整个虚拟场景的真实感，使用合适的建模方法能提高模型的质量和工作的效率。三维建模方法包括几何建模、运动模拟、物理建模、对象行为建模、模型分割等[13-15]，该系统主要使用几何建模和物理建模两种方法。目前使用最广泛的建模软件是3ds Max[16]，其运行平稳，操作方便，制作精度高的特点能保证模型的真实性。按照热轧设备的尺寸，在3ds Max绘制线条，矩形，弧形形状的样条线，再把闭合样条线转换成多边形，利用挤出命令建立起热轧生产线的大概模型，然后再对一些细节进行微调。图2是热轧设备可逆式粗轧机模型效果图。Unity3D作为专业的游戏引擎，支持.fbx格式的模型文件，通过3ds Max制作的模型文件保存为该格式可以轻松导入，并注意在模型导入前设置好材质和1UV2UV。

图2 可逆式粗轧机模型效果图

3.2 Unity3D的二次开发

Unity3D也称Unity，是由Unity Technologies公司开发的一个让开发者轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等互动类型内容的多平台的综合型游戏引擎。Unity3D支持的平台包括Windows、Linux、MacOS、iOS、Android、Xbox360、PS3以及Web等，其跨平台开发的特点可以为开发者节省大量时间[17]。Unity3D内置NVIDIA的PhysX物理引擎，可以用高效、逼真、生动的方式复原和模拟真实世界中的物理效果，使用Unity3D对钢铁生产线加工过程进行模拟，复原效果较佳、开发速度较快。使用Unity3D将导入的钢铁生产线三维模型进行二次开发的内容主要包括纹理贴图、音乐效果添加、板坯动画制作、数据展示画面设计。

3.2.1 纹理贴图

模型的纹理贴图在模型的真实度、系统内存占用量等方面有一定的影响[18]。Unity3D支持PSD、TIFF、JPEG、TAG、PNG、GIF、BMP、IFF、PICT格式的图片，此次对热轧设备三维模型进行贴图使用的是PNG格式的图片，因为它的容量更小且有不错的品质。在设置完设备三维模型的空间坐标后，将纹理图片通过Unity3D的Mesh Renderer组件贴附在模型上，注意作为模型材质的图片，其大小必须是2的N次方，如16×16、32×32、128×128等。

3.2.2 音乐效果

Unity3D支持多种音频格式，将生产线现场收录的高压水喷射、板坯切除等短音效果以.aiff或者.wav格式导入。步进式加热炉、可逆式粗轧机、非可逆式精轧机和层流冷却装置等设备运转音效较长，其.mp3音频文件可转换成.ogg格式导入，从而增强展示效果。

3.2.3 板坯动画

宝钢1580热轧生产线是将运送过来的板坯最终轧制成1.2 mm～12.5 mm厚的超薄规格板坯，通过观察板坯位置及其形状的变化，来判断生产线设备当前运行状态，从而达到及时发现故障的目标。在Unity3D中可以通过设置Animation关键帧或者编写C#脚本来实现板坯位置及其形状的变化，此次使用的是设置Animation关键帧的方法，因为其完成效果更加平滑。首先选中板坯模型，创建Animation文件后为其添加position和scale属性，接着添加关键帧，最后进行录制即可完成。

3.2.4 数据展示

AR可视化仿真系统可以将接收到的现场轧制信息直观显示在设备三维模型的正上方，使用户可以实时监控设备的运行，快速发现设备出现的问题，并进行维修。在Unity3D软件中于热轧设备模型上方新建canavs画布，调整画布大小，透明度，在C#脚本中以读取webapi的方式获取数据。

3.3 空间交互

虚拟热轧生产线模型要想展现在现实环境中，首先需要确定其在现实环境中的位置。通过使用苹果公司推出的增强现实插件ARkit，用C#语言编译来实现这一功能。首先需要识别并生成模型，接着是识别信息的导入，摄像头捕捉画面信息并与预置信息进行对比，最后进行空间的定位来完整展示模型。其中将识别信息导入主要程序代码如下：

using System.Collections;

using System.Collections.Generic;

using UnityEngine;

[CreateAssetMenu(fileName=“ARReferenceImage”，menuName=“UnityARKitPlugin/ARReferenceImage”，order=2)]

public class ARReferenceImage: ScriptableObject

{

pulic class ARReferenceImage:ScriptableObject;

public string imageName;

public Texture2D imageTexture;

public float physicalSize;

}

3.4 系统优化

3.4.1 三维模型优化

虚拟热轧生产线的设备模型众多,且对模型精细度要求较高，模型上任何细小的优化都有助于系统性能的提升。模型面数多少会直接影响计算机的渲染速度,可以选择把模型里一些难以看见的线和面删除。在不影响物体展示效果的前提下,将同色物体贴图的Max size值调成最小,以达到节约系统资源的目的。

3.4.2 灯光阴影优化

Unity3D中的灯光十分耗费资源，灯光范围越大，耗费资源越多。因此在不影响物体展示效果的前提下，可将灯光范围值调小一点。灯光照射下的模型在每一帧都需要被渲染，将一些有不太重要的模型合并，可以明显降低系统资源的消耗。Unity3D中阴影计算量也较大，让部分模型不做阴影投射可减少系统中的光照分析次数。

4 AR可视化仿真系统验证

为验证系统的可行性，将系统发布到带有苹果公司操作系统的移动端进行测试。首先启动程序扫描现实物体进行模型空间位置的确定，图3左边为使用iPad扫描现实物体操作，右边为扫描完成后现实环境中生成的经透明化处理的热轧生产线模型，整条生产线在空间中水平生成，将平板向前、后、左、右四个方向移动均未出现画面丢失情况，系统运行过程中音乐自动播放，并且可以较清晰地展示热轧设备的三维结构。

在现场数据接入后，模型上方显示轧制信息，例如加热阶段接入的数据是板坯轧制信息，有板坯号、轧制计划号、钢卷号、板坯长度X、板坯宽度Y、板坯厚度Z和重量t，具体数据见表2。现实环境生成的板坯轧制信息画面见图4左上，画面清晰度较高，可满足裸眼观察需求。系统可实现板坯的位置和形状变化展示功能，图4左下为处于加热阶段的板坯，右下为处于冷却卷取阶段的板坯，完成轧制的板坯规格为Z×Y=12.45×950 mm，满足热轧工艺要求。

表2 加热阶段板坯信息

图3 扫描现实物体及生成的模型

图4 加热阶段和冷却卷取阶段

5 结束语

经测试基于增强现实技术的钢铁生产线可视化仿真系统运行流畅，能较为直观展现钢铁生产线设备的三维结构，接入生产线现场数据后，轧制信息在设备三维模型上方显示较为清晰，满足裸眼观察需求，加工过程中的板坯位置和形状变化也较为精确。系统一定程度上有利于钢铁生产线设备的监控，及时发现设备出现的问题，并进行维修，从而减少损失，提高生产线的维护效率。将系统应用到多条生产线上，可在一定程度上实现集中管控。