基于混合现实技术的钻井现场巡检系统设计

刘洋?张治发?谢寅溥

摘要：针对油气井场工作者寻求解放双手、高效巡检的作业需求，围绕钻井现场设备巡检业务，以混合现实技术为核心，设计具有标准化智能作业巡检和远程指挥调度功能的综合系统。该系统将混合现实、目标识别和头戴式设备等新技术与实际巡检要求相结合，基于Unity3D设计适用于钻井现场巡检人员轻便作业、规范操作的巡检模式。通过测试，该系统可以提高钻井现场巡检业务的标准性和可靠性，并整体提升业务流程的管控水平。

关键词：混合现实；HoloLens；井场巡检；Unity3D

一、前言

当前从全球角度看，技术的加速变革促使企业需要数字化转型，中国当前各行各业的数字化转型进度参差不齐。多媒体行业，例如互联网、通讯、电信、媒体资讯等，发展较为迅速，数字化水平处于第一梯队。而传统行业，例如冶金、石油化工、机械自动化等依旧处于数字化转型的起点，绝大多数行业、企业都处在发展的关键节点。

目前，石油钻井现场设备巡检多采用人工巡检方式，巡检效率低下且工作量大，存在巡检过程实时性不强、巡检记录留档或记录方式传统、后端对巡检实时监控困难、无法进行远程协助等问题。巡检作为石油钻井过程中的重要一环，是钻井设备正常运行的保障[1]。

为实现巡检过程智能化，本文将混合现实技术（Mixed Reality（MR））运用到钻井现场设备巡检中，设计基于Unity3D开发平台的巡检系统，以整体提升钻井现场关键区域的巡检管控水平，辅助企业提高作业效率。本系统使用HoloLens混合现实设备进行作业，解放巡检人员双手，实现巡检电子化，更能在三维空间与使用者交互，帮助巡检人员实现识别、联系处理等功能以提高井场巡检的效率，助推井场作业数字化转型钻井智能化发展[2]。

二、系统概述

（一）系统功能

围绕钻井现场设备巡检业务设置了标准化智能作业巡检、远程指挥调度两种业务。

按照巡检任务以及现场的作业环境情况，确定每个设备巡检位置的站点，规划一条标准的巡检路线，完成整个巡检过程。进行钻井现场设备巡检业务时，首先进行用户登录，登录成功后选择作业工种，根据工种类型选择巡检路线，到达指定巡检点后，打开HoloLens的摄像头进行设备识别，若设备识别成功则可获得具体的检查项，依次检查确认设备；若设备未识别成功，则返回再次进行设备的识别。在检查过程中，若发现设备异常则拍照记录并上传到后端系统，管理人员可通过后端系统实时查看异常情况；若设备正常则选择进入下一项，直至巡检完成。对于巡检的每一项确认过程都将在云端系统进行巡检记录，后端管理人员通过后端系统可以实时查看巡检记录，了解整体的设备运行状态[3]。

巡检人员在巡检过程中遇到自己无法解决的问题，可以实时呼叫远程专家寻求帮助。专家通过音视频通话、截图标注等功能，对巡检人员进行一对一或一对多的技术指导。指导过程中，专家通过终端设备可发送文字、图片、视频等文件至HoloLens智能眼镜，巡检人员可通过语音或按键等快捷方式快速查看文件。在指导过程中若开启录像记录，专家指导完成后，后方PC端可将专家指导过程录屏并保存为视频文件，并将视频文件上传至服务器存储[4]。

（二）系统架构

基础层、技术层、应用层和功能层是组成系统架构的关键因素，其中基础层是作为系统为了实现功能所必需的软硬件存在；相关技术构成了系统的技术层，包含账户管理功能、空间锚点技术、全息协作技术、人机交互技术、音视频通话技术、数据上传功能、截图标注功能和设备资料搭建8种技术；应用层是本系统围绕井场巡检业务设计的标准化智能作业巡检、远程指挥调度2种应用功能；功能层是本系统能够实现的功能需求，包含设备识别及数据显示、过程记录上传、专家远程指导和音视频通话4种功能。本系统架构设计如图1所示。

三、开发环境

本系统基于HoloLens2的Trimble XR10混合现实设备和Unity3D引擎平台进行开发。

硬件环境：使用基于HoloLens2的Trimble XR10混合现实设备、搭载Windows10系统的笔记本电脑。

软件环境：标准化智能作业巡检部分使用JAVA编程语言作为开发语言，以VScode作为编译环境编写各种脚本运行。远程指挥调度部分使用C#编程语言作为开发语言，以Visual Studio 2019作为编译环境编写各种脚本运行。服务器使用Python、Keras、TensorFlow、JRE作为核心软件环境。混合现实设备程序端由Unity3D进行开发，使用搭载Windows10系统的电脑作为操作系统，结合Microsoft为加速混合现实应用程序开发，而设计的开源跨平台工具集—MRTK v2，将其与Unity3D结合构建原型，使其成为集合模型、脚本和控制模块的综合软件平台。同时利用官方提供的HoloToolkit包，在Unity3D中模拟混合现实端的视野和人机交互功能，将Unity3D中的程序部署到HoloLens混合现实端。

四、关键技术

本系统主要运用了账户管理功能、空间锚点技术、全息协作技术、人机交互技术、音视频通话技术、数据上传功能、截图标注功能等8种技术。

（一）账户管理功能

本系统的登录账户分为岗位账户、场景识别账户和专家账户3种。账户管理功能分别实现对岗位账户、场景识别账户和专家账户的管理。每个账户包含姓名、工卡号、公司、技能、岗位、密码等信息。通过HTTP API实现后端程序与网页前端和MR客户端的通信，当后端程序接收到请求后，检查参数合法性并操作数据库进行账户的增、删、改、查[5]。

（二）空间锚点技术

利用空间锚点技术可实现物体的定位以及方位对现实世界进行视觉固井，此技术可避免混合现实中的相关数字信息在真实物理世界中发生漂移。为保证眼镜中的全息图能够固定在物理现实世界中的某一位置，需要通过用户凝视与空间锚点技术相结合，同时通过地图数据与数字数据的更新，保证了储存在本地数据库中的物理现实空间中信息得到不断迭代与升级。

本系统利用空间锚点技术确定用户当前位置与目标位置的距离，当用户进入目标位置的范围内，即可触发对应的巡检任务。MR客户端使用场景识别账户登录系统，选择对应岗位并对各个巡检点进行空间定位。每定位一个巡检点，程序自动保存文件并上传到服务器后端，后端将存储该岗位的空间定位点到硬盘。

（三）全息协作技术

利用一个基于混合现实和微软Azure云的协作平台——Microsoft Mesh，用户通过各类平台设备实现与全系3D内容交互，使用户具有身临其境的感受。

通过使用HoloLens设备上的Dynamics 365 Remote Assist，即使专家不在现场也能与巡检人员进行沟通，查看对方现场的情况，帮助巡检人员解决问题。Azure的云端架构可以与企业现有生产管理系统相结合，帮助企业更好地实现跨地区、跨部门的全息可视化沟通与协同[6]。

（四）人机交互技术

人机交互功能包括凝视交互、手势交互和语音交互三种交互方式。实际应用中3种交互方式相辅相成，首先注视目标，再通过手势隔空敲击、语音说出命令或凝视要选择的目标来确认进行交互[7]，如图2所示。

本系统共设计了3种人机交互功能，具体如下：

1.巡检功能设计。巡检人员在巡检过程中可以通过语音或内置键盘方式记录设备的运行状态，通过手势交互方式勾选已完成巡检且无问题的选项。

2.异常反馈上传功能设计。在巡检过程中若发现设备异常，可进行拍照留存或输入文字，通过手势交互方式将异常记录上传到后端系统。

3.远程协作功能设计。远程专家利用Mesh技术可实现在任何时间、任何地点解决巡检人员在作业现场工作时遇到的任务问题，同时利用情景叠加提高解决问题的效率。

（五）音视频通话技术

本系统基于WebRTC实现音视频通话，利用信令服务器做信令转发、中继服务器做数据转发。信令服务器程序为音视频通话双方建立P2P连接，采用websocket进行通信，呼出方发起音视频通话时向信令服务器发送请求，信令服务器接收到请求后记录并将请求转发到呼入方，呼入方接收到请求后与呼出方建立P2P连接。当呼出/呼入双方无法建立P2P连接时，呼出/呼入双方将与中继服务器程序建立连接并将音视频流转发送到中继服务器程序[8]，中继服务器程序接收到数据后转发到对方以实现双方的音视频通话。WebRTC连接逻辑框图如图3所示。

（六）数据上传功能

巡检人员在巡检过程中进行文字、图片记录，并将记录结果上传到后端程序，再由后端程序进行转储操作等相关处理。数据上传处理技术基于WebAPI技术实现，后端程序响应数据请求处理，由SpringBoot框架技术、MySQL实现数据的接收和存储[9]。

（七）截图标注功能

MR客户端每帧计算一次摄像机矩阵并发送到专家端，专家端进行标注时计算标注点的位置、方向，标注的颜色，标注的尺寸，标注的角度，并将计算后的数据发送到MR客户端，MR客户端接收到数据后提取出位置、方向、标注颜色、标准尺寸、标注角度并创建3D物体放置于3D空间中。工作流程图如图4所示。

五、应用效果

本系统包括标准化智能作业巡检、远程指挥调度两大部分。

第一部分为标准化智能作业巡检。巡检人员登录系统后，进入巡检主菜单，选择巡检路线（不同巡检路线展示的内容不同），按照检查顺序完成所有检查项的巡检。巡检人员巡检的记录会同步到云端系统，在巡检过程中若发现设备异常，可以拍照或录像进行反馈。

第二部分为远程指挥调度。巡检人员在巡检过程中遇到技术问题，可以呼叫远程专家，专家通过音视频通话、截图标注等功能，对巡检人员进行技术指导[10]。

六、结语

通过混合现实技术，针对钻井现场巡检业务，设计包含标准化智能作业巡检和远程指挥调度功能的可视化巡检综合系统。通过测试，该系统满足巡检人员寻求高效、轻便作业的产品需求，使钻井现场巡检更趋近现代化和智能化，从而进一步提高巡检效率，推动巡检业务流程数字化、工单步骤自定义、工作流程可视化和过程管控高效化，具有一定的市场应用价值。

参考文献

[1]张珊茹，刘彬博，秦方博，等.基于MR技术的配电房运检系统研究设计[J].微型电脑应用，2022，38（08）：11-14.

[2]王棨，赵豫京，聂翔，等.MR技术提升变电站智能运检建设的研究[J].电子元器件与信息技术，2022，6（06）：180-183.

[3]崔强，贾志鹏，胡俊涛.物联网技术在数字油田建设中的应用[J].化工管理，2022（15）：165-168.

[4]刘云江，关慧，王鸿亮，等.深度学习在混合现实车间巡检中的应用[J].计算机系统应用，2022，31（05）：118-123.

[5]方维岚，吴奕龙，陈翀.基于AR/MR技术的智能穿戴设备在工业巡检中的应用[J].数字技术与应用，2021，39（07）：150-152.

[6]卢光旭.巡检机器人在井场上的应用[J].中国新技术新产品，2020（11）：1-2.

[7]工业设计编辑部.MR技术将人类拉近未来[J].工业设计，2020（05）：19.

[8]黄慧鹏.油田采油井站巡检系统设计与应用[J].信息技术，2016（06）：170-172+176.

[9]李玄基.基于HoloLens增强现实的关键技术研究与实现.成都：西南交通大学，2019.

[10]Mixed Reality Could Improve Science，Technology， Engineering，and Mathematics Learning.[J].Gaggioli Andrea.Cyberpsychology，behavior and social networking.2019（2）.

作者单位：川庆钻探工程有限公司钻采工程技术研究院