5G“云拍”系统设计与实现

杨泽勋　吕晨　李青原　牟宁

关键词： 机器视觉；百度AI；5G传输；API接口；物联网平台

中图分类号：TP393 文献标识码：A

文章编号：1009-3044（2023）21-0028-03

0 引言

工业互联网作为新一代工业革命的重要组成部分，正在深刻地改变着传统制造業的生产方式和商业模式[1]。5G+机器视觉通过人工智能和5G网络的协作，成为工业互联网领域研究和应用的热点之一[2]。5G网络的高速率、低延迟和大带宽特性可以为工业互联网提供更加可靠、安全、高效的数据通信和计算能力[3]。基于AI的图像识别技术，可以实现对工业生产过程中的设备、产品和环境等多个方面进行实时监测和数据采集，提高生产效率和质量，降低成本和风险[4]。

5G+机器视觉在工业互联网领域已有很多成功案例[5]。本项目来源于某企业的实际需求，系统使用工业摄像机对工业仪表数据进行采集，通过训练深度学习AI模型，实现对于仪表的自动化数字识别，同时基于物联网平台将数据上云，便于管理人员进行实时监控。

1 需求分析和整体架构

1.1 需求分析

系统需要对图像进行自动定时抓拍；需要支持高速的图像传输，能够将图像数据传输到PC端进行处理和存储；需要将图像数据进行存储，并且能够快速地进行检索和查询；需要支持灵活的配置，能够根据不同的应用场景进行配置和调整，需要能够对数据进行加密和保护。

基于以上需求点，梳理系统的具体功能性需求如下：

清晰化采集：选择工业级采集和通信设备进行硬件搭建，确保采集图像清晰，传输高速准确。

精确化识别：准确识别读取仪表的数值，精准到小数点后一位。

自动化程序运行：系统24小时无间断运行，并支持远程操控。

数据可视化管理：识别的数据汇总显示在工业互联网平台或移动端小程序上，做到数据可视化和监测实时化。

1.2 系统总体架构

针对以上功能性需求点，将系统划分为三个模块，整体架构设计如图1所示。

模块一：基于5G的图像采集；

模块二：基于AI的图像识别；

模块三：基于云平台的可视化监测和管理。

2 系统设计和实现

三大模块设计细化如图2所示。在数据终端采集模块中，需要部署摄像机、5G数据传输设备和电脑。摄像机负责采集图像数据，5G数据传输设备负责将数据传输至电脑，电脑则进行数据预处理、压缩和传输。数据传输采用http协议，以便于在数据可视化层中进行数据的接收和展示。在图像识别模块中，采用百度AI提供的图像识别服务进行图像处理和分析，采用Python代码进行数据处理和模型训练，并采用图形化界面系统提供可视化操作界面，方便用户进行交互式操作。在数据可视化模块中，基于OneNET物联网平台提供的数据存储、分析、可视化等功能，结合移动App 提供的可视化界面，实现对数据的实时监控分析，并通过数据结果展示，为用户提供智能决策支持。

2.1 数据终端采集模块

数据终端采集模块的构成如图3所示。

其中，5G CPE 采用鼎桥IC1680，是一种基于5G 网络的高性能终端设备，将5G信号转换成WLAN信号和网线接入，从而为工业用户提供无线宽带接入服务[6]。网络摄像机采用海康威视AI多摄系列，其全景和细节镜头均采用背照式传感器的设计[7]，摄像机增加的进光量对图像质量有明显的改善作用。

摄像机采集到的数据经过处理和优化后，通过5G网络传输到分析平台。除了利用5G网络高速率、低时延的特性，网络侧还配置了5G无线增强和边缘计算技术，实现更高效、更灵活、更安全的网络传输和管理。采集图像预览页面见图4所示。

2.2 图像识别模块

1） 基于百度AI图像识别

设置访问的APIKEY 与SECRETKEY，并且设置文件路径，用lambda函数获取最新文件的绝对路径，并且以列表的形式存储起来，从而实现获得最新的摄像机拍摄温度照片，实现数据的更新。之后调用在线的仪器仪表数字识别服务API或者交通模型识别服务，获取token，同时图片经过url encode后进行base64 编码传入，因为计算机传输数据格式无法识别图片图像地址，所以需要将一幅图片数据base64编码成一串字符串，使用字符串代替图像的存放地址。之后得到图片的二进制，然后去掉编码头后再进url encode。

AI识别数据进行上传至ONENET平台操作，定义数据上传格式。调用ONENET工业物联网云平台API 服务，填写相关的url地址和API KEY数据，就能进行参数的云平台上传与检测。获取time函数，规范时间输出格式为年月日每小时每秒，打印出程序运行的时间，最后设置程序循环运行时间。

2） 基于OpenCV的图像识别

流程如图5所示。第一步，进行中心点的设定和坐标读取，达到定位图像的准确位置，之后获取图像中心和去色，用K-Means算法在颜色样本中建立2个类，从而为原始图片的每个像素进行类的分配。K- Means算法是一种以距离为基础的聚类算法，k 个数据点随机分成集群。根据数据点到集群中心的距离，将每个数据点分配给最近的集群。然后重新计算每个群落的中心，再分配分数点，这个过程不断重复，直到一定的收敛条件得到满足。

第二步，实现一个获取指针角度的功能。传入一个图像，首先获取图像的形状，然后计算出图像中心坐标，以及在该图像中心坐标下，到指针末端的一条线段。然后在该线段上采样点，通过判断采样点处像素的颜色来确定指针是否覆盖该点。最终，将各个采样点的覆盖情况统计到一个列表中，返回出现次数最多的颜色及其对应的角度，即为指针所在的角度，

第三步创建名为POINTER的类，其构造函数接受一个参数path，表示图像路径。类中有一个start_get_val方法，用于获取测试图像的指针所指向的刻度值。将图像转换为灰度图像，然后返回矩形坐标，用于截取感兴趣的区域。接着，从截取的区域中再次使用矩形坐标，用于进一步截取只包含指针的区域。然后将这个区域进行二值化处理，再调用从中函数获取指针所指向的角度。根据角度计算出刻度值，并将其返回。

在图形化控制界面中，可以读取实时识别的仪表读数，如图6所示。

2.3 数据可视化模块

基于OneNET平台实现PC端可视化，使用HTTP 协议完成设备接入和设备管理。设备管理功能包含数据管理、在线管理、在线状态监测等。具体界面如图7所示。

移动端采用了VUE前端框架、uview小程序继承框架、ECharts与uCharts，uni.request等多种方法来获取阿里云平台数据，并在移动端的小程序中展示。采用HbuilderX编辑器，它是一款由DCloud开发的基于Electron的跨平台前端开发IDE，支持多种框架和语言的开发，具有代码提示、调试、版本管理等功能。图8 为移动端的管理界面。

3 测试和讨论

在部署的Python代码中，系统每十秒读取一次测试仪表的温度值，如图9 所示，可以精确识别相应数值。

同时，将识别的数据以字符串形式传递给工业物联网云平台，如图10所示。

云平台方面需要调配百度AI的相关应用，创建相关的服务模型。由于仪器仪表指针型仪器识别困难，百度AI暂时还没有推出相关的算法模型，需要基于OpenCV对获取到的仪表图片进行预处理，包括图像的灰度化、二值化、滤波等处理，通过阈值分割、边缘检测等方法，将指针和刻度盘进行分割，使用霍夫变换或其他方法，对刻度盘进行识别，得到刻度值的位置和大小，对指针进行识别，得到指针的位置和角度，最后根据指针的位置和角度，以及刻度值的位置和大小，计算出指针指向的刻度值。

在项目部署实施环节中，数显温度计的显示屏幕刷新率与摄像机显示屏的刷新率不同步，数显温度计在摄像机里会出现显示不全、数字抖动等现象，需要降低摄像机曝光率。当仪器仪表的图像清晰度不够时，可能会导致图像处理算法无法正确地识别和分析仪器仪表的特征。在不同的光照条件下，仪器仪表的图像可能会发生变化，这也会影响图像处理算法的准确性和稳定性。

不同种类的仪器仪表在形状、大小、颜色等方面都可能存在差异，这对识别算法的设计和实现提出了更高的要求。在實际应用中，仪器仪表的位置和方向可能会发生变化，这会影响图像处理算法的准确性。在图像采集和传输过程中，可能会受到噪声和干扰的影响，这会对识别算法的准确性造成影响。此外电磁干扰会对摄像机产生电磁波，可能对数显温度计的电路产生负面影响。