基于NCNN的特种设备原始记录便捷化采集方法的设计与应用

邹山青

摘要：文中通过分析特种设备原始记录采集过程中遇到的问题，提出一种基于CNN卷积神经网络和NCNN高性能神经网络前向计算框架的图像文字识别方法的应用，通过对识别的结果进行近义词分析、数据分类及数值规约保证了数据的准确性及识别结果的高可用性，从而有效提高检验人员现场采集原始记录的效率。

关键词：卷积神经网络；高性能神经网络前向计算框架；近义词分析；原始记录

Design and Application of an NCNN-Based Efficient Collection Method for Original Records of Special Equipment

ZOU Shanqing

（Fujian Special Equipment Inspection and Research Institute， Fuzhou 350008， Fujian， China）

Abstract： By analyzing the problems existing in the collection process of original records of special equipment， it proposes the application of an image text recognition method based on CNN convolutional neural network and NCNN high-performance neural network forward computation framework. This approach ensures data accuracy and recognition result availability through the analysis of semantic proximity， data classification， and numerical statute validation. The method effectively improves the efficiency of inspectors' on-site collection of original records， enhancing overall operational efficiency.

Key Words： Convolutional neural network; High-performance neural network forward computation; Synonyms; Original record

0 引言

近年来，随着我国经济持续发展，特种设备的数量与种类也在日益增长，人机比矛盾日益突出，因此如何在传统检验过程中应用新技术来提高检验检测的效率、提升检验检测的质量，一直是各检验机构努力的方向。

在传统的检验过程中，检验人员的工作流程一般是到现场执行检验任务，对照现场的技术资料和设备检验情况在纸质的检验原始记录上进行填写，在结束检验后根据检验原始记录进行检验报告的出具。这种模式存在较多可改进空间，第一是检验过程中无法查阅相关检规、调阅特种设备的参数信息及历史检验数据，无法为检验员的现场判断提供帮助；第二是纸质的检验原始记录在检验完成后需要再次录入系统，增加了检验人员的工作量，而且在手工录入的过程中还可能由于人为因素引起误差或错误；第三是纸质的原始记录在检验质量管理或是历史数据追溯的过程中，均不便于检索，打印的大量纸质原始记录也存在资源的浪费。

为了解决以上问题，潘健鸿提出了基于Microsoft Office Excel的特种设备电子原始记录采集方法，有效地解决了纸质原始记录编辑效率低、浪费资源、历史数据检索不便的问题[1]；2020年，朱继青基于国家标准 GB/T 33190-2016《电子文件存储与交换格式版式文档》的开放版式文档 （Open Fixed-layout Document，简称 OFD）实现了基于信创的国产自主可控的原始记录采集方法[2]。2020年底，邱梦华提出了一种基于Android的特种设备检验系统设计及实现方案[3]实现了现场电子原始记录的编辑、上传，该系统支持在现场查看设备基础信息、特种设备安全技术规范、相关法律法规及收费标准等信息，结合智能录入和校验功能极大地提高了检验人员现场录入原始记录的效率。该系统还支持离线编辑、自动生成报告、电子签章、现场生成检验意见通知书等功能，基本上解决了传统检验过程中遇到的问题。

然而在此基础上，仍有亟待解决的问题和改进的空间。特种设备检验中最常见的两种检验类型为监督检验和定期检验，监督检验指的是特种设备的安装、改造、重大修理过程中进行的检验，定期检验指的是特种设备在日常使用过程中，在安全检验合格有限期届满前一个月进行的检验。其中定期检验原始记录可以从首次的监督检验原始记录或上一次的定期检验原始记录中获取历史数据，进行数据的填充和现场比对完善，然而安装或制造监督检验对于检验员来说往往是白纸一张，许多设备的参数要从现场的设备铭牌及厂家提供的纸质资料中获取和填写。一份检验原始记录包括设备基础信息、检验仪器信息、检验项目结果、不合格内容、观测数据等内容，填写数据量达几百余项，导致检验员的工作非常繁重。为了缓解检验人员的工作压力，提高现场数据采集的效率，文中提出了一种基于NCNN的图像识别方法，用于快速识别和提取厂家提供的纸质资料和现场拍照获取的设备铭牌中的数据，可有效提升特种设备原始记录的现场数据采集效率。

1 图像文字识别技术的发展与选择

图像文字识别技术的研究早在1950年就已经开始了，一般是识别字母、数字和符号，从印刷文字识别到手写文字识别。早期的图像识别技术是手动提取图像特征，通常采用SIFT（Scale Invariant Feature Transform）或SURF（Speeded-Up Robust Features）等算法进行图像特征提取和匹配，但是手动特征提取的局限性在应用中也逐渐显现。随着计算机技术的飞速发展，人们开始探索更加自动化的特征提取方法，其中卷积神经网络（Convolutional Neural Network CNN）成为主流。在卷积神经网络模型中通过学习和使用卷积核对图像进行特征提取和分类，其解决了传统图像识别技术无法应对大规模数据的问题，并且在准确性和效率上表现出色。例如在ImageNet大规模视觉识别比赛中，使用卷积神经网络的方法取得了显著的优势。而现在，越来越多的机器学习方法，例如循环神经网络（Recurrent Neural Network RNN）、深度学习（Deep Learning）等都被应用在图像识别上，并不断推动着图像识别技术的发展[4]。

文中所采用的图像文字识别技术是基于开源项目Chineseocr_lite，该项目在开源项目Chineseocr的基础上进行了改进，采用了轻量级的主干网络 PSENet、轻量级的 CRNN 模型和行文本方向分类网络 AngleNet，实现了中文自然场景文字检测及识别的超轻量级中文OCR。该项目提供了基于NCNN的JVM开发包及安卓开发包，支持在PC端及鸿蒙/安卓手机/平板端调用，完全可以满足原有系统架构的需求。NCNN是一个为手机端极致优化的高性能神经网络前向计算框架，无第三方依赖，支持跨平台。通过使用NCNN，开发者能够将深度学习算法轻松移植到手机端高效执行。

2系统设计与实现

通过在原有的基于鸿蒙/安卓端的特种设备检验系统的编制记录模块中增加“智能识别”功能，进行现场拍照或选择图片的方式输入要识别的图片，然后调用基于NCNN的图像识别方法进行图像文字识别，对识别出来的结果结合开源中文近义词工具包Synonyms进行识别和归类，对识别出的数值按照特种设备的类型和参数规范进行数值修约，得出的最终数据以参数窗口的形式展现，由现场检验员进行确认，确认后的数据写入原始记录数据文件，完成现场数据采集。

2.1图片采集

在基于鸿蒙/安卓端的特种设备检验系统投入使用后，检验人员赴现场检验过程中均配备了平板电脑，可在现场通过拍照的方式采集特种设备的铭牌、标签，以及安装单位提供的纸质技术资料。识别的目标以印刷体的中文字符及数字、字母、符号单位为主，不需要考虑手写体的识别。影响识别效果的主要因素在于采集的环境可能造成图片的变形、倾斜或遮挡；已投用时间较长的特种设备铭牌上可能有划痕、油污、灰尘、印刷体褪色等问题，拍摄前应清洁铭牌表面，并尽量避免反光、遮挡或倾斜，尽量保证拍摄图片的清晰度，以提升识别的准确率。

2.2文本检测与识别

首先通过YOLO V3进行多尺寸特征目标检测，然后采用Non-Maximum Suppression（NMS）非极大值抑制技术保留得分最高的检测框，再根据文本碎片框及其得分、图像尺寸，使用文本线构造法获得文本行及其得分，保留得分最高的文本行，进行进一步的文本识别。文本识别的过程主要包括通过CNN提取图像卷积特征，然后通过深层双向LSTM网络进一步提取图像卷积特征中的序列特征，最后通过CTC Loss引入blank字符解决训练时字符无法对齐的问题。LSTM（long short-term memory）长短期记忆网络是RNN的一种变体，RNN由于梯度消失的原因只能有短期记忆，LSTM网络通过精妙的门控制将加法运算带入网络中，一定程度上解决了梯度消失的问题。

文本识别的结果以键值对的方式进行对应展示，对于图片不够清晰或划痕等导致的识别结果不准确的，经过人工确认并修正数据，确认后的数据可以离线保存为本地数据，并在恢复在线环境时通过调用服务器接口进行上传。

2.3数据分类及修约

不同的特种设备生产厂家对于同一参数的描述和数值都可能是不一样的，例如：额定速度，有的厂家可能描述为额定梯速或速度；额定速度有的标识为105m/min，有的标识为1.75m/s。且企业提供的纸质技术资料和铭牌中的参数信息并不是全部都需要，只需要关注检验原始记录中需要填写的技术参数。

为了采集数据的标准化，以电梯为例，依据TSG T7001-2023中要求必须采集的设备技术参数以及原始记录中需要采集的技术参数建立采集参数配置表，对需要采集技术参数的原始记录模板号、参数的中英文描述、值类型、计量单位、浮点数小数位数进行定义。通过采集参数配置表，使得模型能够快速地识别出需要采集的参数。首先识别的结果通过开源中文近义词工具包Synonyms进行识别和归类，例如：额定梯速可以归类到额定速度。然后对识别出的数值按照采集参数配置表中定义的值类型和参数规范进行数值修约。例如：速度值105m/min可修约为1.75m/s，约定额定速度的数值为浮点型，保留小数点后两位。

经过处理后的数据，直接依据采集参数配置表的字段名对应写入原始记录的数据文件，检验人员在原始记录编辑时可以查看或修改。

2.4数据存档

由于检验人员现场检验的环境常常处于偏远地区、坑道或封闭的机房内，信号不太稳定，因此需要支持离线编辑功能。文中所使用的图像识别算法支持离线进行图像文字识别，文本识别结果在检验人员确认保存后，会存放在本地设备中，待网络恢复正常时，通过调用服务器接口进行数据上传，以json格式写入文字识别历史数据表，与原始记录的报告号关联。识别的图片通过调用服务器接口上传到云存储，接口返回的路径写入文字识别历史数据表。

识别的图片文件和识别结果存档的目的在于：一方面，由于纸质资料不易存放、容易损坏，电子资料是对技术资料审查过程中的纸质资料的备份，便于检验人员后期的资料检索和查看；另一方面，在质量监督过程中监督人员需要对检验人员的报告记录进行检查，核对报告记录中的数据是否正确，填写和操作是否规范。当对数据内容有疑问的时候，通过查阅存档的图片文件即可获取到最原始的信息，以达到防篡改的效果。

3 图像识别算法的训练及优化

通过收集图像识别过程中需要人工修改识别结果的图片集，对图片进行分割，将需要修改识别结果的区域进行分割处理并编号，形成训练图像集合。对于识别结果修正后的数据存储为对应的真值（ground truth）标签序列。通过在成对的图像和序列上进行端到端的训练，使得图像识别算法可以快速地收敛。在120张验证图片的测试情况下，两轮训练结束之后准确率就达到了83.5%，经过30轮的训练，准确率可以稳定在97.2%左右。针对特种设备铭牌及参数表中文字序列搭配较为固定和规范的场景下，经过训练后的模型在真实图像上表现得很好。

4 结语

文中基于日益成熟的OCR技术应用提出一种基于NCNN的图像识别方法，有效提升了特种设备原始记录的现场数据采集效率，解决了大量人工输入问题，速度快、准确率高。通过对识别的数据进行分类和规约实现了数据采集的程序化与标准化。通过电子资料存档，实现了记录数据的可追溯和不可篡改。

随着科学技术的进步，检验现场的数据采集也一定会有进一步优化的空间。譬如，在特种设备检验检测的工具及测量仪器实现了数字化输出时，可以通过制定传输协议标准，实现与各类检测工具的信息交互，完全实现数据自动采集。这一阶段需要注意的问题是，检测工具测出的数据必须经过校准与可靠性测试，自动采集上来的数据要与原设备实验数据定期或周期性比对，以保证电子数据的可靠性。

参考文献

[1]潘健鸿.基于通用Office的机电类特种设备智能检验

系统的实现[J].质量技术监督研究.2009（06）：32-36.

[2]朱继青.基于OFD的特种设备检验原始记录采集和

编辑系统的设计[J].中国电梯.2021，32（11）：40-

42+45.

[3]邱梦华.基于Android的特种设备现场检验系统设

计[J].机电技术.2022（06）.16-18.

[4]贺小琳.OCR文字识别在人行征信查询服务中的应用

探析[J].金融科技时代. 2023，31（01）：60-64.