基于深度学习的仓储货物监控方法研究

李孟娜　张维忠　郭莉

文章编号： 10069798（2022）01001107; DOI： 10.13306/j.10069798.2022.01.002

摘要：  针对传统仓储货物监控存在对管理人员依赖程度较高，并且在发生失窃时不能及时报警等问题，本文设计了一种基于深度学习的仓储货物监控方法。通过摄像头定时抓取图像，获取一定时间间隔的两张图像，采用图像粗定位处理检测图像变化区域，并利用深度学习网络，识别变化区域是否为目标物，实现对仓储货物实时有效地监管和自动报警功能。同时，以仓储棉花包为应用实例，对棉花包的监控进行测试实验。实验结果表明，对棉花缺失情况的检测准确率可以达到93%，满足实际应用的需求。该方法通过定时执行，执行间隔可根据用户需求来确定，以确保监控的实时性，使用户能及时获取仓库被盗信息。该研究具有较大的工程应用价值。

关键词：  图像处理; 深度学习; 仓储监控; 自动报警

中图分类号： TP391.413; TP181; TP277.2文献标识码： A

随着我国经济水平和科学技术的迅速发展，仓储货物的监控早已从真人值班看守，使用围栏电网防护、防盗门防盗网等防护方式，过渡到通过仓库内摄像头远程监控的便捷化智能化监管方式。监控系统已经成为公司企业发展过程中不可或缺的一部分，可以有效避免货物丢失等隐患[1]。此外，还有一些监控系统实现了云端数据的存储，管理员可在电脑、手机等终端设备查看监控视频，但是由于缺乏对数据的处理，随着摄像设备的不断接入，服务器负担加大，使用成本增加。目前，许多监控系统需要特定人员在终端进行值班才能及时报警。当货物发生丢失或盗窃后，管理员需通过历史记录进行查看。因此，经常会发生因发现不及时导致监控视频被覆盖，或未及时获得被盗信息导致不能及时报警等效率较低的问题，造成经济损失。丁承君等人[2]提出了面向仓储的物联网智能化监控系统，在以视频监测和人防为主的传统智能仓储基础上，增加物联网技术[35]，但由于其采用较多的传感器，会增加使用成本;钱思宇[6]提出了一种基于Web的仓储监控系统，能在Web端实现对现场数据和监控画面等实时显示，但对物品丢失等问题还需人为监控识别;蒋燕妮等人[712]提出了基于图像处理技术的嵌入式智能防盗系统设计，实现了对可疑目标的检测与识别，但对某些目标检测的效果还有提升空间;徐子豪等人[1316]使用深度学习的方法，实现了在监控视频中对车辆的监控检测;LI Z等人[17]结合FasterRCNN网络[1819]结构，设计了一种智能庭院监控系统，实现了实时性检测，但是对于网络训练数据集数量要求较高;刘军[20]设计了基于无线传感器网络的仓储监控管理系统，利用无线传感器实现对仓储的监控，但因需用无线传感器等设备，在某些领域内使用会增加较多成本。基于此，本文主要对基于深度学习的仓储货物监控方法进行研究，在传统的仓库防盗系统基础上，利用人工智能等技术，将图像粗定位处理与深度学习算法相结合，对仓储货物进行实时有效地监控，并有效控制了使用成本。同时，以仓储棉花包为应用实例，在棉花包监控方面验证了该设计的可行性，满足实际应用的需求。该研究为后续实际应用提供了理论依据。

1图像粗定位处理

图像的粗定位处理主要包括图像预处理、边缘提取处理和定位处理3部分。粗定位处理的主要目的是通过对比前后两张图像，对图像变化区域进行粗定位，并将变化区域在图像中进行标记，为后续深度学习网络处理提供数据，起到缩小检测区域的作用，监控图像粗定位处理流程如图1所示。通过监控摄像头管理平台提供的应用程序接口（application programming interface，API），获取摄像头捕获的图像链接，设置自动抓图程序定时执行（本文设置每隔15 min执行1次），下载链接的图片，交替保存到两个指定文件夹，覆盖之前保存的图像，确保之后每次取图时，都是该文件下最新获取的图像。

1.1图像预处理

图像预处理指对两张图像依次进行高斯滤波、灰度化、中值滤波和锐化操作，目的是增强后续边缘提取处理的效果。从指定文件中，读入两张需要判别的图像，对图像进行去噪。首先使用高斯滤波和中值滤波，去除图像中的高斯噪声和椒盐噪声。高斯滤波可以有效去除高斯噪声的线性平滑滤波，根据高斯模板，将图像上的每个像素加权平均邻域内的像素值，重新得到图像的每个像素值。二维高斯函数为

式中，（u，v）表示像素的模板坐标;σ表示标准差。

本文使用二维高斯函数对图像进行处理，根据高斯模板各位置坐标，带入二维高斯函数中，计算得到相应位置的数值。中值滤波可以较好地去除椒盐噪声的非线性平滑滤波，根据滤波模板内各像素值，将图像上每个像素按大小排序，以中位数代替原图该像素的灰度值，可以消除高频的噪声点，使周围的像素值更接近真实值。滤波后对图像进行边缘增强，即图像锐化，通过增强高频分量，加强图像上的细节信息。

1.2邊缘提取处理

图像进行预处理之后，使用Sobel算子进行边缘提取，Sobel算子主要用于边缘检测的离散微分算子。Sobel算子对图像竖直方向和水平方向用内核卷积求导，当梯度值大于某个阈值时，认为该点是边缘点，所得到的梯度越大，越有可能是边缘。图像经过增强和边缘提取等图像处理后，会引入一些噪声。为了处理这些噪声，首先对边缘提取图去噪，这里采用高斯滤波去除图像中的高斯噪声，然后选取合适的阈值对图像二值化。对两张图像的二值图，分别用开运算去除图像中孤立的小碎点，再用与区域面积相同的圆的直径（直径阈值为17）删除较小连通区域，获得两张处理好的边缘提取图的二值图。

1.3定位处理

定位处理目的是得到对变化区域的一个粗定位，将变化区域在原图上进行标记。边缘提取处理后获得两张图像的二值图，将两张二值图相减，得到显示两张图像像素差异的效果图。首先对两张效果图进行开运算，去除图像上孤立的小碎点，再进行闭运算，把由于开运算造成的原本是同一对象的物体被误分为相邻的几部分合并起来，再用与区域面积相同的圆的直径（直径阈值为140）删除较小连通区域。此时，二值图上剩下的像素值为1的较大连通区域，就是算法得出的发生变化的区域。处理效果展示如图2所示。

图2处理效果展示得到变化区域二值图后，在原图像上用矩形框将变化区域框起来，即根据区域的最小外接矩形，得到2张图像发生变化的区域过程。框选效果图如图3所示。

1.4图像粗定位算法优化

根据图像的分析结果可知，光照是影响粗定位的主要因素。由于光照条件不同，棉花包本身的褶皱较多，纹理复杂，导致对图像进行边缘提取时，提取出来的边缘有所差异。因此，本文对粗定位处理进行一定的优化，即对图像的预处理部分中值滤波后，加入限制对比度的自适应直方图均衡化（contrast limited adaptive histogram equalization，CLAHE）算法。

CLAHE是一种对传统直方图均衡化方法进行改进和优化的图像增强方法。CLAHE算法结合自适应直方图均衡化算法（adaptive histogram equalization，AHE）和对比度限制的直方图均衡化算法（contrast limited histogram equalization，CLHE），用双线性插值对AHE算法进行优化，解决了AHE算法处理后图像上各区域间不连续的问题。使用CLAHE算法可以增强图像对比度，不但很好地保留图像中过亮和过暗的部分细节，而且还可以抑制噪声，使Sobel算子提取出的边缘信息更加接近真实边缘，对光照有更好的鲁棒性。最后将粗定位图像的框选变化部分裁剪下来，保存到指定目录的文件夹下，以便接下来用深度学习网络对变化区域图像进行棉花包的检测与识别。

2基于深度学习的仓储货物（棉花包）检测与识别

本研究通过判断仓储货物是否发生变化进行预警，因此在得到变化区域图像后，需要判别图像中是否存在仓储货物。当仓储货物以外的物品发生变化时，单纯依靠粗定位处理结果去预警，很可能会误判。因此，本文使用基于深度学习的方法，通过训练基于ResNet50的神经网络，对仓储货物（棉花包）进行检测与识别，若棉花包出现在变化区域，则向管理员报警，大大降低误判概率。

2.1基于ResNet50的棉花包检测与识别网络

残差网络（ResNet）是在网络内部结构中，出现跳层连接实现形式的深度学习神经网络，是为解决普通的深度神经网络在增加深度时出现的梯度消失问题[21]。残差网络不仅容易优化，而且能够通过增加相当的网络深度提高准确率。ResNet一般有18，34，50，101层的设计，ResNet网络结构如表1所示。

本文基于50层残差网络，设计了棉花包检测与识别网络，用于对棉花包的检测和识别。基于ResNet50的棉花包检测与识别网络如图4所示。

2.2网络训练集和验证集的获取

在获取的各时间段图像中，截取随机大小的棉花包图像和非棉花包图像共计2 000张（保证长和宽至少有一边大于140像素）。其中，包括1 000张棉花包图像和1 000张非棉花包图像，而且80%的图像用作训练集，20%的图像用作验证集。部分数据集如图5所示。

2.3训练集和验证集预处理

根据ResNet50输入网络的图像大小要求，将图像大小调整为224×224。本文不使用随机裁剪方法，因为该方法会将原本包含棉花的图像裁剪成不包含棉花的图像，将图像水平翻转，用来扩充数据集。考虑到实际情况，本文不能用垂直翻转的数据增强方式，因为在摆放的下层棉花包比上层棉花包多的情况下，垂直翻转后的图像不符合常理，最后将所有图像归一化，从而提高模型的收敛速度。本文根据训练集和验证集，得到所有图像的均值和方差，然后按通道将所有图像进行标准化，即

式中，λ表示输出图像的像素值矩阵;α表示输入图像的像素值矩阵;β表示均值;S表示方差。

3基于深度学习的仓储货物（棉花包）监控方法

针对棉花厂棉花包的仓储监控，本文设计了基于深度学习的仓储货物监控方法，仓储货物监控方法整体框架如图6所示。该框架共分为4个阶段，将不同时刻获取的两张监控图像进行粗定位处理，并基于深度学习，对仓储货物（棉花包）进行检测与识别，获得检测结果及自动报警。

4实验验证

4.1实验环境和参数设置

本实验采用Python语言进行编程，所有实验都是在包含8个中央处理器（central processing unit，CPU）的Linux服务器上完成，服务器内存为10 GB，显卡型号为Tesla V100。深度学习部分采用Pytorch搭建神经网络框架，实验选用Pytorch提供的torch.optim.SGD神经网络优化器，学习率设置为0001，动量因子设置为095，调整学习率策略机制，选用StepLR机制，每训练10个epoch，做1次更新，更新學习率的乘法因子设置为02，共训练350轮。

4.2实验测试数据集

实验数据集为RGB图像，通过棉花厂里30个监控摄像头抓拍获取，在光线差别不大的前提下，由各时间段不同光照条件的图像，组成200组实验图像，共计400张。部分实验测试数据集如图7所示。

4.3实验结果及分析

1）图像粗定位处理结果及分析。对原始粗定位算法和优化后粗定位算法进行比较分析。根据200组实验图像，计算出粗定位（既不多框出没有发生变化的地方，也不遗漏发生变化的地方）的准确率，粗定位处理实验结果如表2所示。由表2可以看出，优化后粗定位准确率达到915%，在保证准确框选变化区域的同时，为后续处理减轻工作量。

粗定位准确率为

式中，ρ1表示粗定位准确率;λa表示正确定位出变化区域的图像组数;λt表示总图像组数。

根据优化后粗定位算法准确率，发现定位错误主要由以下两种情况导致：一是仓库门没有关好，或选取的两张图像光源位置差别较大（如一张图像是9∶00左右，另一张图像是15∶00左右），导致光线差别过大。二是由于棉花包发生变化，导致影子有所变化，使粗定位多框出影子。

在实际应用中，这两种情况不会影响监控结果，只要确保工作人员关好仓库门，其定时执行的时间间隔可控，可以避免时间间隔较大的情况。另外，如果棉花包发生变化，多框出影子也不会影响判断结果。因此，本算法能够满足实际需求。

基于ResNet50的棉花包检测与识别网络结果及分析。本文基于ResNet50网络进行棉花包的检测与识别。为了验证不同网络对棉花包的识别效果，将网络框架替换为VGG16和VGG19网络，进行对比分析，网络训练结果如表3所示。网络识别准确率为

式中，γa表示在验证集上预测正确的图像数;γt表示验证集图像总数。根据网络训练结果，ResNet50在验证集上的准确率最高，所以本文选用ResNet50作为基准网络。

3）基于深度学习的仓储货物（棉花包）监控方法结果及分析。本文利用200组实验测试数据集验证算法，其中网络识别准确率为

式中，θa表示在验证集上预测正确的图像数;θt表示验证集图像总数。

将两张固定时间间隔的图像经过粗定位处理后，获得图像不同区域的截图，将截图输入基于ResNet50的棉花包检测与识别网络的训练模型，最终得到的整体准确率可达93%，满足实际应用需求。若发生棉花包的异常变动，程序将自动报警并将异常区域提供给管理人员，具有较高的应用价值。异常区域展示及报警如图8所示。

5结束语

本文结合深度学习和图像处理的方法，将仓库货物的监控推向智能化和便捷化，使用户更加方便准确地获取货物是否变化的信息。在实际棉花包的监控应用测试中，综合准确率达到93%，满足实际需求。同时，本文通过定时执行，执行间隔根据用户需求来确定，确保监控的实时性，使用户可以及时地获取仓库被盗信息。下一步研究重点是将本文方法与数据库技术相结合，在获取到图像链接的同时，将链接上传到数据库，实现供用户查看历史图像的功能，且基本不消耗空间存储。

参考文献：

[1]史彦军， 韩俏梅， 沈卫明， 等. 智能制造场景的5G应用展望[J]. 中国机械工程， 2020， 31（2）： 227236.

[2]丁承君， 李召策， 朱雪宏， 等. 面向仓储的物联网智能化监控系统[J]. 机械设计与制造， 2019， 4（11）： 118121.

[3]王智泓. 我国智慧物流发展的现实困境及战略思考[J]. 商业经济研究， 2021（14）： 106110.

[4]谢军， 庄建楼， 康成斌. 基于北斗系統的物联网技术与应用[J]. 南京航空航天大学学报， 2021， 53（3）： 329337.

[5]张紫谦， 衷卫声， 梁凯， 等. 基于物联网技术的温室集群环境监控系统设计[J]. 现代电子技术， 2016， 39（14）： 4952.

[6]钱思宇. 基于Web的仓储监控系统的研究与实现[J]. 化工自动化及仪表， 2011， 38（9）： 10781080， 1146.

[7]蒋燕妮， 吴苏. 基于图像处理技术的嵌入式智能防盗系统设计[J]. 仪表技术， 2012， 4 （6）： 3234， 38.

[8]韩晓健， 赵志成. 基于计算机视觉技术的结构表面裂缝检测方法研究[J]. 建筑结构学报， 2018， 39（S1）： 418426.

[9]王钢， 周若飞， 邹昳琨. 基于压缩感知理论的图像优化技术[J]. 电子与信息学报， 2020， 42（1）： 222233.

[10]朱利华. 基于大数据处理技术的深度学习算法的图像处理优化技术研究——评《计算机图像处理入门与提高》[J]. 现代雷达， 2021， 43（1）： 94.

[11]宁彬. 图像处理技术在机动车车牌自动识别技术中的应用[J]. 科学技术与工程， 2013， 13（2）： 366371.

[12]张建民， 陈富健， 龙佳乐. 基于图像处理的点云滤波算法[J]. 激光与光电子学进展， 2021， 58（6）： 06100150610027.

[13]徐子豪， 黄伟泉， 王胤. 基于深度学习的监控视频中多类别车辆检测[J]. 计算机应用， 2019， 39（3）： 700705.

[14]HAO X， ZHANG GG， MA S. Deep learning[J]. Nature， 2016， 10（3）： 417439.

[15]BOONPOOK W， TAN YM， YE YH， et al. A deep learning approach on building detection from unmanned aerial vehiclebased images in riverbank monitoring[J]. Sensors， 2018， 18： 39213933.

[16]PANDA P， SENGUPTA A， ROY K. Energyefficient and improved image recognition with conditional deep learning[J]. Acm Journal on Emerging Technologies in Computing Systems， 2017， 13（3）： 121.

[17]LI Z， LI H， LIU B. Research and application on smart courtyard monitoring system[C]∥Journal of Physics： Conference Series， shangri_la： IOP Publishing Ltd， 2020， 1682： 012042012047.

[18]CHENG B， WEI Y C， SHI H， et al. Revisiting RCNN： on awakening the classification power of faster rcnn[C]∥15th European conference on computer vision （ECCV）. Munich： computer visionECCV. 2018： 453468.

[19]REN Y， ZHU C， XIAO S P. Object detection based on fast/faster RCNN employing fully convolutional architectures[J]. Mathematical Problems in Engineering， 2018： 17.

[20]劉军. 基于无线传感器网络的仓储监控管理系统关键技术研究[J]. 中国流通经济， 2010， 24（7）： 1719.

[21]WANG L L， WANG B Q， ZHAO P P， et al. Malware detection algorithm based on the attention mechanism and ResNet[J]. Chinese Journal of Electronics， 2020， 29（6）： 10541060.

Research on Warehousing Cargo Monitoring Method

Based on Deep LearningLI Mengna ZHANG Weizhong  GUO Li

（College of Computer Science & Technology， Qingdao University， Qingdao 266071， China）Abstract：  In view of the problems of traditional warehouse cargo monitoring， such as high dependence on managers and failure to timely alarm when theft occurs， a warehouse cargo monitoring method based on deep learning was designed in this paper. Two images at a certain time interval are obtained by the camera， and the image coarse positioning is used to detect the changing area of the image. Then the deep learning network is used to identify whether the changing area is the object， and then to realize the realtime and effective supervision. At last， the function of automatic alarm of the storage goods was realized. At the same time， the test experiment for cotton bale′s monitoring was proceeded， in which the warehouse cotton bale as an application example. The experimental results show that the detection accuracy of cotton missing condition can reach 93%， which meets the needs of practical application. In order to ensure realtime monitoring， the method can be executed periodically， and the interval can be determined according to the user's needs， so that the user can obtain the stolen information in time. The research has great engineering application value.

Key words： image processing; deep learning; warehouse monitoring; automatic alarm

收稿日期： 20210830; 修回日期： 20211115

基金项目：  国家自然科学基金青年基金资助项目（61802215）; 市级专项扶持资金（202001PTXM14）

作者简介：  李孟娜（1996），女，硕士研究生，主要研究方向为计算机视觉。

通信作者：  张维忠（1963），男，博士，教授，硕士生导师，主要研究方向为计算机视觉、模式识别和图像处理等。 Email： zhangwz_01@aliyun.com