基于双神经网络模型的智能零售柜设计与实现

曾敏 吴圣健 李坊 陈直

摘要：近年来，基于深度学习模型的图像识别技术已成为智能零售柜的主要解决方案。设计了一种新的基于双神经网络模型的智能零售柜系统。该系统与单模型设计比较，除检测召回率和分类准确度有显著提升外，还大大降低了因增加新品种而导致的模型再训练时间。首先，利用Faster RCNN模型完成商品大类（按包装分类）的分类检测任务，以提高检测召回率;其次，利用ResNet50模型完成商品小类（按品种分类）的分类任务，以提高分类准确度。与此同时，还在最难分品种集上进行了多种数据增强消融实验研究，以改进该难分品种集所属大类数据集的分类准确度。

关键词：深度学习;图像检测;图像分类;智能零售柜;神经网络模型

中图分类号：TP181      文献标识码：A

文章编号：1009-3044（2021）26-0009-05

开放科学（资源服务）标识码（OSID）：

Design and Implementation of Intelligent Retail Cabinet Based on Double Neural Network Model

ZENGMin1，WU Sheng-jian2， LI Fang1， CHEN Zhi1

（1. Dept. of Communication and Information Engineering， Shanghai Technical institute of Electronics & information， Shanghai 201411， China;2. FinVolution Group， Shanghai 201203， China）

Abstract：In recent years， image recognition technology based on deep learning models has become the main solution for intelligent retail cabinets. A new intelligent retail cabinet system based on dual neural network model is introduced. Compared with the single model design， this system not only significantly enhances the detection recall rate and classification accuracy， but also greatly reduces the model retraining time caused by the addition of new varieties. First， the Faster RCNN model is used to complete the rough classification and detection task of commodity categories （classified by packaging） to improve the detection recall rate; secondly， the ResNet50 model is employed to complete the fine classification task of commodity categories （classified by variety） to improve classification accuracy degree. At the same time， some data augment ablation experiments were conducted on the most difficult-to-classification variety set of this project to refine the fine classification accuracy of the commodity categories （classified by variety） to which the difficult-to-classification variety set belongs.

Key words：deeplearning; image detection; image classification; intelligent retail cabinets; neural network model

近年来，无人零售作为一种便利的零售新业态，在我国许多城市得到了长足发展。根据前瞻产业研究院发布的《中国新零售行业商业模式创新与投资机会深度研究报告》预测，2022年无人零售用户可达2.45亿人，交易额将超1.8万亿元[1]。无人零售的快速增长，得益于多种技术的发展和融合，特别是移动支付的普及和人工智能、云计算等高新技术的应用落地[2]。

目前，我國无人值守零售柜有4种技术实现形式[3，5]，分别是①以“友宝公司”为代表的机械式自动售卖机。其发展较早，技术难度低，产品成熟，但制造成本较高，购物流程相对烦琐;②以“每日优鲜”为代表的RFID（Radio Frequency Identification）零售柜。其技术成熟，市场占有率高，但RFID标签制作成本也高;③以“京东到家”为代表的重力感应零售柜。其依靠重力感应来识别商品的品类和价格，商品可自由摆放，空间利用率高，但对称重传感器的灵敏度要求高;④以“深兰”“购呀”为代表的视觉识别零售柜。其主要利用图像识别技术，能适应复杂多样的消费场景，是未来零售智能化的方向[6]。视觉识别零售柜又分为动态和静态两种，其中深兰以3D动态视觉技术见长，其TakeGo与AmazonGo类似，识别率的提高除采用较大神经网络模型外，还需要相应的纠错算法来降低诸如用户单手取多件商品等行为的识别误差，设备成本和计算量相对于静态识别都较高，扩大市场规模的难度较大;购呀目前专注于做静态识别零售柜，其设备简单，成本低，易于扩大规模[3-4]。但这种低成本的无人值守零售柜的技术难点是如何提高所售商品的检测召回率和分类准确度。为此，本文设计了一种新的基于双神经网络模型的智能零售柜系统，其售卖流程见图1所示：通过手机扫码开门，客户自助取货;关门后系统智能识别，结算扣款。该系统力图在有限的硬件支持下，利用双神经网络模型，使其所售商品的检测召回率和分类准确度达到落地商用的要求。