深度学习下物联网智能零售设备的投放设计与应用

王子怡，刘 喆，李玉婉，陈 淼，韩 霖，张亮（通信作者）

（哈尔滨理工大学荣成学院 山东 荣成 264300）

0 引言

我国历来高度重视数字经济产业的发展，在“十四五”规划中，加快数字化经济和网络强国建设已经成为我们的战略目标之一。 依托深度学习算法和物联网技术，智能新零售设备和技术应用更加专业化，体现在设备地区分配、货物监测补给等多个方面。 常见的有刷脸支付、线上诊疗、无人零售、人工智能服务等。 从企业动态来看，盒马鲜生、永辉超级物种、丰e 足食等大型线上线下结合的零售门店大批兴起。 自动售货机也从单一的投币式付款型号发展到如今多种多样的各类型号，其利用多种多样的货道，组合智能控制系统，能够自行把人们挑选的货品送到人们手中，且设备投放方便且运营成本低，前景广阔。

1 相关概念

1.1 物联网新零售

“新零售”主张以5 G 物联网技术为依托，建设一批线上、线下和物流统一的销售模式。 总体框架为后台——中台——前台。 后台主要依靠新兴的数字化技术如人工智能等作为基础；商业链路上的各个环节和资源，包括市场、供应、制造端构成了新零售的中台；零售的消费场景、消费者和商品构成新零售的前台，完成商品销售和消费体验［1］。

1.2 深度学习算法

深度学习是机器学习领域的研究方向之一。 通过学习，机器可以掌握识别事物的特征规律的能力，从而获得对各种数据更加准确的解释。 与之前的统计学习方法和浅层神经网络相比，深度学习成功的关键是将网络深层化多层化，让每一层都参与到相应阶段的训练和学习中来，将上一层的输出数据作为下一层的输入数据，由浅入深地逐步完成学习［2］。

2 当前新零售发展存在的主要问题

2.1 智能设备技术设计存在短板

智能化运营能够提高品牌运营效率，实现客户购买方式的转变，并且精准对接顾客需求，实现个性化引导、沉浸式购物的效果。 目前，大多数企业对于数字技术与零售业的结合仍处于初级阶段，难以达到上述新零售的理想效果。 由于缺乏技术支持，大部分智能设备投放点选择缺少实际数据支撑，难免会造成某些地区设备的“冷场”，而且没有进一步应用智能识别与虚拟现实技术实现货物补给，从而造成资源浪费和经济损失。 更多的新零售企业将技术应用在了与消费者对接的表层，其对消费者的购买信息难以进行处理和综合分析，无法实现信息资源利用的最大化［3］。

2.2 信息采集的安全问题有待提高

伴随着新零售行业的发展，消费者的个人信息和支付信息必然会被大量收集。 如何确保消费者信息安全变成了一项挑战。 在个人信息与利益画上等号的时代，企业如果不做好信息安全的防范，由此引发的盗号、瘫痪、数据恶意修改等问题会引发消费者对企业信息安保能力的质疑，对企业的商业信誉会造成不良影响。 极少数企业禁不住利益的诱惑，出卖消费者信息换取企业短期利益，尽管针对以上问题，新零售企业采取了多种防范措施针对消费者信息进行保护，有关部门也在加大监管力度［4］，但是新零售行业信息采集与保护的规范仍有很长的一段路要走。

3 智能零售设备的设计与改进建议

3.1 地区分配设计

对于智能零售设备的地区投放问题，依据是以各地区人口数量比例进行平均分配。 假设山东人口密度：江苏人口密度＝64 ∶79，则如果有143 个机器，则在山东分配64台，在江苏分配79 台。 再结合实际情况考虑，重点在景区、机场、高铁站、公交站、公园等人流量较大且人们需求意愿强烈的地方配置机器。

投放数量因人流量而定，为使设备使用价值最大化，测定人流量的方法尤为重要。 目前，社会上常用的测量方法有：（1）红外对射。 安装红外对射检测设备，当行人穿过红外感应区域会触发红外对射装置，后台系统会根据触发结果实现人流统计。 （2）单点激光雷达。 水平安装单点激光雷达，当行人穿过检测区域时会引起激光雷达测距发生变化，后台系统根据接收到的数据变化实现人流统计。 （3）50 面阵激光雷达。 搭设印面阵激光雷达，覆盖整个检测区域，当行人穿过检测区域时，引起激光雷达点发生变化，通过相关点云算法实现行人识别及统计。

以上三种方法虽然使用广泛，却存在一定的弊端，即无法精确识别到不同的个人。 若同一个人在同一台设备周围徘徊，即使该地区人迹罕至也会造成人流量大的检测结果。 为提高识别准确度，本文提出采用基于颜色直方图的跟踪算法与计算机视觉感知技术的人流量检测方法。人流密集度监测步骤如图1 所示。

图1 人流密集度监测步骤

基于颜色直方图的运动目标跟踪算法可以进行一天内人流量密度检测，即在摄像头录制视频中对定点地区的人群进行多运动目标跟踪。 这种基于颜色直方图的目标跟踪算法受动作变化影响很小，因此颜色直方图是在许多图像检索系统中被广泛采用的颜色特征［5］。 它所描述的是在摄像头的监控可视范围内不同的色彩在整幅图像中的占比，而并非其空间上的位置，即无法描述图像中的对象或物体。 基于此优点，颜色直方图适合于描述那些难以进行自动分割的图像，环境干扰也基本上很少影响其工作原理。 因此，采用此方法可以对定点地区内人群流量进行追踪式的人数统计。 完成运动目标的检测跟踪后，调研者可以提取视频中的各类关键信息进行人数的统计，实现定点地区人流密度的计算。 再根据各定点统计的人流量数据，将数据进行降序排列，选择人流量大的地点进行设施的安放。

基于计算机视觉的感知技术与颜色直方图运动目标跟踪方法在理念上非常相似。 它们都通过对定点地区的人群进行图像识别和捕捉，获取图像特征，在计算机视觉匹配的基础上进行具体的目标检测并。 在此基础上，可以得出人群密度估算模型。 以此模型在前期图像预处理及前景分割的基础上估算人群密度并对其进行分级，最终对于定点地区的人流密度进行结果分析，实现人流密度的精准估算。 将数据进行降序排列，选择高人流量的地点投放设备。

其工作原理如下：（1）个人图像采集。 摄像机或者其他图像采集设备会对人群进行拍摄或录像。 此外，还需要确保被采集的图像具有一定的多样性和清晰度，以提高后续步骤的准确性。 （2）对图像进行特征提取。 特征提取是指从图像中提取出能够表示个人特征的信息，如身体比例、穿着的颜色、面部特征等。 常用的特征提取方法包括主成分分析（principal component analysis， PCA）和线性判别分析（linear discriminant analysis， LDA）等［6］。 这些方法可以将个人图像转换为特征向量用于后续的比对和识别。（3）特征匹配。 信息与个人识别匹配是该算法的核心步骤。 已识别的个人特征会被记入数据库，然后使用这些已识别过的个人特征来比对和匹配尚未识别过的个人特征。匹配的方法可以采用欧氏距离、余弦相似度或支持向量机等。 通过计算待识别个人特征与已识别个人特征之间的相似度或距离，可以确定两者之间的相似程度。

3.2 货物识别设计

现有的智能零售设备主要为自动售货机，其工作原理涉及多个硬件组成部分。 首先是货道系统，也就是放置商品的地方。 货物通常通过多层梯形货道按照类别进行分类放置，并配备有传感器、电机和控制装置等。 用户通过显示屏和按键模块来选择所需商品。 显示屏会呈现商品的图片、价格以及其他相关信息，用户可以通过按键来选择商品的编号或名称。 其次，用户需要付款时，控制装置会计算出所需支付的金额。 当付款完成后，自动售货机会进入出货过程。 这时，控制装置会接收到出货的指令，然后通过电机和传送带等设备将商品送到取货口，并通过传感器检测商品是否已取出。 此类流程仅限固定位置放置的货物取出，补给同一货物时，若想更新货物，则需要重新对货物的编号和名称进行录入，操作烦琐。

为解决此类问题，有许多先进的方法可供选择，如图像检测、分类模型和端到端的一阶段模型（如YOLO 系列、EfficientNet 系列）等［7］。 再进一步，也可以选择二阶段模型，其中一种方法是利用3Faster R⁃CNN 单模型来完成所售商品的检测和分类任务。 然而，此方法也存在一些明显的弊端：首先，它需要进行多状态通道训练，使用log 损失函数微调CNN，再利用支持向量机进行分类，利用线性回归模型来提高精确度，训练占内存和耗时间。 其次，目标检测速度过慢，因为R⁃CNN 没有共享计算，每个推荐区域都要经过卷积层处理。 最后，SPPNet 虽然加快了速度，但仍然具有和R⁃CNN 一样的缺点，即多阶段训练。 此外，SPPNet 无法更新软件过程改进方法和规范之前的卷积层，还存在限制精确度的问题。

为解决训练慢和精度低的问题，本文提出设计基于ROI⁃Align 双线性插值原理和矩阵模板库（Matrix Template Library， MTL）的智能识别货物的自动售货机。 所谓ROI⁃Align，是将目标区域进行分割，从而对目标区域精细分类的方法。 例如，易拉罐商品的瓶口相似度较高，一般机器识别容易出现错误，而此方法较适合这类再进一步的回归任务（比如3 D 框）。 基于计算机视觉的多任务学习能够实现有效的针对性训练（比如单阶段检测一直存在的正负样例不平衡，如果有其他任务，可以在训练过程中针对正样例进行进一步的训练，图像中部分区域可以在某些任务上获得额外的训练，可以说是训练阶段的一种注意力分配）。 MTL 中方法通常共享卷积层，而学习特定任务的完全连通层，可以建立深层关系网络来改进这些模型。 除了在共享层和任务特定层的结构外，在完全连通的层上放置矩阵先验可以让模型学习任务之间的关系，其原理类似于贝叶斯模型。 在这两种算法的支持下，足以解决计算机视觉问题，精准识别售卖机中的各种货物。 加入深度学习的智能设备与传统智能设备相比的优势如图2 所示。

图2 加入深度学习的智能设备与传统智能设备相比的优势

3.3 货物更新设计

目前，智能零售设备的货物多通过人工定期更新和补货，除了四季必备的矿泉水和面包，人们日常用到的书本、口罩等也成为售卖的对象。 针对设备补货更新问题，本文提出了新的设计：对上货更新流程进行改良。 以食品零售为例，根据季节对人们的饮食习惯进行调研，利用多因素回归模型进行变量检验剔除，然后获得人们在不同季节喜好的食物特征，投其所好进行补货。 建立完善的反馈机制，即开发设备配套的移动终端APP，收集用户意见，统计用户对饮品和零食的需求，及时对货物种类进行更换。 针对货物补给，可采用时间序列分析模型，以各种货物定期的销售数量为样本，对未来定期的销售量进行预测分析。例如，可采取1.5 倍定律，即补货量为预测销售量的1.5倍，对现有货物进行补给。

3.4 深度学习下对智能零售设备的管理改进建议

无论是数据安全的可靠性还是操作流程的难易程度，归根结底是依靠行业的标准来决定的。 标准化作为一种为在一定的范围内获得最佳秩序，对实际的或潜在的问题制定共同重复使用规则的活动，运用在新零售行业中是非常有必要的［8］智能零售设备融合了商业、物流、支付等多个独立领域，不同的运营体系很容易造成冲突矛盾。 若接收的大量数据格式不同，对各项事务处理的烦琐度也会随之增高。 因此，为了保护数据安全，智能零售行业应加大对行业标准建设的关注与投入。另外，源代码漏洞已成为软件与信息系统安全的主要威胁，研究源代码漏洞检测技术对于减少软件安全漏洞、降低软件安全风险具有重要意义，基于深度学习的漏洞监测技术具有成本低效率高的优势，在未来的信息安全领域发展前景广阔。

4 结语

综上所述，依托物联网技术的发展，智能零售设备正在逐渐取代线下实体购物商店。 基于深度学习的智能零售设备能够将假性人流密度大、货物图像识别不准确和用户需求的三大问题逐一解决，使智能零售设备的投放地区分配更加合理，满足用户高效购物取货体验的需求，提高设备和资源的利用率。 物联网和深度学习领域的融合应用研究在未来将大力推动社会的技术进步，加快智能化社会的发展进程。