基于机器视觉室内定位的智能购物车设计

林杰 孙海升 唐启承 周成 黄奕秋 洪远泉

摘 要：针对超市传统购物车的缺陷，面向大型超市和无人售货超市提出了基于机器视觉室内定位的智能购物车设计。系统包含自动跟随和智能导购两种模式，利用视觉模块识别跟踪AprilTag标签，实现购物车的自动跟随功能;融合物联网技术和机器视觉室内定位技术实现购物车的智能导购功能。两种模式配合使用，给用户购物带来了极大便利，有效提升了用户的消费体验，具有较好的市场价值和实用价值。

关键词：机器视觉;室内定位;自动跟随;智能导购;智能购物车;物联网

中图分类号：TP249 文献标识码：A 文章编号：2095-1302（2019）06-00-03

0 引 言

当前，大多超市由于存在商品导购技术落后、购物车需要手推等问题，降低了用户的购物体验。随着互联网技术的发展，线上交易营销方式的冲击导致实体销售企业的发展更加艰难，迫切需要通过提供更好的购物环境来吸引消费者。由于技术的限制，现有的智能购物车存在识别精度不高、复杂环境出错率较大和成本较高等问题[1]，不能在市场中广泛推广应用。因此，提供更加便捷智能的自动跟随购物车代替人工导购模式，将成为现阶段各大商店提高用户消费体验、吸引顾客愉快购物的重要技术手段。

本文针对目前实体超市行业存在的问题，设计了一种新型智能购物车。该购物车采用了成本较低、识别精度较高的室内机器视觉识别技术，配合使用AprilTag标志能在环境复杂的超市内完成智能导购以及自动跟随。方便用户选用自动跟随模式[2]后在解放双手的同时带给用户和超市极大的便利，节约人力资源及时间成本，大大提高了实体销售行业的竞争力。

1 系统总体结构

如图1所示，STM32作为各模块通信的桥梁，是购物车系统的运行中枢。WiFi模块ESP8266[3]将购物车的数据上传和下载到云端服务器，顾客手机的APP连接云端服务器后便可实现购物车与手机的通信。显示器作为顾客与购物车交互的一种方式，在完成手机APP已有功能的同时，还能避免用户暂时无法使用手机而无法启动购物车的情况出现。视觉模块OpenMV用于识别AprilTag标志，获得ID和3D数据完成室内定位和跟随[4]，电机驱动模块用来控制减速电机完成车体运动[5]。

2 功能与设计

本文所设计的购物车共有2个模式，分别为跟随模式和导购模式。在跟随模式下，顾客只需在背部佩带AprilTag标签，购物车便能实时跟随顾客，解放顾客的双手。导购模式需要在超市地板上铺设导航地图，顾客通过手机APP选择自己需要的商品，购物车引导顾客走到商品处，方便顾客寻找商品。两种模式均通过识别AprilTag标志读取AprilTag的3D数据和ID。

2.1 跟随模式设计

购物车的跟随模式基于AprilTag的3D定位[6]技术实现。通过OpenMV[7]读取AprilTag的3D数据定位顾客与购物车的空间位置。

如图2所示，通过OpenMV寻找AprilTag函数就能得到AprilTag相对于OpenMV空间上的6个3D数据，分别是3个旋转量Rx，Ry，Rz和3个坐标Tx，Ty，Tz，用于用户跟踪。

跟随模式流程如图3所示，顾客通过手机或显示器选择跟随模式，此时购物车启动跟随模式，并等待顾客输入领取的AprilTagID。顧客输入完毕后，购物车首先识别顾客背上的ApilTagID号是否为要跟随的ID号，以避免跟错。如果是，则读取3D数据，使用Rx，Ry，Rz调整购物车转向，使购物车朝向顾客;使用Tx，Ty，Tz调整顾客与购物车的距离，使顾客与购物车的相对位置保持不变，实现智能跟随。将上述数据作为测量值与经过试验测得的设定角度、距离值作为设定值代入PID算法[8]，经PID算法使输出值在遇到较大偏差时及时进行调整，若偏差较小则根据累计误差使跟随变得更加平缓，将PID输出值转换成电机驱动数据，主控板根据电机驱动数据驱动电机，保持顾客与购物车的相对距离不变。

2.2 导购模式设计

购物车导购模式是基于循迹[9]以及识别AprilTag的ID实现的。

AprilTag与QRCode均通过在一个矩阵空间中的黑色和白色方块进行信息表示，但由于组成QRCode的像素比AprilTag多，所以QRCode可以存储上百个字节的数据，一般用来存储网站的地址数据;AprilTag存储的数据一般用于识别AprilTag的ID。也正是如此，识别AprilTag的准确度和抗干扰能力要比QRCode高很多，AprilTag中的TAG36H10有2 319个ID，即使是大型超市，AprilTag也有能力进行室内定位标记。图4所示为10个AprilTag及其ID号。

导购模式需要在超市铺设导航地图。超市地图如图5所示。在超市地面上的每个转弯口和每个货架旁都放置一个AprilTag标志，当购物车行驶到某个AprilTag标志时，读取其ID，从而获悉购物车所处位置，并根据路径数组得到此处的AprilTag转向指令。将相邻两个AprilTag标志用黑线连接，给购物车循迹，引导购物车到下一个AprilTag标志处。

当顾客通过手机APP或显示器选择了导购模式并输入想要买的商品后，购物车的主控板就能接收到商品信息。一个商品信息对应一个路径数组，路径数组的每一个位对应一个AprilTagID，每一位值指示到达对应AprilTag时的转向或停止指令。购物车在导购时，执行黑线循迹程序，同时判断是否检测到AprilTag。当检测到AprilTag并获得AprilTagID后，就从路径数组中获得对应AprilTagID的转向指令，根据转向指令驱动电机转向，如果转向指令为左转，则购物车左转;如果转向指令为右转，则购物车右转。当检测到停止指令时，购物车便到达了指定地点并停止。至此，购物车就完成了一段路径的行走。导购流程如图6所示。

3 购物车软件设计

购物车的交互方式如图7所示，主要由两种方式操控。一种是手机APP[10]控制，APP主界面如图8所示;另一种是由购物车上的显示器控制，显示器界面如图9所示。

顾客可以使用手机连接超市的WiFi，进入APP后便能对购物车下达指令。也可以使用购物车上的显示器，选择显示器上的其中一种模式来操控购物车。

3.1 手机APP设计

手机APP在Android Studio环境中开发，将云服务器和WiFi模块作为中枢进行数据的发送和接收，主要实现的功能包括跟随模式或导购模式选择、商品搜索、商品浏览等。

（1）手机APP的主界面包括智能跟随模式界面和智能导购模式界面，用户只需根据需求或喜好点击相应的模式即可。若选择智能导购模式，则界面会出现输入框，用户在输入框中输入想购买的商品并搜索，或点击底部按钮切换界面。

（2）无论选择哪种模式，用户都可以切换至商品界面，在该界面中，用户可以在搜索框中输入自己想了解或者购买的商品，也可以浏览该界面下的品。

3.2 显示器界面设计

显示器为智能购物车上的控制面板，用户使用交互界面可方便快捷地操作购物车，对购物车提出对应的任务要求。

（1）用户只需点击相应图标即可选择智能跟随模式或智能导购模式。

（2）显示器交互界面显示当前购物车所在区域、所购买商品总价以及商店的商品推送，以增强用户的消费体验。

4 结 语

随着物联网的迅速发展，万物联网是未来的必然趋势，无人超市等新型超市的出现也说明了这一点。本文设计的集跟随、导购于一身的智能购物车，最大程度解决了顾客寻找商品不便的问题，同时还解决了孕妇、老人等手脚不方便的顾客难以携带商品等问题。与其他智能购物车相比，本文设计的购物车在室内定位方面拥有成本低、精度高、适用范围广等优点。综上所述，本购物车具有较高的实用价值以及较广阔的市场前景。

參 考 文 献

[1]何沃林.室内场馆无线定位智能管理系统的设计[J].物联网技术，2017，7（12）：63-65.

[2]张伟，王桥，李莉，等.基于单片机的自动跟随小车[J].物联网技术，2018，8（6）：62-64.

[3]王愿祥，程悦琪，孙先松.基于WiFi的无线测控终端系统设计[J].物联网技术，2018，8（9）：23-26.

[4]姚锡钦，林烨，陈苏阳.基于AprilTag标记定位的自动泊车系统实现[J].电子产品世界，2018，25（8）：39-42.

[5]王恒，李陈康.基于双单片机的无刷直流电机调速系统的设计[J].物联网技术，2015，5（12）：47-50.

[6]梅妍玭，傅荣.基于OpenMV的3D定位识别系统[J].新技术新工艺，2018（2）：50-52.

[7]梅妍玭，傅荣.基于OpenMV的小车定位系统研究[J].扬州职业大学学报，2017，21（4）：46-48.

[8]林森，刘志东，吕庆军.基于STM32的PID算法控制直流电机系统设计[J].产业与科技论坛，2017，16（2）：78-79.

[9]李帅男.基于STM32的循迹避障智能小车的设计[J].数字技术与应用，2018，36（8）：163-164.

[10]张国防，白晓波，孙超.基于Android的APP开发平台的搭建[J].通讯世界，2015（12）：68-69.