图书馆巡架机器人设计与实现

王红芳，何 昕，张 妮，宣静雯

(1.西安工程大学 图书馆，陕西 西安 710048；2.西安工程大学 电子信息学院，陕西 西安 710048)

随着现代社会文化的快速发展以及民众对知识需求的增强，新时代图书馆的职能早已从传统的收集、存储、借阅转变为了更加便利与现代化的管理与服务[1]。在大型图书馆多采用开架阅览的使用方式的前提下，大量图书在被借阅后会因读者还书操作不规范等原因，普遍存在错放现象[2]。

目前，在大多数图书馆主要采用人工巡检方式完成图书上下架、图书错序整理等工作[3]，该方式工作量大,效率低，是一项耗时、费力、易错的工作，导致人力资源的大量浪费，使图书整理退化成一种形式化的工作[4]。

图书馆巡架机器人是针对人工巡检方式存在的不足，使用巡检机器人取代人工方式实现对图书馆在架图书进行智能巡检[5]。通过建设由巡检机器人和协同管控平台组成的图书馆智能巡检机器人系统[6]，可以使巡检机器人按照预先设定的巡检路线自动对图书馆在架图书进行巡检，避免人工方式导致的漏检、记录错误等现象。同时，巡检机器人后台数据处理中心能将巡视作业采集到的现场数据进行记录、分析、整理和可视化，提高图书馆数字化和智能化水平。因此，借助图书馆巡架机器人自动对图书馆在架图书的错序情况进行巡检，不仅能有效克服和弥补人工巡检存在的缺陷和不足，而且还能提高巡检的灵活性、智能性，减轻了图书馆管理人员的工作量，对构建智能化图书馆具有一定的实际应用价值[7]。

本文基于深度学习的Yolov3tiny图书错序检测算法[8]，利用Pycharm-Python集成开发工具和Pytorch深度学习框架、MySQL数据库和移动机器人搭建图书巡检智能系统[9]。该系统的主要功能有：1)实现图书馆在架图书进行智能化巡检；2)识别错序图书并将巡检结果存储到数据库；3)实现图书馆巡架机器人获取巡检数据的管理。

1 系统设计

图书馆巡架机器人主要由轨道引导系统、图书错序检测算法，数据库系统和客户端四大部构成，如图1所示。

图1 图书馆巡架机器人系统组成

轨道引导系统规定了移动机器人的运行路线，使其能高效遍历图书馆内书架图书；图书错序检测算法能将机器人拍摄到的书籍图像进行处理并检测索书号，将检测结果和相关数据送入数据库中进行储存；数据库系统由MySQL搭建而成，并使用了PyQT5设计了图形交互页面，客户端由MySQL-client搭建，能够实现对数据库中数据的查询和操作。

1.1 轨道引导系统

轨道引导系统由移动机器人上搭载的上位机(TX2图像处理开发板)与STM32以及一个8路磁导航传感器共同构成，如图2所示。

图2 移动机器人轨道引导系统

移动平台根据上位机(TX2图像处理开发板)的指令运动到各个书架的附近，实现“巡”的功能。其底层驱动过程如下：

移动平台根据TX2上位机发出的指令运动到指定书架附近，实现"巡"的功能，其底层驱动过程如下：

1)TX2上位机通过串口通信发送控制信号给STM32下位机，请求下位机向某一方向运动；STM32收到请求信号后输出相应的电机控制信号；由于STM32输出的信号较弱，不足以驱动电机运动，需要通过电机驱动模块将STM32输出的电机控制信号转换成大功率信号。当大功率信号传递到电机上后，电机将以相应的速度和方向旋转，从而改变移动机器人的运动状态。

2)光电编码器与电机同轴连接，该传感器可以测量电机以何种转速转了多少圈，并将测量到的数据反馈给控制芯片STM32，以实现对电机的精准控制。

3)当移动平台的运动状态发生改变时，将会改变磁导航传感器和磁条轨道的相对位置，引起磁导航传感器测量信号发生变化，TX2上位机将根据磁导航传感器返回的信号发送下一次控制信号。

由于移动平台上安装有姿态传感器，该传感器可以将移动平台当前的姿态(如小车的角度)反馈给STM32，使其对移动平台进行更加稳定的控制。

1.2 图书错序检测

当机器人运行至书架附近后，对书架上各层图书进行检测，实现“检”的功能。机器人到达采集点后自动拍摄书架上摆放的图书图像，并将其输入Yolov3tiny检测网络中检测图书书脊上的索书号区域，对将分割出得到的索书号区域图像送入字符识别网络，获得图书的索书号，并与正确的索书号序列进行比对，由此判断当前书架上图书的摆放状态[10]。在图书错序检测过程中将拍摄的图书图像与检测结果均存储到后台数据库中，并将检测结果显示在机器人液晶显示器上。整个图书错序状态识别过程如图3所示。

图3 图书错序状态识别过程

2 系统实现

2.1 循迹定位

循迹定位使用8通道磁导航传感器实现，该传感器用于测量移动平台和磁条之间的相对位置。当TX2图像处理开发板通过磁导航传感器检测到移动平台偏离轨道时，会向STM32下位机发送矫正行驶轨道信号，下位机接收到正确的信号后，将输出相应的电机控制信号，该信号经过放大后改变移动平台的运行状态。在循迹过程中，移动机器人会循环检测是否到达停车点，如果没有到达停车点则一直循迹前进。移动平台通过计算感应磁条和磁导航传感器之间的相对位置，不断调整运行轨迹实现循迹前进，整个过程见图4。

图4 循迹定位流程图

2.2 基于Yolov3tiny图书错序检测

图书错序检测算法基于Yolov3tiny目标检测网络构建。首先，将移动机器人拍摄的书架图书图像输入到Yolov3tiny目标检测网络中，Yolov3tiny检测到每本图书书脊上的索书号区域，然后将分割出的索书号区域图像使用光学字符识别算法识别并判断图书的摆放状态。Yolov3tiny网络结构图如图5所示。

图5 Yolov3tiny网络结构图

2.3 服务器端

服务器负责接收从客户端发传输过来的图书图像，调用Yolov3tiny目标检测网络检测出每本图书书脊区域上的索书号区域并进行分割。对分割出来的每个图书索书号图像，使用错序检测算法判断是否存在错序图书，并将检测结果发送给客户端显示。服务器端信息存取过程如图6所示。

图6 服务器端数据库存取过程

2.3.1 数据库设计

本文设计了一个BookShelves表，以实现巡检记录的存储。该表由CheckID、CheckTime、BookshelfID、BookNumber、CheckedResult、OriginalPhoto和CheckedPhoto七个字段构成，其中CheckID、BookshelfID和BookNumber都是Int类型，用于记录检测编号、所摆放的书架编号和图书数量；CheckTime是datetime类型，用于记录巡检时间；CheckedResult是varchar(255)类型，用于记录检测结果；OriginalPhoto和CheckedPhoto均为mudiumblob类型，分别记录原始图像和被检结果图像，巡检记录表逻辑结果如表1所示。

表1 数据库设计

将系统检测的当前时间、检测图书编号、所在书架编号、图书数量、被检测结果，相机采集的原始图片转化的二进制数据流和被检测图像等七种数据存入数据库，以便图书管理员后续的查询与整理工作。

巡检记录表除了记录当前检测时间、检测图书编号、所在书架编号、图书数量和被检测结果，还将相机采集的原始书架上的图书图像和检测结果图像转化为二进制数据流存储到巡检记录表中，以便图书管理员进行后续查询，以方便快速定位存在图书乱序错位书架位置。

2.3.2 客户端设计

通过客户端可以访问服务器上的数据库，完成巡检记录的增、删、查、改操作，并将操作后的结果显示到客户端界面上。图7为客户端运行模式图。客户端软件通过动态链接库MySql-Client远程访问轨道机器人服务器上的数据库，并通过此动态链接库传回记录到客户端。当运行此客户端软件时，首先实例化一个新的线程，通过实时显示模块发送查询最新状态指令，将返回的记录表显示到实时显示模块，由该模块在线程内循环执行查询指令和显示功能，从而实时显示图书巡架机器人最新巡检结果。

图7 客户端运行模式

另外，系统设计了特定时间段的实时状态查询模块和运维记录查询模块。实时状态查询模块用于查询用户给定时间段内的书架图书的巡检情况，包括指定时间段内未报警和报警的巡检记录，点击报警记录可查看对应记录的采集图片，能方便图书管理员人工审查系统运行状。运维记录查询模块主要用于查询指定时间段内所有巡检情况，图书管理员可将指定的巡检记录以Word报表的形式导出，以便存档备查。

当系统开始运行后，默认显示实时状态界面，如图8所示。左上角的图片为图书馆巡架机器人最新采集的设图书图片，右上角的五个文本框分别显示此图片的巡检编号、巡检时间书架编号是否错序以及巡检结果。如果存在错序情况，最下方将以数据网格形式显示错序图书基本信息。

图8 实时状态显示界面

当点击查询运维按钮时，打开如图9所示查询运维界面图，该界面为用户提供了查询巡检记录的功能，用户选择需要查询的开始时间和结束时间，选择查询类型包括所有记录、报警记录，点击相应按钮可以显示用户所选条件的相应记录。当点击任意一条记录，界面下方将会显示用户点击记录的所有信息，点击输出报表按钮可以将查询到的巡检记录以Word报表形式导出。

图9 查询运维界面图

图10显示了当用户点击输出报表后的详细报表格式，输出时间为用户输出报表时系统的时间，输出类型记录用户选择输出的是所有记录或报警记录，报表内容由序号、设备名称、采集时间、是否错序、巡检结果构成。

图10 输出的word报表

3 结束语

本文设计了一种图书馆在架图书巡检机器人，该机器人由轨道引导系统、图书错序检测系统、数据库存储系统和客户端系统四部分组成。通过在机器人上搭载智能化算法对图书馆内各个书架进行巡检，分析并判断书架上是否有错序图书。相比于传统的人工巡检方式，图书馆智能巡架机器人巡检效率高，为构建智能化图书馆具有重要的实际意义和应用前景。