基于卷积神经网络的智能寻书机器人设计与实现
2021-08-18羌栋强王雅楠
羌栋强 王雅楠 张 蝶
（江苏商贸职业学院，江苏南通，226011）
0 引言
近年随着图书馆的高速发展，传统人工操作和管理模式与智慧图书馆发展目标产生了越发鲜明的冲突。在传统的工作模式下，图书馆工作人员将大量的精力和时间消耗在图书的分类、整理、搬运等重复性的工作上。虽然图书馆的信息化系统已经实现了图书典藏和自助查询等工作，但有一些工作例如图书盘点、读者咨询、阅览区巡视等工作仍需要借助人工才能完成，这与智慧图书馆的发展目标是背道相驰的。机器人在机械制造、航空航天、应急救援等行业领域中作为一种高效的自动化设备发挥了强大的辅助作用。近几年，国外的一些研究机构已初步尝试了对图书馆机器人的可行性探究，并且有一些成功的案例，例如英国国家图书馆建立的“高科技藏书库”系统，可由机器人独立完成700多万册图书的全部检索和保管，其中任一环节都无需图书馆工作人员的参与，一定程度上解放了工作人员的双手。日本早稻田大学、德国洪堡大学、美国犹他州大学、芝加哥大学等享誉世界的名校也建立了类似的图书馆机器人管理系统。
为此，本项目计划设计一个面向读者的智能寻书机器人，应用于图书馆日常管理和服务中，以期解决当前图书馆工作人员工作内容单一、劳动强度大、服务效率低等问题，让图书馆工作人员能够从重复繁琐的工作中解脱出来，把更多的时间精力利用在学科服务、文献整理开发与研究和举办各类读者活动上。
1 研究现状
通过可视化文献分析软件Cite Space对2010-2020年图书馆领域AI研究的528篇核心期刊和CSSCI期刊分析后发现，在国内图书馆机器人研究方面，大多是从书库管理和图书馆信息管理等方面引入机器人概念的可行性进行探讨，很少从机器人应用的角度阐述具体涉及的相关技术
在机器人应用领域，深圳图书馆的IM机器人通过分析用户咨询信息，使机器人对自身知识库自主进行更新维护，从而达到为用户提供更有针对性的回答的效果。朗蒙特图书馆机器人项目则是可以通过个性化编程，利用面部表情和肢体动作打破沟通障碍，与自闭症儿童进行互动交流。
在智慧图书馆内引入机器人，可以突破原有的工作模式，图书馆员的工作效率得到显著提高，同时丰富了用户获取信息的渠道，为智慧图书馆建设打下良好的基础。但现有的研究主要是侧重于在图书馆的单一事务中引入机器
。人技术，面向图书馆的专业型综合类机器人的开发与研究则较少。
随着信息化的不断发展，国内越来越多的图书馆开始普及物联网、室内导航、大数据分析等相关信息技术，基本形成了立体化、智能化、信息化的综合环境，为机器人技术在图书馆各领域的应用提供了深度融合的环境。相对于一些发达国家图书馆而言，我国在机器人技术应用的广度和深度有所差距，一般都是用于图书馆单一业务上，例如：参考咨询人机互动、图书分拣、图书搬运等工序，而没有一个技术完备包含图书馆全业务的综合性机器人系统。在这一领域虽然国内外提出了一些设计思路，但大多是停留在概念设计阶段，国内在图书馆综合性服务机器人研究上基本上空白，本项目的选题具有一定的创新性。
2 面向读者的机器人的功能设计
2.1 系统整体需求分析
要形成完整的需求方案，需要对图书馆面向读者的业务流程进行分析，查找现有流程缺陷并进行优化，形成完善的需求方案。面向读者的智能寻书机器人功能需求如图1所示。
图1 面向读者的智能寻书机器人功能需求
在实现上述过程中，要充分考虑面向读者的机器人各项功能以及各项功能的实现方式，面向读者的寻书机器人功能结构图如图2所示。
图2 面向读者的智能寻书机器人功能结构图
2.2 智能寻书功能设计
2.2.1 人脸识别模块
在机器人工作中，第一步也是最为关键的一步是要识别用户，与图书管理系统进行比对，匹配到读者基本信息，从而给该读者更多的个性化服务，判断该读者更多的信息进行数据分析，让服务更加智能化，而不是简单人机互动。人脸识别模块结构图如图3所示。
图3 人脸识别模块结构图
2.2.2图书智能推荐模块
为使面向读者的机器人更加智能，增加图书推荐模块，该模块的加入可以根据读者的喜好为读者推荐图书。其工作过程为：
1）通过视频设备获得读者的视频；
2）视频中含有多张读者的人脸图像；
3）基于多张人脸图像识别出读者身份信息；
4）根据读者身份信息，获得读者的历史借阅数据，历史借阅数据包括读者的历史借阅书本名称、书本类别和借阅时间；
5）根据历史借阅数据，推荐目标书本给读者。
图书智能推荐流程如图4所示。
图4 图书智能推荐流程
2.2.3 基于卷积神经网络的人脸识别功能设计
通过智能图书推荐模块的应用，可以智能化地识别读者的身份信息，并根据读者的历史借阅数据预测出读者偏好的书本，预测的准确性高，也提高了机器人服务的智能化与人性化。
基于多张人脸图像识别出读者身份信息过程为：
1）将视频中的人脸图像按照人脸图像所在的读者图像的拍摄顺序进行排列，得到人脸图像序列；
2）将人脸图像序列输入卷积神经网络中，卷积神经网络基于人脸图像序列识别出人脸特征向量，卷积神经网络可以是残差卷积神经网络，即RestNet backbone；
3）对人脸特征向量进行上卷积处理，得到三维特征图；
4）获得读者的人脸三维数据与三维特征图之间的第一交叉熵。读者的人脸三维数据是通过三维摄像设备采集得到的。
基于第一交叉熵反向调整三维特征图，其过程为：
1）以经过反向调整后的三维特征图作为目标，基于残差网络的损失函数反向调整人脸特征向量；
2）残差网络用于对人脸特征向量进行上卷积处理；
3）获得经过反向调整后的人脸特征向量与预先标注的样本标签之间的第二交叉熵；
4）以第一交叉熵和第二交叉熵满足预设条件时的人脸特征向量作为输出的人脸特征向量；
5）基于输出的人脸特征向量识别出读者身份信息。
通过以上方法，提高了人脸特征表示读者人脸信息的准确性，进而提高了人脸识别的准确性。
卷积神经网络是残差网络，残差网络包括多个卷积层，多个卷积层用于提取人脸图像的特征向量，基于输出的人脸特征向量识别出读者身份信息，包括在身份信息数据库中获得与输出的人脸特征向量匹配的身份信息，作为读者的身份信息。第一交叉熵和第二交叉熵满足预设条件时，表示的是第一交叉熵和第二交叉熵都收敛。
第一交叉熵和第二交叉熵满足预设条件时，表示的是：第一交叉熵小于第一定值，且第二交叉熵小于第一定值。第一定值的取值是0.4、0.6,第一定值的取值是0.6、0.4。基于多张人脸图像识别出读者身份信息，包括基于多张图像，得到读者的人脸特征，基于人脸特征，识别出读者的身份信息。识别过程为：
1）获得每一张人脸图像的人脸特征向量，多张人脸图像对应多个人脸特征向量；
2）获得每两个人脸特征向量之间的交叉熵；
3）以交叉熵的平均值作为第一调整因子；
4）基于第一调整因子，获得平均人脸特征向量，以平均人脸特征向量作为读者的人脸特征。
其中，基于第一调整因子，获得平均人脸特征向量，获得所有人脸特征向量中的各个特征值与各自对应的第一调整因子的乘积，获得所有乘积之和，以该和除以所有第一调整因子的总和，得到的特征值构成的特征向量就是平均人脸特征向量。
平均人脸特征向量的计算公式为：
其中，P 表示平均人脸特征向量，
n表示平均人脸特征向量中特征值的数量。pi表示平均人脸特征向量的第i个特征值。tki表示第k个人脸特征向量的第i个特征值，k=1,2,….m，m表示人脸特征向量的数量，sk表示第k个人脸特征向量对应的第一调整因子，∑sk表示s1, s2,…. sm之和，∑(tki*sk)表示所有的tki*sk之和，tki*sk表示tki与sk的乘积。
举个例子来说，例如有3个人脸特征向量，每个人脸特征向量有3个特征值，即T1=< t11, t12, t13>, T2=< t21, t22, t23>, T3=< t31, t32, t33>，T1、T2、T3对应的第一调整因子分别是s1、s2、s3。
平均人脸特征向量为：
以任意一张人脸图像的人脸特征向量作为基准人脸特征向量，获得其余人脸特征向量与基准人脸特征向量之间的交叉熵，其余人脸特征向量是多个人脸特征向量中除了基准人脸特征向量以外的人脸特征向量。以其余人脸特征向量与基准人脸特征向量之间的交叉熵作为第二调整因子，每个其余人脸特征向量对应一个第二调整因子。将其余的人脸特征向量按照第二调整因子调整基准人脸特征向量，以调整后的基准人脸特征向量作为读者的人脸特征。
将其余的人脸特征向量按照第二调整因子调整基准人脸特征向量，调整后的基准人脸特征向量等于，其余的人脸特征向量乘以其对应的第二调整因子的商之和，加上基准人脸特征向量，去除第二调整因子之和。具体按照下述公式计算得到：
其中，P1表示调整后的基准人脸特征向量，P表示基准人脸特征向量，(∑(Tk))/ ∑(Tk* vk)表示∑(Tk)除以∑(Tk* vk)，Tk表示第k个其余的人脸特征向量，k=1,2，……n-1。vk表示第k个第二调整因子。
将其余的人脸特征向量按照第二调整因子和第一调整因子调整基准人脸特征向量，以调整后的基准人脸特征向量作为读者的人脸特征。将其余的人脸特征向量按照第二调整因子和第一调整因子调整基准人脸特征向量具体为：获得调整指数，调整指数等于第二调整因子加上第一调整因子与第二调整因子的商；将其余的人脸特征向量按照调整指数调整基准人脸特征向量，具体方式参照将其余的人脸特征向量按照第二调整因子调整基准人脸特征向量，在此不再赘述。
2.2.4 基于卷积神经网络的智能推荐功能设计
根据历史借阅数据，推荐目标书本给读者，包括以下步骤：
1）获得历史借阅数据中的读者的历史借阅书本名称、书本类别和借阅时间；
2）根据借阅时间和书本类别，预测出读者感兴趣的书目类别；
3）获得读者感兴趣的书目类别的多本书本作为待选书本；
4）在图书大数据库中获得与书本类别对应的待选书本；
5）将与读者最近一次借阅的书本名称最相似书本作为目标书本推荐给读者。
根据借阅时间和书本类别，预测出读者感兴趣的书目类别包括以下步骤：
1）获得读者对历史借阅数据中书本类别的打分，打分表征读者对书本的喜爱程度；
2）基于借阅时间，对书本类别的打分进行时间序列预测，得到读者对下一本书本的打分；
3）从评分数据库中获得与读者对下一本书本的打分相匹配的书目类别作为读者感兴趣的书目类别；
4）数目类别与读者对下一本书本的打分相匹配，表示其他读者对数目类别的评分与读者对下一本书本的打分之间的差值在预设范围之内，设范围在-2~2之间。
3 结论
本课题对当今图书馆在人工智能应用发展中遇到的问题，进行充分讨论和深度的剖析，提出设计开发面向读者的一体化机器人这一概念，结合物联网、无线射频、人脸识别等技术进行交叉研究应用，主要对基于卷积神经网络图书馆机器人智能推荐系统制定出详细的开发与设计路线。虽然笔者提出了完整的方案和关键技术的研究，但该项目涉及多学科交叉集成各类电子信息和自动化相关技术，其研究内容不仅涉及图书馆的智能化服务，还涵盖了机械设计、电子技术、自动化工程、计算机工程等众多领域跨学科研究，要想项目能够顺利“落地”，接下来研究团队还需要从全局角度设计规划并不断完善设计，为机器人馆员早日在我国图书馆全面应用奠定理论和技术基础。
