结合智能硬件技术与云管理平台开发的证件招领系统＊

靳麒平，钟 玲，李 达，鲁玉龙

(沈阳工业大学软件学院，辽宁 沈阳 110072)

0 引言

在校学生经常发生证件遗失，如校园一卡通、身份证、学生证等证件。这些证件与学生的生活、学习息息相关，而且有的证件集成了多种功能，遗失会造成诸多不便或经济损失。目前高校的丢失证件招领以人工为主，从全国范围看，也存在一些丢失证件招领系统，但需要人工录入丢失证件信息，工作量大，信息录入严重滞后，影响了招领效率和人们查询丢失证件信息的积极性。绝大部分网站功能为将丢失证件简单的分类，缺少智能地将丢失证件与失主信息匹配功能，在失主寻找丢失证件的人工成本上没有做到实质性的改善。即使建立了丢失证件招领系统，从目前检索的资料看，也缺少把人工智能技术与丢失证件招领系统互相结合的实际应用案例。

基于人工智能技术和学校管理实际，研究开发智能识别失主信息的智能证件招领箱和基于云服务的校园证件招领一体化平台有着积极的现实意义。通过智能硬件、图像识别、GIS、网站开发、远程数据传输等技术，智能获取丢失证件上的信息，自动与失主信息匹配并且将丢失信息实时发布到网上，失主可以第一时间知道自己证件的丢失情况并且精确获得丢失证件存放地点，自助领取丢失的证件，减少管理丢失证件的人工成本，及失主各处寻找丢失证件的不便。对于一些重要证件，智能证件招领箱也降低了多人接触丢失证件造成的信息泄漏问题。

1 系统总体设计

系统由智能证件招领箱和云管理平台两部分构成。智能证件招领箱放置于教学楼、寝室楼、食堂等场所，若有人捡到丢失的证件，则存入招领箱。存储过程为拾取人在招领箱可视化控制界面选择存储功能，按照语音提示，将证件对准招领箱上的摄像头，招领箱获取图像信息并传给云平台，云平台提取图像及文字信息，经过校验的信息将存入云平台丢失证件管理系统，云平台选择对应招领箱空闲柜号，发送开锁指令，对应智能锁开启，丢失证件存入。招领者可以登录云平台（为保障丢失证件安全，招领者需填写个人必要信息，成为注册用户），在丢失证件大厅搜索丢失证件相关姓名及证件上人脸图像信息，若已存入招领箱，则根据地图模块给出的位置，找到对应招领箱，选择招领功能，智能招领箱获取认领者人脸信息并传送给云平台，云平台通过人脸图像分析与比对，如果当前认领者与证件上人脸为同一人，则发送对应箱号柜号开锁指令，失主自助领取丢失证件，相关领取信息存入云平台备查。

2 智能证件招领箱设计

2.1 智能证件招领箱硬件设计

招领箱选用了基于ARM 的raspiberry model 4B+微型电脑主板作为微控制单元，图像采集模块通过调取微控制单元的摄像功能进行拍摄，智能门锁则是以微控制单元为核心通过控制继电器的高低电平给电磁阀所发送电信号，电磁阀所接收到电信号后，完成锁的打开与关闭。GPS则通过调取预先编译好的上位机程序实时读取当前智能证件招领箱的地理位置并上传。箱体内嵌了一块高清触摸屏以便于用户进行丢失证件的存取操作。图1为智能证件招领箱的硬件框图。

图1 智能证件招领箱硬件框图

2.2 智能证件招领箱功能模块设计

智能证件招领箱包括模式选择、图像信息采集、通讯校验与上传、智能锁控制、语音提示几个模块。用户在图形化界面上通过模式选择模块选取对应操作，后台根据选择调用不同功能模块后进行下一步处理，语音提示模块在各步操作前给用户语音提示，有效指导用户操作，方便用户。

⑴图像采集模块

在调取摄像头时，基于安全考虑，网站并不被允许直接调用本地文件，故本项目在微控制单元预留一个HTTP 接口用于在摄像头需要被调用的时候访问，当本地接口被调用的时候，微控制单元将发送一个cmd 命令来启动相关的程序，这样就可以实现摄像头调用的效果。

⑵通讯校验与上传模块

从智能证件招领箱向云管理平台进行数据传输时，采用Socket 通讯方式。当图像采集模块获取到用户的人脸或者证件照片之后，将图像解析为base 流并清空磁盘，若解析成功后，通过Socket尝试访问云管理平台的指定接收端口，当端口成功连通之后，开始进行数据上传，上传成功后在服务器解析对应数据转换成jpg 格式文件，并存入磁盘，确认收到目标图片后在服务器端断开该连接并开启新的监听窗口。

⑶智能锁控制模块

为了控制多路电磁锁并节省成本，本项目采用9路12v继电器模块。默认状态下继电器与电磁锁电路为常开状态，电磁锁闭合。当继电器IN 口检测到高电平时，电路为闭合状态，电磁锁打开。当继电器IN 口检测到外界低电平时，开关断开。当继电器IN 口检测到外界高电平时，开关闭合。由一个继电器控制多个智能锁的工作，当云平台判定为可以开锁时，会下发开锁指令，经微控制单元编译后发送高低电平电流给继电器转换后，发送微电流到特定编号的电磁阀锁，控制它的开锁，图2为继电器控制各个锁的总体电路图。

图2 继电器总体电路图

3 云管理平台设计

当云管理平台处于时，通过Socket 通讯接收到由智能证件招领箱采集到的证件图片后，提取并绑定证件上的姓名等文字信息和人脸图像，待操作成功之后，云管理平台将提取出来的文字信息、智能证件招领箱位置、证件存储的柜号、存入时间等信息，存储到mysql 数据库中，同时将提取出来的人脸图像存储到HDFS 数据仓库中，以便后续的信息查询，同时云管理平台通过远程交互模块发送开锁及语音指令，打开智能证件招领箱的柜门，并发出语音操作提示，同时证件招领网站发布新拾取到的证件信息。

当云管理平台处于时，通过Socket 通讯接收到由智能证件招领箱采集到的招领者人脸图片及准备开锁的柜号ID，云管理平台通过此ID 查找HDFS 预先存入的证件人脸图像，并与收到的招领者真实人脸图像进行比对，若相似度超过设定阈值，则认定为同一个人，云管理平台通过远程交互模块发送开锁及语音指令，智能证件招领箱的柜门打开并发出语音提示，同时将数据库中对应的数据标记为“历史记录”，招领者取回丢失证件。

4 系统实现

4.1 证件信息提取

对于采集上来的证件图片，云平台提取出其中文字信息和人脸图像。

⑴OCR技术提取证件文字信息

对于如图3(a)所示的证件图像，先运用CTPN 模型检测出文本行的位置，其效果如图3(b)，而后采用CRNN 模型对检测出的文本行内容进行翻译，其结果作为最终提取出的证件文字信息，其效果如图3(c)所示。

图3 图像文本信息提取

⑵证件人脸图像识别与剪裁

本项目采用Yolov5 目标检测模型，当准确检测出人脸图像后，利用OpenCV 库完成对检测后人脸图像的提取，具体效果如图4 所示，其中图4(a)展示了原始证件的图像，图4(b)展示了检测出的人脸图像效果图，图4(c)展示了剪裁出的失主人脸图像。

图4 证件人脸图片提取

4.2 人脸比对模块

将招领者通过智能证件招领箱传上来的人脸图像，进行人脸图像的裁剪，同时查询出预先存入HDFS中的证件人脸图像，而后利用人脸特征检测模型分别找出招领者和证件上人脸图像的64 个特征点位矩阵进行分析比对。其中图5(a)展示了系统分析出的招领者人脸的64 个特征点位，图5(b)展示了证件失主人脸的64个特征点位。

图5 人脸比对

实验结果表明，对于摄像头接收的人脸图像，在不同位置，或有一定角度偏转，系统均能有效识别。

4.3 软硬件实现效果

智能证件招领箱主体利用CAD 制图的方式确定其初貌，而后结合3D 打印技术，对所需的原材料进行精准切割与制作，同时为方便与用户交互，采用可触控的高清屏。图6 展示了智能证件招领箱的整体效果。

图6 智能证件招领箱正面效果图

当用户进行操作之前，要预先登录同时进行存取模式选择。图7给出了招领箱触屏显示的模式选择页面效果，包含证件存储模式与证件招领模式。

图7 存取模式选择功能页面

云管理平台的招领网站进行相应信息的展示与管理。已存入的失物信息集中展示在招领大厅，包括从证件中提取的文字信息和图像信息，如丢失证件的失主姓名、失主人脸照片、存入时间、智能证件招领箱的位置以及证件存储的柜号信息等，失主可登录网站进行查询，其实现效果如图8 所示。同时为了方便失主尽快找到自己的证件，本项目加入了地图模块，以展示智能证件招领箱的具体位置。

图8 云平台实现效果

5 结束语

实现了一款软硬件结合的智能证件招领系统，智能证件招领箱以微控制单元为核心控制带有校验机制的网络远程控制智能锁，以及完成证件或者招领者人脸图像的采集和上传，云管理平台分为两种模式，当平台处于证件存储模式时，能够对不同证件信息进行自动识别，提取信息精准，识别效果良好。当平台处于证件招领模式时，运用人脸比对技术判定招领者是否为证件本人，保障系统的安全性和方便性，减少了管理人员投入。同时利用网站实时进行丢失信息展示的方式，方便失主查找并提高证件招领的时效性。后续本系统将不断改进图像算法的准确率及精度，同时提高招领箱的安全性能。