基于YOLOv7的共享汽车卫生监察平台
2024-09-13刘家豪谢广潮文朝南吕子豪马仲康
摘要:随着全球共享汽车行业的不断发展,中国有望在2025年成为全球最大的共享汽车市场,但车辆内部环境清洁问题成为制约共享汽车行业发展的重要因素。该研究针对共享汽车卫生问题,提出了基于YOLOv7的监控平台。通过目标检测技术实时监测车内环境,结合物联网和手机应用程序提高清洁效率。训练模型采用多种数据增强技术,并在实验中验证其有效性。硬件设计方面,利用ESP32-CAM实现了摄像头控制和数据上传功能。实验结果表明,该平台能够有效监测车内垃圾情况,并为共享汽车公司提供清洁维护参考,为行业发展提供技术支持。
关键词:共享汽车;YOLOv7;人工智能;单片机;物联网;手机应用程序
中图分类号:TP391 文献标识码:A
文章编号:1009-3044(2024)22-0029-03
开放科学(资源服务)标识码(OSID)
0 引言
到2025年,中国的分时租赁汽车将达到60万辆,中国的共享出行人次将达到每天3 700万人次,对应的市场容量高达每年3 800亿元,潜在需求带来的关联市场容量有望达到1.8万亿元,中国将成为全球最大的共享汽车市场[1]。调查显示,受访消费者对分时租赁服务的前五大顾虑中,车内环境脏乱差(43%) 为第二大顾虑,因此,车辆内部环境维护、清洁及保养成了制约共享汽车发展的重要因素。
导致卫生差的原因之一是:缺乏有效的卫生监管与举报系统,同时没有完善的奖惩措施,使得责权利不对等,消费者行为难以被约束,消费者也难以爱惜不属于自己的物品。在这种情况下,消费者的公共意识严重不足,导致共享汽车卫生状况较差,严重影响客户的使用体验。另一原因是:清洁人员只能定期清理,而无法高效地清理,导致清理效率不高。针对这两个问题,本项目使用单片机与相关模组结合的硬件,通过物联网、目标识别技术,来对客户使用情况进行监测,并赋予清洁人员信息来实现高效清洁。
1 技术路线
当客户使用共享汽车产品扫码上车时,服务器远程控制单片机拍摄第一张照片。当客户结束使用后,拍摄第二张照片,并将两张照片上传至云服务器。使用垃圾目标检测模型来识别出车内的垃圾数量变化,将变化的数据传输到共享汽车公司。共享汽车公司将制定相应的积分奖惩制度。单片机会在使用结束后每分钟检测空气质量,并上传到云服务器,将空气质量与垃圾数量传输到应用程序。应用程序会在地图上展示共享汽车的内部环境数据,帮助清洁人员高效地清洁。
2 垃圾目标检测
2.1 模型选择
YOLOv7模型为2022年Chien-Yao Wang团队发布的YOLO版本,其论文已被国际顶级会议CVPR(IEEE国际计算机视觉与模式识别会议)收录。YOLOv7模型在5FPS到160FPS范围内的速度和精度都优于目前大部分的目标检测器,并且在GPU V100上30FPS或更高的所有已知实时目标检测器中具有最高的精度56.8% AP[2]。
2.2 数据的采集与处理
1) 数据采集与预处理。训练数据来自网络爬虫和现实拍摄,共获得1 320张图片。使用LabelImg软件对所有图片进行标注。为了增加数据量,进行数据增强,通过旋转、反转、改变光亮度、加入噪声等方式将图片扩充到6 600张。对采集的图像按照6∶2∶2划分为训练集、验证集和测试集。
2) 模型评价指标。本文选择准确率(Precision, P)、召回率(Recall, R)、平均精度(Average Precision, AP)、平均精度均值(Mean Average Precision, mAP)作为模型的评价指标[3]。计算公式如下:
[Precision= TpTp+ Fp ×100%] (1)
[Recall= TpTp+ FN ×100%] (2)
[AP=01P(r)dr] (3)
以对纸张检测识别为例,式中,[Tp]表示模型预测正确的数量,[Fp]表示模型预测错误或者未能预测的数量,[FN]表示预测成非纸张种类的数量。mAP的值为各个种类的AP的平均值。
2.3 实验平台
本次训练与测试模型均为同一环境,环境配置如表1所示。
2.4 实验结果及分析
输入图片尺寸为640×640像素,训练批次设置为32,训练轮次设置为150次,初始学习率为0.01。从图2可以看出,在迭代50次之后振荡大幅减少,在迭代100次之后,提升逐渐稳定并趋于收敛。选择训练中的最优模型进行测试,最终结果平均精度达到0.94。
3 软件设计
移动端手机应用程序安装在清洁人员的手机,能够节省用户选择共享汽车的时间消耗。该应用程序提供了查询附近共享汽车位置、查询共享汽车相关信息(如车内的清洁情况)以及导航到指定共享汽车附近等功能。通过后端服务器提供的API,手机应用程序能够获取所需的数据内容。同时,借助某些通信协议,服务器也能够主动推送数据给客户端,使得手机应用程序能够实时获取到相关数据。此外,一些互联网公司提供了导航定位相关的SDK,如高德地图,客户端可以基于此实现实时获取用户位置信息以及共享汽车的相关数据(如位置信息、内部清洁情况、电量等),从而进一步实现导航业务功能[4]。系统整体结构如图3所示:
导航流程如下:
用户在手机端点击指定的车辆并选择导航,由此进入导航界面,供用户选择导航模式。完成上述步骤后,即可开始导航。导航流程图如图5所示:
云服务器端的设计:
1) 该服务器的主要职能包括发布清洁任务、评价清洁成效、向车内传感器发出指令并收集车辆的各类信息。
2) 负责将收集到的车辆数据上传至共享汽车公司的服务器,以分析和评估车辆的内部状况,并保留所有相关过程中的关键信息。
3) 将车辆信息上传至共享汽车公司,协助共享汽车公司更加有效地评估和维护车辆的清洁度和卫生状况。
4) 云服务器作为信息流动的核心枢纽,其最重要的功能在于处理、存储并转发获得的信息,实现控制指令的上传和下达[5]。服务器中存储的历史数据对于共享汽车公司提供查询服务至关重要,为公司提供了一个宝贵的信息资源库,以支持其日常运营和决策制定过程。
数据库设计:
通过分析整个系统设计到的实体以及实体之间的关系,可以确定数据库表至少含有用户信息表、车辆信息表、车辆的使用记录表等。
4 硬件设计
以 ESP32-CAM 为原型,自主绘制了一个PCB板,能够满足同时控制两个摄像头的要求。在嘉立创平台上打印了PCB板并进行了3D外壳打印。由于开发板引脚数量不够,采用了硬件连接的方法,将除了Vsync以外的两个OV2640的所有引脚连接在一起接在芯片上,并将两个Vsync连接在开发板不同的引脚。之后,通过代码来控制不同的引脚电位变化,从而控制不同的摄像头进行拍照。Vsync 是摄像头模块中的一个信号,用于同步图像采集,其作用是标志图像帧的开始和结束,保证图像数据的采集完整并按照正确的顺序传输[4]。
产品启动时,首先连接Wi-Fi,然后初始化摄像头、传感器模块和内部存储功能。完成上述操作后,开始进行拍照功能,将图片以Base64格式存储在芯片内部,并封装成JSON格式。之后根据内部存储的网址连接服务器,以POST格式向服务器指定路径发送生成的 JSON 数据。同时,使用DHT11模块测量温湿度,使用MQ-2模块测量烟雾,同样以JSON 格式发送至服务器。最后,关闭HTTP连接。
5 结束语
本研究基于 YOLOv7模型和单片机等硬件设备,设计并实现了共享汽车卫生监察平台。该平台能够实时监测车内环境的清洁情况,提高了清洁工作的效率和准确性,为共享汽车行业的发展提供了技术支持。
通过监测车内垃圾数量的变化,平台将监测数据传输给共享汽车公司,帮助其制定积分奖惩制度,促进车内环境的维护和清洁。同时,设计的手机App为清洁人员提供了便捷的查询和导航功能,提高了清洁工作效率。
综上所述,该平台为共享汽车行业提供了实用的解决方案,有助于提升用户体验,促进行业的健康发展。
参考文献:
[1]新华网.全球共享汽车行业仍然面临多重阻力[EB/OL].(2021-03.28)[2024-02-23]. http://www.xinhuanet.com/2021-03/28/c_1127265169.htm.
[2] WANG C Y,BOCHKOVSKIY A,LIAO H Y M.YOLOv7:trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Vancouver,BC,Canada.IEEE,2023:7464-7475.
[3] 林森,刘美怡,陶志勇.采用注意力机制与改进YOLOv5的水下珍品检测[J].农业工程学报,2021,37(18):307-314.
[4] 王锟.住宅小区私家车位共享手机App开发及车位选择匹配算法研究[D].兰州:兰州交通大学,2021.
[5] 王锟,魏建兵,马秦靖,等.基于Android平台的 “共享车位”手机App系统设计[J].工业控制计算机,2023,36(5):113-115.
【通联编辑:唐一东】