基于图像处理的行人过街安全警示系统设计与研究

摘" 要：为了提高行人过街的安全性和效率，避免安全事故的发生，设计一种可以实时检测行人过街行为以及车辆往来的行人过街安全警示系统。该系统采用图像处理技术和嵌入式系统技术，能够实时监测行人、车辆和交通信号灯状态，能准确快速地提醒过街行人注意出行及安全，提高城市交通秩序，有助于推进智慧城市建设和交通安全领域的技术创新，具有一定的理论和实践价值。

关键词：图像处理；行人过街行为；安全警示

中图分类号：TP311" 文献标识码：A" 文章编号：2096-4706（2024）12-0096-05

Design and Research on Pedestrian Crossing Safety Warning System Based on Image Processing

JIANG Hui1， LI Shan1， HUANG Yangxiang1， WU Yuxia2， LIAO Qiuli1

（1.School of Electronic Engineering and Automation， Guilin University of Electronic Technology， Guilin" 541004， China;

2.School of Architecture and Transportation Engineering， Guilin University of Electronic Technology， Guilin" 541004， China）

Abstract： In order to improve the safety and efficiency of pedestrian crossing the street and avoid potential accidents， the paper designs a pedestrian crossing safety warning system that can detect pedestrian crossing behavior and vehicle traffic in real-time. The system adopts image processing technology and embedded system technology. It can monitor the status of pedestrians， vehicles and traffic lights in real-time， and accurately and quickly remind pedestrians crossing the street to pay attention to their travel and safety. It improves urban traffic order， helps promote smart city construction and technological innovation in the field of traffic safety， and has certain theoretical and practical value.

Keywords： image processing; behavior of pedestrian crossing the street; safety warning

0" 引" 言

行人作为交通系统的弱势群体，在交通参与者中数量最多、范围最广，但是目前我国对行人的重视和研究与行人在交通活动中的地位难以匹配[1]。据统计，行人事故伤亡率约占所有交通事故伤亡人数的20%，而行人过街时的伤亡人数占其中的50%以上[2]。而行人过街设施不健全、行人过街行为不规范等因素是其重要原因[3]。如何保障行人过街的安全，减少伤亡，目前已成为道路交通安全专家们主要思考解决的热点、难点问题[4]。因此，设计一种具有高效、准确、快速警示作用的行人过街安全警示系统具有重要的现实意义和社会价值。

目前，国内外对于行人过街安全警示系统的研究已经取得了一定的成果。上海警方在2018年启用了全国首套新型行人过街提示系统[5]，该系统能够自动检测行人在红灯下的不当行为，不仅可以通过屏幕现场显示，还可以发出语音进行警告，同时，还能够为公安交警部门处理违规行为提供记录，供其进行后续的处理和调查。深圳旗扬在2022年打造出人工智能斑马线安全预警系统，智慧斑马线[6]通过AI人工智能视觉算法和多种新兴技术，可有效提醒过街行人注意安全，警示来往车辆注意礼让行人，可及时有效避免过街人车冲突、人车闯红灯现象频发、行人过街效率低下等交管痛点。澳大利亚政府在2016年试点了一种专为低头族设计的地面红绿灯，有效地提醒他们红绿灯的变化，从而提升了通行安全。尽管国内外行人过街安全警示系统的研究已经取得了一定的成果，但仍然存在局限性，在系统实时性、可行性和可扩展性等方面仍需做进一步研究。

1" 系统总体设计

本文设计一款基于全志V831芯片的具有实时检测行人过街行为以及车辆往来的系统。该系统具有紧凑小巧、易安装、性价比高，且支持嵌入式Linux、硬件AI加速等特点。该系统分人行道模式和非人行道模式两种状态。在人行道模式下，检测红绿灯状态以及行人与斑马线的坐标位置，通过检测行人是否在斑马线上，判断行人是否闯红灯。如果红灯状态下，行人没在斑马线上，则判断行人闯红灯，立即对行人进行语音灯光警示。在非人行道模式下，摄像头同时检测到车辆和行人时，就进行语音灯光预警。

系统总体框图如图1所示，由模型建立、图像处理、语音灯光报警以及图像显示几个模块组成。本文的核心技术是模型建立和图像处理，使用深度神经网络对图像进行训练，以YOLOv2为模型网络，ResNet18为主干网络，通过算法优化和参数调整实现行人闯红灯检测的准确率和实时性。语音灯光报警在检测到行人闯红灯时可以及时进行提醒，图像显示则为监控人员提供了更直观的检测结果和管理依据。

2" 系统硬件设计

由于行人过街检测需要低功耗和高算力的硬件支持，传统的PC机在实际道路交叉口的部署中并不适用。综合考虑实际道路环境的要求和成本，需要能够提供紧凑的设计、低功耗且具备足够的算力来支持深度学习模型的部署和运算嵌入式平台来进行行人过街检测。根据系统总体结构的设计，本系统硬件分为两个部分，主要由基于全志V831的M2dock开发板和基于存储电路、灯光电路的底板组成，底板使用立创EDA绘制。

Maix-II-Dock定位于高性价比的AIOT开发板，支持常规Linux开发的同时，有特有的AI硬件加速特性，配合Sipeed提供的完整的软件生态，能够快速实边缘AI应用。硬件上以核心板+底板的形式组成开发板，可以直接使用开发板，也可以只使用核心板，根据需求自行设计底板，方便快速完成开发。软件上除了可以直接使用全志提供的资料进行开发外，也可以非常方便地使用Sipeed提供的Python SDK（MaixPy3）以及CSDK（libmaix），借助Python编程可以简单快速地应用人工智能技术。M2dock支持U盘、IDE、ADB终端等多种交互方式，可以选择简单易用的Python编程，也可以是较好性能的SDK开发，可以快速地验证功能效果。

实物图如图2所示，以M2dock开发板和底板的形式组成，采用SP2305摄像头采集图像，1.3寸IPS屏幕显示，喇叭语音示警，LED灯灯光提醒。

3" 系统软件设计

该系统的软件设计分为数据集的制作、模型训练、目标检测、语音灯光预警和系统保护五个部分。该系统需要进行目标检测，目标检测需要大量的数据集来进行训练。因此，数据集的制作是非常关键的步骤。高质量数据集的制作，需要进行精细的样本图片采集、样本图片标注等操作。在数据集制作完成之后，需要进行模型训练。模型训练需要使用深度学习框架对数据集进行训练，从而得到目标检测算法的模型，是整个系统中的核心部分。在这一阶段中，需要选择适合该问题的深度学习模型，并对其进行训练、寻优，以得到更好的检测效果。最后，需要将训练好的模型部署到系统中，进行目标检测，并通过语音和灯光等方式进行预警。

3.1" 数据集的采集与标注

训练模型之前需要建立训练数据集[7]，数据集的建立分为图像采集和图像标注两部分。使用的数据集包含了BDD100K数据集中具有车辆和行人的部分图像，所在城市的十字路口、人行横道实际采集到的图像，以及通过网上爬虫获取的图像。尽可能地采集了符合实际应用场景的多样化目标图像，且在不同的光照、天气、距离、角度等条件下进行拍摄，以保证模型具有较好的泛化能力，提高深度模型的置信度。数据集图片如图3所示。

数据集中包含训练目标图像和目标在图像中标注的位置信息文件。数据集的制作需要在图像上标记出系统所需要识别的特征信息，以提供给计算机视觉模型特定的图像信息。如图4所示，使用Labelimg软件进行图像标注，标注的目的是确定目标在图像中的位置信息。在本系统中数据标记了5个标签，分别为person、car、crossing、red和green这5个类，分别对应了需要识别的人、车、人行道、红灯和绿灯5个要素。每个图像完成所有标注后，会生成一个对应的xml文件，文件里面记录了物体的包围矩形的位置。该标签文件具有folder、filename、path、size、name和bndbox等要素，可以很方便地对目标进行准确的识别和定位，为后续的模型训练和目标检测提供了必要的数据基础。

数据集分为训练数据集和验证数据集，其中训练数据集用于训练模型，验证数据集用于验证模型的性能和调整超参数。数据集采用了随机抽样的方法进行划分，可以有效避免数据集的偏差性。并且为了保证数据集的随机性和均衡性，按照9：1的比例划分为训练集和验证集。

3.2" 模型训练

系统是基于PyTorch框架[8]搭建的训练模型。PyTorch框架是由Facebook公司开发并维护的一种基于Python语言的开源机器学习框架，具有易于使用和动态计算图等优点。PyTorch框架依赖于Python，搭建训练环境首先需要安装Python环境，然后根据安装相关软件包和依赖项。由于PyTorch不能直接将模型导出成ncnn格式，因此使用onnx2ncnn转换工具进行转换。

为了达到最优的训练效果，在训练目标检测模型之前，需要对学习率、训练批次、输入图片大小等参数进行适当的设置和调整。为了方便在训练过程中进行模型验证和调整，还需要准备好训练数据集和标签，以及验证数据集和标签。在训练过程中，为了防止过拟合或欠拟合等问题的发生，还需要监控模型的训练损失和验证精度等指标，及时调整参数。在本次训练中，使用的是YOLOv2模型。YOLOv2是一种使用神经网络对图像进行端到端处理的目标检测算法，能够在单个网络中直接从原始图像检测出多个物体。YOLOv2采用了基于深度神经网络的特征提取方式，使用卷积层和池化层来提取图像的特征，并采用全连接层对特征进行分类和定位。YOLOv2相比YOLOv1做了一些改进，使用更深的ResNet或DarkNet网络作为主干网络。本系统使用ResNet-18 [9]作为YOLOv2的主干网络，该网络具有更好的特征提取能力、更强的泛化能力、更好的模型可训练性等多方面的优势，可以提高特征提取能力和精度。同时，由于YOLOv2采用了单阶段[10]（single-stage）检测方法，因此与ResNet-18等主干网络结合使用时，可以避免两阶段（two-stage）检测方法中烦琐的区域提取和配准操作，从而提高检测速度。输入图片大小为224×224，迭代次数为200次，批量大小为12，学习率为0.001，启用图像增强。训练得到的模型结构如图5所示。

3.3" 目标检测及语音灯光报警

在本系统设计中，采用了YOLOv2模型进行目标检测。当系统开始工作，摄像头采集一帧图像传输到主控芯片进行处理，主控采用YOLO算法对图像进行目标检测得到目标位置和置信度。若在人行横道模式下检测到有行人闯红灯，或者在非人行横道模式检测到车辆和行人同时出现，就立即进行语音灯光警告并继续采集下一帧图像，否则先关闭语音灯光警告继续采集下一帧图像进行目标检测。

3.4" 系统保护

行人过街安全警示系统安装在户外，当系统出现故障或死锁等问题需要重启系统时，手动重启就会非常不便且困难。因此为了防止出现故障，采用看门狗来保护系统。看门狗[11]（watchdog）是一种硬件或软件设备，用于监视计算机系统或嵌入式设备的运行状况，以确保其正常工作。它可以在系统停止响应或发生故障时自动重启系统，从而提高系统的稳定性和可靠性。系统启动后，初始化看门狗并设置喂狗时间为10秒，然后每过10秒都要进行一次喂狗，当超过设置时间没有进行喂狗时，判定系统出现故障，对系统进行重新启动操作。

4" 系统测试

4.1" 目标识别测试

从数据集中随机选择100张含有行人、绿灯、红灯、车辆和人行道的图像进行测试。为了更全面地测试系统的性能，这些图像既包含正常情况下的交通场景，也包含一些异常情况，例如天气恶劣、光线不足等情况。通过对行人、绿灯、红灯、车辆和人行道100份的数据测试，得出了系统的识别准确率。

测试结果如表1所示，在正常情况下的交通场景下，系统的平均准确率为92%，识别率较高。同时还分析了系统在检测速度和稳定性方面的表现，通过计算处理一张图片需要的时间得到该系统的帧率，结果显示系统的检测速度平均为12帧/秒，检测速度能够达到要求。在稳定性上，让系统检测大量复杂场景和长时间进行检测，虽然系统发热量较大但仍然具有较好的稳定性，基本没有出现系统崩溃或死机等异常情况。

4.2" 灯光预警测试

在进行灯光预警测试时，选取50份行人闯红灯的图片和50份车辆与行人同时出现的图片进行测试。通过计算预警成功次数得出如表2所示结果。根据测试结果，该系统预警平均预警成功率为95%，响应时间为100 ms，预警成功率高，响应快。

5" 结" 论

在城市化进程不断推进的今天，行人过街安全保障是城市道路交通优化的重要组成部分，确保行人安全和提升交叉口通行效率已经成为一个突出的社会问题。在智慧城市建设的背景下，需要开发一种非接触、安全、高效、智能化的行人过街需求检测装置，以满足实际需求。

本次的研究主要设计了一款紧凑小巧、易安装的具有实时检测行人过街行为以及车辆往来的装置。设计提供了一个边缘AI应用的硬件平台，以实现道路上行人和车辆的智能监控和警示。相比传统的视频监控系统，它能够实现更快速、更准确的目标检测并进行预警，并通过硬件AI加速提高了检测效率和能耗效率。该设计的应用前景非常广阔，可以应用在城市交通管理、学校校园等领域，为人们的生活带来更多便利和安全。

参考文献：

[1] 尹岩，马社强.过街行人的交通特性及对策研究 [J].交通科技与经济，2013，15（6）：18-22+26.

[2] 何永明，尚庆鹏，王爽.城市行人过街交通安全警示系统研究 [J].交通科技与经济，2018，20（4）：9-12.

[3] 何赏璐，郑长江，过秀成，等. 路段感应式信号控制行人过街系统设计 [J]. 交通信息与安全，2012，30（3）： 110-113+117.

[4] 翟良贵，丁靖艳，章金根. 行人过街特征分析及自我保护对策 [J]. 辽宁警专学报，2004（4）：61-63.

[5] 上海警方启用全国首套新型人过街提示系统 [J].上海安全生产，2018（11）：19-20

[6] 山东创安交通预警工程有限公司.智慧斑马线装置：CN202220366585.9[P]. 2022-06-21.

[7] 吕轩轩.基于监控视频的训练数据集标注方法研究 [D].东营：中国石油大学（华东），2019.

[8] 李蒋.基于深度学习PyTorch框架下YOLOv3的交通信号灯检测 [J].汽车电器，2022（6）：4-7.

[9] 高明宇，倪海明，张博洋，等.一种基于GoogLeNet卷积神经网络的木节缺陷识别方法 [J].森林工程，2021，37（4）：66-70.

[10] 朱豪，周顺勇，刘学，等.基于深度学习的单阶段目标检测算法综述 [J].工业控制计算机，2023，36（4）：101-103.

[11] 刘宵辰，赵刚，刘卫华.一种嵌入式计算机系统的看门狗设计 [J].山西电子技术，2021（1）：32-33.

作者简介：姜辉（1987—），男，汉族，湖南张家界人，实验师，硕士，研究方向：图像处理、物联网、智能控制；通讯作者：李珊（1986—），女，汉族，河北邯郸人，实验师，硕士，研究方向：模式识别、智能控制。