基于北斗导航的导盲无人机
2020-02-29董云飞钟万福梁子杰柳明远周佳豪
董云飞 钟万福 梁子杰 柳明远 周佳豪
摘 要:出行不便为盲人带来了很大困扰。现有产品的辅助出行效果一般。文章设计的基于北斗导航的导盲无人机。能够保障盲人的出行安全,具有红绿灯状态识别、斑马线识别、位置定位、语音提示避障、盲人交流等功能,使无人机将成为盲人的空中之“眼”。
关键词:导盲;无人机;图像识别;北斗导航系统
中图分类号:V279 文献标志码:A 文章编号:2095-2945(2020)07-0035-03
Abstract: The inconvenience of travel brings a lot of trouble to the blind. The auxiliary travel effect of the existing products is general. A blind guide UAV based on Beidou navigation is designed in this paper. It can ensure the travel safety of the blind, and has the functions of traffic light state recognition, zebra crossing recognition, location location, voice prompt obstacle avoidance, blind communication and so on, so that the UAV will become the"eye" of the blind in the air.
Keywords: blind guide; UAV; image recognition; Beidou navigation system
前言
盲人出行本身具有颇多不便。传统的导盲杖和导盲犬受外界因素影响很大,容易发生意外;新兴的導盲眼镜、导盲机器人会极大的受到环境的约束,不确定因素高,难以满足盲人需求。而配有北斗系统的无人机则可以避免上述问题,给用户带来更舒适的出行体验。本文设计的无人机系统,技术核心是机器视觉指导的自动飞行。通过一系列的智能识别,让盲人更好的“看”到这个世界。
1 创新方案
导盲无人机具备的功能主要有躲避障碍物,选定适合路线,分辨红绿灯状态,城市环境中搜寻斑马线、盲人位置的定位、紧急情况处理、人脸识别盲人好友以及人机交互使用等。
导盲无人机工作时,由盲人语音向无人机发出指令,发出目的地信息,无人机便会为盲人规划出一条最优路径。无人机导航部分主芯片由TM4C123G控制,通过ublox软件配置接收北斗卫星坐标实现定位模块监测周围环境,定位所处位置;在确定盲人位置后,通过摄像头观察周围环境,为盲人提供安全提示。
无人机配有超声波测距模块,模块采集信号传给TM4C123G处理,算出距离后将信息传给终端,转化成语音提醒盲人。
除此之外,无人机搭载的小型摄像头采集周围环境信息,将视觉信息转换为语音提示,辅助盲人出行。摄像头配有的人脸识别功能,使盲人在看到熟人的时候正常交流,极大的改善盲人的社交体验。
2 功能概述
导盲无人机具有导航和自由跟随两种模式。
导航模式:人与无人机语音传输通讯,无人机收到指令进行路径规划,语音播报指导行人前进。前进过程中无人机智能识别环境,对盲人进行指导。
自由跟随模式:盲人若没有告诉无人机目的地,无人机将默认把工作模式设置为自由跟随。该模式中,无人机仍起到保护提醒的功能。
在上述的两种工作模式中,无人机通过机载超声波模块为自己提供避障信息,并通过北斗定位系统将盲人位置信息实时传输给亲属;无人机突然故障,会及时向盲人亲属出求救信息,规避危险。
为满足盲人群体的社交需求,无人机还具备人脸识别功能。摄像头识别信息后语音告知用户。
3 技术概述
无人机机架水平结构设计、中心控制板区域内凹、四角螺旋桨处于同水平面,依据空气动力学,保证飞行器提供稳定的升力。其脚架弧形设计可以最大程度减震。
同时,飞行器将负载超声波模块1个,摄像头模块2个,飞行主控制电路板3个,线材若干。负载总重950g,单个电机提供最大升力700g,四螺旋桨提供的总升力为2.8kg。负重后能提供的最大升力为1.85kg。
图2中无人机尺寸大小为280×280×180mm,对焦轴距为330mm,四轴总重量950g,2m内飞行精度±5mm,30m内飞行精度±20mm,可见平稳性和精度都足以满足用户需求。
飞行器机臂具有一个北斗导航模块BN280,经过测试,模块精度1m~2m,可以满足为导盲无人机位置定位与导航飞行的要求。
导航模式下,无人机从用户获取目的地后,记录当前位置的经纬度,并找到目标位置坐标,规划最优路线。出发后位置信息会实时上传并记录,亲属可通过手机查询。位置信息经数传设备处理通过板载天线发射,与地面基站终端通信。
4 功能实现
4.1 稳定飞行
为了解决飞行器的姿态问题,将会使用两个坐标系系统,一个是固定在地面的地理坐标系,另一个是固定在飞行器上的机体坐标系。电机转动的过程中,由于同类型电机的各项参数难以达到百分之百的相同,难免会使飞行器工作时失衡,受到外界流动空气干扰时,也会产生失衡的现象。假如飞行器飞行时向一方偏倒时,则有相应的电机增加转速,提供更大的升力,来补偿之前的失衡。所以为了在工作时保持飞行器的平稳飞行,我们必须时刻检测其飞行状态,并对电机进行相应的控制,维持其稳定。这种根据被控制对象的状态来更改输入信号的控制方式称之为反馈控制,而为了获取飞行器的状态我们就需要时刻来观测,通过人眼去检测有两点不足,一是不可能时刻看着飞行器,第二就是观测到再控制,可能飞行器已经掉下来的,所以我们采用陀螺仪来获取飞行器的位姿,然后通过常用的PID算法对其实现一个闭环的控制。
通过图3所示PID传递函数方框图,则可以通过目前位姿的反馈控制飞行器各个电机的转速,达到稳定飞行的目的。
4.2 超声波避障
超声波传感器可以发出超声波,超声波碰触到障碍物之后会反射回传感器。所以可以根据简单的速度、时间、位移公式来计算障碍物距离飞行器的位置。板载单片机的定时器从发出超声波开始计时,超声波返回后停止计时,所记录的时间则是波传播所需的时间,根据超声波速和记录的时间则可得到障碍物与飞行器之间的距离。飞行器通过超声波传输回来的位置信息改变飞行轨迹,从而实现超声波避障。
4.3 红绿灯识别
对红绿灯的识别将通过Haar-like 级联分类器定位。为了识别红绿灯的颜色,首先就要在环境之中搜寻红绿灯。基于模式识别的红绿灯检测,要先将红绿灯分类器进行训练,训练好之后,再对环境中的红绿灯进行检测。
(1)通过收集道路上不同的红绿灯图片作为训练的正样本,而其中不含有红绿灯图像的图片,则作为分类器中的负样本。将Haar-like特征从这些图片之中分离出来,根据其特征去设计一个具备最优阈值的弱分类器,通过Ada Boost算法对这个弱分类器进行迭代,增强其分类的强度,最后通过集合在一起的强分类器,达到更高更准确的识别率。
(2)分类器训练好之后,则要对环境中的红绿灯进行检测。将摄像头捕捉到周围环境的画面按帧进行提取,之后将每帧图像进行分块处理,形成子窗口,然后提取其中的Haar-like特征与分类器的结果进行比对,使用分类器中的节点特征进行筛选,相似度低的就被排除在外,最后比对每一帧的结果,识别红绿灯的具体区域。
上述算法可以捕捉到摄像头视野内的红绿灯,之后则要对灯的颜色进行识别。但是,摄像头捕捉的图像受外界光线的影响特别大,在光强或昏暗的环境中,红绿灯的颜色不会准确的表示为红色、绿色的纯正颜色,这样则对颜色识别的准确率带来了极大的挑战。这样RGB色彩模型就难以满足我们准确识别的需求。
基于上述问题,我们又考虑通过颜色的光谱波长进行识别的HSV色彩空间,这样红绿灯的色度H则有非常明显的差别,可以很好的提高识别的准确率。
在HSV色彩模型中,绿色的H值为120°,之后控制可接受的颜色范围,介于黄色在青色之间,可以规范其在空间中的范围是60°-180°。按照此方式也可以规定出红色在模型中的色度范围是0°-60°和300°-360°。而图片中的其他物体颜色可能也会具有所识别空间中的特性,所以为了增加判断的准确性,还需要考虑到红绿灯边框与灯之间的比例,以及红绿灯在环境中所占的比例。
(1)收集一个样本库,里面的每一张图片都有不同环境中的红绿灯,其中红灯亮和绿灯亮的图片各占一半。之后采集到图像中的像素点用M来表示,其中红灯图片的像素点总数用Mr表示,绿灯图片的像素点总数用Mg表示。
(2)像素点统计完毕之后,将图片用HSV色彩模型进行转换,判断其中像素点色度在之前设计的红色范围之中的点数Nred,算出所有红灯图片的总点数;同理,可以得到绿色图片的像素点总数Ngreen。
(3)之后则可以计算出红灯绿灯在图片中占总体环境的比例βred,βgreen:
βred=Nred/Mr
βgreen=Ngreen/Mg 式4-1
在比例计算好之后,就可以根据该比例设置一个范围,规定达到某一裕度范围内的数值可以被识别为红灯或者是绿灯。这样则可以根据像素点的比例来准确识别环境中的红绿灯,大大避免出现误判的可能性。
4.4 对斑马线进行识别
对斑马线的识别与红绿灯的识别有一定的相似性,首先肯定要在环境中提取斑马线的图片,并且对其进行边缘提取,最后通过Hough变换得到斑马线的特征。
我们通过直方图均衡化对每一帧图片进行处理,通过这种方式可以使得图像反差增大,从而更容易被识别;为了图片降噪,我们采取中值滤波的手段;之后通过Canny边缘算子对图片进行边缘检测,这种当时可以达到很高的检测精度,同时也有一定的图片降噪能力;最后为了将斑马线的直线边缘识别,采用Hough变换来提取边缘特征,即可得到想要的特征数据。
按照上述方式在实际环境中很容易受到影响,往往会有汽车转弯遮挡斑马线,或者行人在斑马线上移动时造成影响。我们可以近似認为人穿越斑马线的时候近似与斑马线的线条是垂直,但是当用户走歪了,或者无人机的拍摄角度出现了一些偏差的时候,就会对判断结果产生影响。所以我们设计了一套合理的规则来对提取到的数据进行特征的识别。在根据所提取的特征数据进行斑马线识别时,需要系统设计一套合理的规则利用提取的数据,来准确的判断图片中是否包含斑马线以及斑马线在环境中所处的位置。
5 应用前景
无人机导盲可以为用户提供更大的安全保障。相对于其他行之有效的导盲方式,使用无人机可以大幅降低成本,预估五千元左右就能获得极为舒适的用户体验,性价比很高。与同类型商品相比,无人机智能导盲对信息的处理更全面具体,对路况的把控也更精确,除此之外,亲属可以实时收到位置信息,能使用户出行更独立,减轻家人负担,在真正意义上做到取代传统的导盲方式,成为盲人的“空中之眼”。
此外,基于图像识别的无人机可以依靠自身北斗数据、控制算法、机器视觉,形成自我飞行的能力,在军事应用、公安追捕、灾害搜救等领域的发展前景将不可限量。
参考文献:
[1]高小娟.基于北斗卫星的可靠远程通信系统设计[D].天津:天津大学,2015.
[2]杨佩宗,王利斌,裴焕斗,等.一种高压缩比的图像采集压缩系统设计[J].电子器件,2019,42(1):163-167.
[3]赵超轮,赵国荣,戴邵武,等.基于改进型PID算法的四旋翼控制研究[J/OL].计算机仿真:1-8[2020-02-13].http://kns.cnki.net/kcms/detail/11.3724.TP.20191114.1036.056.html.
[4]靳亚磊,李虹,李昕涛.四旋翼飞行器串级PID控制设计与实现[J].太原科技大学学报,2018,39(3):177-183.