基于航模辅助观测的车辆轨迹提取方法

王 昊，郑云壮，段淞耀，董长印，刘善文

基于航模辅助观测的车辆轨迹提取方法

王 昊1，2，郑云壮1，段淞耀1，董长印1，刘善文1

（1.东南大学城市智能交通江苏省重点实验室，210096南京；2.现代城市交通技术江苏高校协同创新中心，210096南京）

为了克服交通流定点视频观测方法在观测范围上的局限性，提出了一种基于飞行航模辅助视频观测的地面道路车辆轨迹提取方法.首先应用飞行航模在空中拍摄获得道路交通流视频，并将视频分解为连续逐帧图片；其次应用针孔成像模型和空间坐标转换算法，对逐帧航拍图片内的车辆坐标进行提取和转换，以获得车辆的运行时空轨迹数据；最后进行了该方法的3类误差分析.结果表明，该方法在标准棋盘格试验下提取坐标的相对误差小于5%，实际道路交通目标坐标提取的精度达到90%以上.航模辅助视频观测法可实现对交通目标的大范围低成本观测，能够满足交通工程的观测需求.

交通观测；车辆轨迹；模型飞机；图像处理；误差分析

近年来，视频拍摄逐渐成为交通流信息采集的一种有效方法，而对于交通数据高质量的追求，使得传统的固定摄像头拍摄已不能满足研究需求，部分学者开始将目光转向航空拍摄.一些研究者尝试将摄像头装在直升机或热气球上［1］，尽管获取的视频质量较高，但高昂的观测成本限制了该方法的应用与推广.此外，目前的视频轨迹自动提取技术仅适用于对固定摄像头拍摄的视频进行分析，难以获取更长的车辆轨迹.Hoogendoorn提出了一种人工提取视频轨迹的方法，然而其需要大量的图片特征控制点和道路表面控制点来求解车辆坐标［2］，使得获取目标车辆轨迹的工作繁琐而低效.Knoop提出了一种利用图像拼接技术整体获取车辆轨迹的方法［3］，遗憾的是该方法不能追踪换道车辆的轨迹.与此同时，国内学者也在该领域的研究取得的一些有价值的成果［4-6］，但依然缺少系统的、便捷的车辆轨迹观测技术.本文在集成无线电遥控固定翼模型飞机和图像处理技术的基础上，提出了一个新的车辆轨迹观测与提取方法.

1 航模辅助观测方法

该模型飞机配备飞行控制系统、高清摄像头、无线视频传输系统，如图1所示.模型飞机通过无线传输系统与地面站之间进行通信传输，飞行指令可以从地面站传送到飞机，同时飞机的飞行状况也可实时传输给地面站［7-8］.

航模起飞之后在GPS的引导及飞控模块的控制下，自主飞行至目标交通观测区域.地面站系统通过无线图传模块及航模云台上的摄像机实时监控航模的飞行状态.飞抵目标区域后，航模搭载的摄像机实时拍摄目标区域交通状况.拍摄的视频通过无线图传模块实时传给地面站并将高清视频存储于机载存储设备，如图2所示.观测任务完成后航模将在飞行控制系统的指引下自动返航.通过对航拍所获的视频或图片信息的提取，工作人员可对其进行后期分析处理，获取车辆轨迹数据.

图1 模型飞机和无线视频传输系统

图2 模型飞机实时拍摄的地面交通图像

2 辆轨迹提取方法

2.1 基本模型

本文在开发相应的坐标轨迹提取软件过程中，为实现像素坐标系向实际道路坐标系的投影转换，并最终实现交通目标的坐标提取功能，采用了针孔相机模型、镜头畸变模型以及坐标空间变换3组模型.其中针孔相机模型实现了像素坐标系向相机坐标系（过渡坐标系）的投影过程，镜头畸变模型校正了投影过程中产生的畸变，提高了整个坐标转换过程的计算精度，坐标空间变换模型实现了相机坐标系向实际坐标系的投影过程.分别对上述3组模型进行介绍.

2.1.1 针孔摄像机模型

如图3所示，物体上任一点Q（X，Y，Z）沿光线穿过针孔投射到相片平面上q′（-x，-y，-F），针孔到相片平面的距离为焦距F，由相似三角形的性质，可以得到点Q与其像点q′的坐标关系为

图3 针孔模型图

以针孔为中心作相片平面的中心对称平面，则得到像点q′成中心对称的新像点q（x，y，F），并得到与式（1）等价的式（2）．

设像点q在相机坐标系下的像素坐标为（xs，ys），则根据式（2）可得点Q在相机坐标系上的象素坐标与其空间坐标之间的关系为

设光轴与相片平面的交点为主点，考虑到摄像机的安装精度，主点可能不在相片的中心，因而引入cx，cy对主点偏移进行修正；此外，考虑到单个像素点在一般成像芯片上是矩形而非正方形，引入fx和fy分别计算两个正交分量方向上的象素坐标．

2.1.2 镜头畸变模型

在实际生产过程中，由于制造精度等原因，摄像机镜头无法保证完全精确.因此，必须对镜头进行畸变校正.本文在文献［9-10］的基础上对模型进行了改进，具体改进如下.

径向变形修正.实际摄像机的透镜总是在成像芯片的边缘产生显著的畸变.这个现象来源于筒形和鱼眼影响.对某些透镜，光线在远离透镜中心的地方比靠近中心的地方更加弯曲.对常用的普通透镜来说，这种现象更为严重.成像芯片中心的畸变为0，随着向边缘移动，畸变也随着变大，实际情况中用r=0处的泰勒级数展开的前几项来定量描述，通常使用前两项，畸变系数设为k1和k2，对畸变很大的摄像机，可以使用第3项，设其系数为k3，这样就可以按下式校正径向畸变．

其中:r为光线远离透镜中心的距离；（x，y）是畸变点在成像芯片上的原始位置，（xcorrected，ycorrected）是校正后的新位置．

切向畸变修正．切向畸变是由于透镜制造上的缺陷使得透镜本身与相片平面不平行而产生的．切向畸变可以用p1和p1两个参数来校正，如下所示．

2.1.3 空间坐标变换和校准

首先，应用空间变换模型确定成像芯片上的像素坐标和实际坐标之间的变换关系；然后，采用张正友算法实现模型参数校准［11］，模型为

若O′坐标系是O坐标系以右手螺旋的方式绕X轴旋转α而得到的新的坐标系，则点A在两坐标系上的坐标的关系为等式（6）．若O′坐标系是O坐标系以右手螺旋的方式绕Y轴旋转β而得到的新的坐标系，则点A在两坐标系上的坐标的关系为

若O′坐标系是O坐标系以右手螺旋的方式绕Z轴旋转而得到的新的坐标系，则点A在两坐标系上的坐标的关系为

若O′坐标系是O坐标系平移向量T（tx，ty，tz）（T是在原始O坐标系上的向量）得到的新的坐标系，则点A在两坐标系上的坐标的关系为

设实际坐标系Or，摄像机坐标系Oc，成像芯片像素坐标系Os，点P在Or上的坐标为Pr（xr，yr，zr），在Oc上的坐标为Pc（xc，yc，zc），其像点P′在Os上的坐标为Pd（xd，yd）．P′经校正后在Os上的坐标为Ps（xs，ys），设向量OcOr在Oc坐标系上为Τ，且Or依次经过绕X、Y、Z轴旋转后，得到的O3r的坐标轴与Oc对应的坐标轴的方向一致，有

令

则

对于本文涉及的道路车辆轨迹观测问题，局部道路路段可视为理想的地势平坦区域，忽略高程影响，取zr=0，则

由式（3）可得

由式（4）、（5）可得

则

这样便建立了道路上的目标观测点在道路坐标系上的坐标与其像点在成像芯片像素坐标系上的像素坐标之间的关系.应用张正友算法，通过对已知坐标的参考点进行摄像观测，即可标定出上述模型中的参数.

2.2 数据处理

选择一定时间段内航拍视频文件，逐帧提取航拍视频图片，并从航拍图片中手动提取目标点.首先通过放大导入的图像使得获取的坐标更加精确；其次在图像上设置标准的道路坐标；最后通过点击目标点以获取坐标，如图4所示.

图4 软件操作过程

根据获取的目标车辆的坐标，即可绘制车辆的实际运行轨迹，如图5所示.图中x坐标轴为沿车辆前进方向建立的，与道路标线平行；y坐标轴是垂直于道路方向建立的，原点位于道路中线处，因此该运动轨迹线描述了车辆在道路范围内的实际行驶情况.

图5 车辆轨迹

3 误差分析

3.1 误差来源

由于本文采集轨迹的方法是基于连续点坐标提取实现的，因此对于轨迹观测的误差本文主要从轨迹内部点坐标的观测误差进行评价.本文提出的轨迹提取方法的误差包括3个方面，分别来源于道路建系误差、算法误差以及操作带来的误差.

道路建系误差源自两个因素.首先，本文采用的航模辅助拍摄方法无法直接获得地面高程，因而该观测方法适宜选择地势平坦的地区，并假设航拍范围为等高区域，这一假设将会对轨迹坐标提取带来一定的误差.其次，在建立道路直角坐标系的过程中，本文以路面标志标线的特征点为坐标系的基本坐标参照点，并分别以顺延于行车道分隔标线方向与垂直行车道分隔线方向建立X轴和Y轴，然而，由于道路实际施工过程中，标志标线并非严格按照规范标准施工，这也会导致最终的结果产生误差.

算法误差是由于本文在相机参数标定过程中采用了张正友算法获得相机的内参和畸变系数［12］.这个算法本身存在一定误差，对结果也会有一定影响.

操作误差是由于在点取道路图片上的标志标线与车辆目标时，操作人员往往无法精确点取目标，因而会产生操作误差.

3.2 实验数据分析

为检验本文轨迹提取方法的误差，分别采用标准棋盘格与实际道路进行误差分析.其中，标准棋盘格实验中无建系误差，仅存在算法误差与操作误差，而实际道路的误差分析包括上述3类误差.

3.2.1 标准棋盘格误差分析

标准棋盘格是一个由大小相同的黑白方块构成的平面棋盘，每个方格的边长为2.5 cm.以棋盘格上A点为原点，分别以棋盘格边线建立X轴和Y轴，即可确定棋盘格上每个点在该坐标系中的理论坐标．接下来，随机取4个点的理论坐标对模型进行参数标定，如图6棋盘格照片中点A（0，0）、B（3，0）、C（0，3）、D（6，8）．完成参数标定后，在计算机中通过鼠标点击棋盘格照片上任一点（如E点），并通过坐标转换模型获得计算坐标.

图6 棋盘格照片

本文进行了42组棋盘格试验，在42组试验数据中，数据分析见图7，X坐标最大相对误差为4.25%，Y坐标最大相对误差为3.96%，X和Y的相对误差值的标准差分别为0.01与0.02，离散程度较小，相对误差较为稳定．3.2.2 实际道路坐标分析

图7 棋盘格试验误差图

本文对东南大学九龙湖校区内由西门至东门的200 m路段进行实际道路坐标误差分析，该路段为双向4车道道路，地势平坦，交通条件良好，标志标线清晰.航模飞行高度为100 m，速度为60 km／h，风力4级，风向为东北方向.如图8所示，选取道路起始端两条行车道分隔线4个外侧端点A（0，0）、B（3.86，0）、C（0，6.58）、D（3.72，6.57）建立坐标系，单位为m.以该坐标系下的计算坐标值与道路实际坐标值进行比较，如以E（13.56，0）与E′（13.20，-0.04）比较.其中，道路实际坐标为实地测量所得.测量工具为30 m卷尺，精度为0.01 m.

图8 实际道路观测实验路段示意

本文一共进行了72组试验，结果如图9所示.在72组试验数据中，X坐标最大相对误差为5.83%，Y坐标最大相对误差为9.88%.考虑了系统误差与操作误差下的72组试验结果表明，软件的准确率都在90%以上，可以满足交通工程的实际应用.

图9 道路标线观测误差

4 结 论

1）在对无线电遥控固定翼模型飞机和图像处理软件集成的基础上，构建了一个新的车辆轨迹观测系统.该系统采用小型飞机航模取代传统的直升机、热气球等航拍载体，因而可将系统成本控制在人民币万元以内.同时，小型飞机航模采用锂电池提供动力，环保经济.与现有航空交通观测法相比，该观测系统操作简便，成本低廉，可以大范围长距离观测目标车辆并提取轨迹信息.

2）实际道路误差分析表明，实验路段最大相对偏差小于10%，系统可靠，能够满足交通工程领域研究需求，具有广阔的应用前景.

［1］张淑芹.航空摄影测量在公路交通调查中的应用［J］.中南公路工程，1999，24（2）:62-64.

［2］HOOGENDOORNSP，VANZUYLENHJ，SCHREUDERM，etal.Microscopictrafficdata collectionbyremotesensing［J］.Transportation Research Record，2003，1855:121-128.

［3］KNOOP V L，HOOGENDOORN S P，VAN ZUYLEN H J.Processing traffic data collected by remote sensing［J］.Transportation Research Record，2009，2129:55-61.

［4］郭旦怀，崔伟宏.面向实时交通信息提取的车辆轨迹数据挖掘［J］.武汉理工大学学报:交通科学与工程版，2010，34（1）:6-9.

［5］李明之，马志强，单勇，等.基于轨迹分析的交通目标异常行为识别［J］.电视技术，2012，36（1）:106-112.

［6］黄卫，陈里德.智能运输系统（ITS）概述［M］.北京:人民交通出版社，2001.

［7］DUCARD G J J.Practical methods for small unmanned aerial vehicles［M］.Berlin:Springer-Verlag，2010.

［8］李仁达.模型飞机的构造原理与制作工艺［M］.北京:航空工业出版社，2008.

［9］刘佳音，王忠立，贾云得.一种双目立体视觉系统的误差分析方法［J］.光学技术，2003，29（3）:354-357.

［10］BRADSKI G，KAEHLER A.Learning OpenCV［M］. Sebastopol:O’Reilly Media，2008.

［11］ZHANG Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）:1330-1334.

（编辑 魏希柱）

Vehicle trajectory extraction based on traffic videotaping from model aircraft

WANG Hao1，2，ZHENG Yunzhuang1，DUAN Songyao1，DONG Changyin1，LIU Shanwen1
（1.Jiangsu Key Laboratory of Urban ITS，Southeast University，210096 Nanjing，China；2.Jiangsu Province Collaborative Innovation Center of Modern Urban Traffic Technologies，210096 Nanjing，China）

To overcome the scope limitation of video observation from fixed platforms，a new method of detecting vehicular trajectory from the traffic flow video provided by model aircraft is proposed.First，model aircraft shoots the traffic flow in the air to get the video which is consequently extracted into continuous frames. Second，by using the pinhole camera model and the algorithm of space coordinate transformation，the coordinates of vehicles from the continuous frames are obtained to form the spatial temporal trajectory of vehicles.Finally，three kinds of bias of the proposed method are analyzed.The results show that the relative bias in the standard checkerboard testing is less than 5%，and the accuracy of the data collected by the system under the real road is greater than 90%.The proposed approach provides a large scope and low-cost way for traffic observation，which can meet the demand of survey in transportation engineering.

traffic observation；vehicular trajectory；model aircraft；image processing；bias analysis

U491.1

A

0367-6234（2014）06-0105-06

2013-07-16.

国家自然科学基金资助项目（51008074）.

王 昊（1980—），男，副教授，博士生导师.

王 昊，haowang＠seu.edu.cn.