基于时空数据融合技术的人员轨迹预测系统设计

李洪杰 董经纬

DOI：10.19850/j.cnki.2096-4706.2024.02.007

收稿日期：2022-12-06

基金項目：2021年度江苏省重点研发计划（BE2021729）

摘  要：由于人类活动的随机性和主观性，当前预测一个人的未来轨迹仍然是一个具有挑战性的问题。文章针对目标多源历史轨迹数据存储、融合预测等问题，设计一种基于时空数据融合技术的人员轨迹预测系统。结合需求分析提出了系统的基本框架，构建了底层数据库；基于犹豫模糊集实现了多源轨迹数据的融合；基于多尺度轨迹空间LSTM集成预测模型实现了目标轨迹的预测。

关键词：轨迹预测；犹豫模糊集；LSTM

中图分类号：TP311        文献标识码：A      文章编号：2096-4706（2024）02-0027-05

Design of Personnel Trajectory Prediction System Based on Spatio-temporal Data Fusion Technology

LI Hongjie， DONG Jingwei

（Army Engineering University of PLA， Nanjing  210007， China）

Abstract： Due to the randomness and subjectivity of human movement， predicting a person's future trajectory remains a challenging problem. This paper designs a personnel trajectory prediction system based on spatio-temporal data fusion technology to address the storage， fusion， and prediction of target multi-source historical trajectory data. Based on requirement analysis， the basic framework of the system is proposed and the underlying database is constructed; the fusion of multi-source trajectory data is achieved based on hesitant fuzzy sets; the prediction of target trajectory is achieved based on a multi-scale trajectory space LSTM integrated prediction model.

Keywords： trajectory prediction; hesitant fuzzy set; LSTM

0  引  言

在疫情防控、刑事案件侦查、反恐维稳等领域，对人员活动轨迹的预测需求越来越多，如何基于现有目标的历史时空轨迹数据，分析推断该目标的下一步行动计划，对于开展相关工作具有十分重要的意义。当前，在相关研究中主要存在以下两方面的问题：一是对于多源轨迹数据缺乏一种高效的存储与信息融合手段；二是对目标未来轨迹的预测效率不高。鉴于此，本文设计一种基于时空数据融合技术的人员轨迹预测系统。

1  人员轨迹预测系统的基本框架

1.1  人员轨迹预测系统的静态结构

基于时空数据融合技术的人员轨迹预测系统的静态结构如图1所示，该系统分为三个模块：目标轨迹数据库、轨迹数据融合子系统、轨迹预测子系统，各个模块之间是相互关联的，后面一个模块的运行有赖于前一个模块提供相应的数据。

1）目标轨迹数据库。主要用来分类存储和查询各目标的轨迹信息。

2）轨迹数据融合子系统。获取目标犹豫模糊数据集，以时序双向模糊决策为理论依据实现模糊轨迹建模和轨迹数据融合。

3）轨迹预测子系统。通过融合不同的轨迹形成多层次轨迹空间，构成LSTM集成预测模型，实现对目标轨迹的预测。

1.2  系统的动态运作流程

各子系统之间相互协作，实现了对目标轨迹数据的收集、存储、管理、融合、预测等全过程操作。

目标的历史轨迹信息可以通过监控录像、手机定位、消费记录检索等多种方式获得，在对这些数据进行初步的处理后形成统一的数据格式，并根据数据类型和来源进行分类存储。轨迹数据融合子系统从数据库中查询得到当前目标的轨迹点数据集，结合犹豫模糊集理论，得到基于时间序列的目标模糊轨迹，再通过时序双向模糊决策得到可信度不同的目标模糊轨迹数据集，最后由轨迹预测子系统以目标模糊轨迹数据集为基础，形成多尺度模糊轨迹空间，构建LSTM的轨迹训练模型，通过预测算法实现目标轨迹预测。

本系统的工作流程图如图2所示。

2  多源时空轨迹数据库的构建

进行轨迹预测往往需要根据海量的历史数据信息，通过构建专门的时空轨迹数据库来提高数据查询、添加和删除等操作的效率，实现对大量人员轨迹信息的存储和利用，提高系统的工作效率[1]。

2.1  多源轨迹数据的存储格式设计

按照一定的格式对不同来源的数据进行收集、存储和运用，前提是设计出能够存储多源数据的统一格式，以此为基础构建数据库的基本框架，明确轨迹数据存储字段所需的位数大小、基本范围、数据类型以及是否可以为空值等[2]。

2.2  时空轨迹数据库模型

本数据库的概念模型以目标和轨迹点为实体，其中目标包含的属性有姓名、身份证号、多特征属性信息等，身份证号为主键；轨迹点包含的属性有时间、经纬度坐标、目标姓名、目标身份证号，目标身份证号为主键。目标与轨迹点的关系是目标经过轨迹点，且为一对多的关系，如图3所示。

2.3  时空轨迹数据库功能

以MySQL数据库为核心，以Navicat Premium软件为平台，根据设计的数据类型新建表结构并导入数据，而后添加索引查询的要求，实现以下功能。

2.3.1  综合集成不同来源的信息

目标轨迹数据的来源渠道比较多，因此所收集轨迹信息的类型也是多种多样的，但所有的轨迹信息必须以统一的格式存储在数据库中，并按照类别进行划分。

2.3.2  信息检索查询

数据库中存有大量目标的数据信息，但通常我们只需对单个或多个目标进行分析，因此查询检索功能尤为重要。本数据库可以根据不同的实体属性进行查询，也可以通过具体的数据值进行查询，能够满足不同用户群体的需求。

2.3.3  信息输出

可实现将数据库中的数据以Excel文件、文本文件、HTML文件、Word文件等格式导出的功能，增强了数据库的灵活性，便于系统运维人员进行各项操作。

3  轨迹融合子系统

目前，对于目标轨迹的分析与预测往往局限于观察目标的某一种轨迹数据，而忽视了对多源轨迹数据的相互融合，从而很难得出较为详细准确的结论。对于多源轨迹数据的融合面临如下问题：一是随着现代信息技术的发展，获取人员轨迹信息的渠道有很多，难以实现对海量数据信息的去粗取精、去伪存真；二是设备技术条件不足以及存在其他干扰因素，限制了目标轨迹信息的精度。

以犹豫模糊理论为依据的模糊轨迹融合方法可有效解决目标多源轨迹信息融合问题。建立轨迹融合子系统，结合模糊理论定义模糊轨迹点数据集，并通过+项关联修正，使得可信模糊轨迹点数据在计算过程中保存下来，通过偏差度计算得出最终结论[3，4]。

3.1  犹豫模糊集分析

对单一目标进行分析，以目标A0为例，通过监控录像、手机定位、购物信息查询等方式可以得到目标A0在各个轨迹点的时间、位置、多角度多特征属性等方面的信息。由于目标主观和客观上的隐蔽行为，最初获取的数据并非完全是关于目标A0的信息，因而经过数据处理得到的数据是关于模糊目标的模糊数据集合，是目标A0的q个角度p个特征属性信息，定义实际目标多属性数据为X0 = {X0，1，X0，2，K，X0， p}，Ai（i = 1，2，…，n）为模糊目标，从而模糊目标多属性多角度信息集为Xi（i = 0，1，2，…，n）= {{X0，1，X0，2，K，X0， p}，…，{Xn，1，Xn，2，K，Xn， p}}。

3.1.1  犹豫模糊集矩阵

每一个摄像头针对目标的p个属性，从每个属性的q个角度采集信息，获得当前点多角度多属性信息集Xx = {xx，1，xx，2，…，xx， p}，同时计算与模糊目标多角度多属性信息集Xi =（i = 0，1，2，…，n）= {{X0，1，X0，2，K，X0， p}，…，{Xn，1，Xn，2，K，Xn， p}}中各目标的相似程度。xi（i = 1，2，…，p）表示目标的p个属性，根据各属性下q个角度的相似程度可以构造成犹豫模糊集：

其中，hA（x） = {p1，p2，…，pq}，分别为xi（i = 1，2，…，p）属性在q个角度下与目标的相似程度。

同理可得通过摄像头拍摄到的多个角度多个属性信息与模糊目标Ai（i = 1，2，…，n）之间构成的模糊集，最终得到的模糊矩阵如表1所示。

表1  多角度属性信息模糊矩阵

x1 … xp

A0 h0，1 … h0， p

A1 h1，1 … h1， p

… … … …

An Hn，1 … hn， p

3.1.2  得分与偏差度决策

根据犹豫模糊理论，计算犹豫模糊元素hi（i = 1，2，…，n）的得分值s（hi）（i = 1，2，…，n）以及犹豫模糊元素hi（i = 1，2，…，n）的偏差度 （i = 1，2，…，n），以便做出最后决策。

计算得到每个元素的得分值和偏差度，如果出现两个得分相差无几的元素，此时偏差度就会发挥作用。偏差度较大表示意见不一致，偏差度较小表示意见一致性较高，通常选择偏差度较小的元素。

在与实际目标X0的多个特征属性进行匹配时，会对模糊目标Xx = {xx，1，xx，2，…，xx， p}进行多次判断，其中出现的肯定与否定比较分散的结论对决策有重要作用。

3.2  基于时序双向k项关联修正的路径模糊决策建模

3.2.1  k关联项速度分析

首先通过下列算式计算邻近模糊轨迹点的人员运动速度：

假设模糊轨迹点数据有n个，以长度k为一个单位，k为1时表示检查此轨迹点与相邻轨迹的合理性；k为n时表示检查此轨迹与所有轨迹的合理性；k不能過大或过小，过大会导致冗余，过小则会导致准确性较差[5，6]。

根据上面的速度计算式可以获得如表2所示的速度信息矩阵。

错误数据与真实数据没有关联性，因此速度是不稳定的，而真实轨迹点之间的速度差异并不大，通过对真实轨迹的速度范围进行判断可以有效识别出真实轨迹点。

3.2.2  前向判断

尽管得到了速度信息决策矩阵和正常速度范围，但处于速度范围边界上的轨迹点很难仅依据速度来区分真假，而且即使速度在中心范围的轨迹点也同样无法保证其真实性。为了保证大部分的真实轨迹点都能够保存下来，速度范围会适当扩大，这将导致假的轨迹点被判断为真，而对于真实的轨迹点则无法通过相邻的点来判断其可信性。因此需要进行k关联项的前向判断，依据为：k关联项中可信点信度可达的点均为可信点。

通过k关联项判断出可信的轨迹点，对不可信的数据进行删除，筛选得到初步判断为真的轨迹点集合。

3.2.3  后向时序检验修正

前向判断的前提是当前点是可信的，而进行模糊判断时，判断的作用是相互的。在进行时序判断时，若判断结果为假，则不按时序进行判断，而是通过k关联项进行判断，信度高的对信度低的进行否定。通过此方式对速度信息矩阵进行前向判断和逆序修正得到最终的信度矩阵，如表3所示。

其中，lv表示综合信度，n′表示判断为真的轨迹点个数。最后计算得分和偏差度，依次挑选最佳值，得分最高或得分与最高项近似，满足各属性下得分大于置信阈值的要求，且偏差度较大。

采用上述模糊决策方法实现目标轨迹数据的融合，得到最终的模糊轨迹数据集。

3.3  轨迹融合子系统的框架设计

轨迹融合子系统的工作流程如图4所示。

假设获取目标A的模糊轨迹信息有如下几条：

{（t1，（x1，y1）），（t2，（x2，y2）），…}

结合犹豫模糊理论得到目标A的模糊轨迹点信息集，而后通过时序的排列得到模糊轨迹[（rt1，（rt1，rt1））， （rt2，（rt2，rt2）），…]，再根据其中的可信点对每个轨迹点进行k项关联前向判断和后向修正得到最终的模糊轨迹集合{[（rt1，（rt1，rt1））， （rt2，（rt2，rt2）），…]，[（rt1，（rt1，rt1））， （rt3，

（rt3，rt3）），…]， [（rt2，（rt2，rt2））， （rt5，（rt5，rt5）），…]，…}。

4  轨迹预测子系统

随着视频监控、卫星定位、移动通信网络等技术的广泛应用，人们可以通过多种方式来获取目标的实时位置信息，通过对各类信息的分析判断可以进行简单的行为预测。当前轨迹预测技术的实现，大多是对目标的历史行为规律进行学习并构建相应的模型。但由于人的行为具有一定的随机性，且容易受到当时所处环境的影响，仅仅依靠历史经验来预测目标的未来轨迹是不全面的，也是不准确的。

本子系统以一种多尺度轨迹空间LSTM集成预测模型为核心，通过融合不同相似程度的模糊轨迹来构建不同模糊尺度下的轨迹空间。通过对轨迹的模糊融合，弱化轨迹中间过程的细节，生成目的一致、意图一致的多尺度模糊轨迹，此方法能够使轨迹信息更具有连续性。最后通过训练不同尺度空间的LSTM模型，将模型输出集成，形成最后的预测位置。

4.1  预测模型

以DTW距离为方法，计算各轨迹的相似度并进行排序，将当前轨迹和相似轨迹进行融合，再将融合后的轨迹与另一条轨迹融合，构建多层次模糊轨迹空间，在此基础之上构建LSTM集成学习模块。

4.2  多尺度轨迹模糊空间

以A = {a1，a2，an}、B = {b1，b2，bm}两条轨迹为例，两条轨迹长度分别为n和m，首先通过采样点间的欧氏距离创建距离矩阵Dn*m，其中Di， j表示轨迹A中第i个点Ai与轨迹B中第j个点Bj之间的欧氏距离：

DTW采用动态规划得到最佳的轨迹矩阵Ci， j。定义如下：

其中，Ci， j表示主轨迹相对于相似轨迹的重要程度。以相似的轨迹作为模糊数据，构建多层次轨迹空间[7，8]。

4.3  基于LSTM的坐标估计

经过不同的轨迹融合变换得到目标轨迹数据集，以及不同层次空间下的数据集TD = {T1，T2，T3，…，Tt，…，Tn-1，Tn}，表示为TD1，TD2，…，TDm，代表着各层次下人员行为的具体表现和属性特征。其中一条轨迹表示为T = {tr1，tr2，…，trp-1，trp}，而每一个轨迹点由经纬度和时间组成，表示为trt（xt，yt）。输入为每条轨迹的前n-2个序列坐标，输出为第n个时刻的坐标[9，10]。

基于LSTM的预测模型如图5所示，其相关计算式如下：

遗忘函数：

输入函数：

候选信息：

新状态：

输出门：

隐层状态：

多层次轨迹LSTM预测方法对相同时间各个轨迹点模糊信息分别进行算法计算，并选择最终位置进行训练。通过此方式可使不同轨迹模糊数据的LSTM算法模型比较稳定，计算结果更加准确，并得到所有轨迹数据的训练模型，最后通过权值比重进行计算。

4.4  子系统功能实现

通过轨迹融合子系统获得目标模糊轨迹集，构建多轨迹LSTM算法训练模型，结合最优权值预测最终轨迹，其过程如图6所示。

5  结  论

本文设计一种基于时空数据融合技术的人员轨迹预测系统，提出了该系统基本框架、数据库的构建方法，同时基于犹豫模糊集设计了多源轨迹数据融合子系统，基于多尺度轨迹空间LSTM集成预测模型设计了目标轨迹的预测子系统。在后续的研究中，将致力于提高各子系统之间的协同作业能力，提升系统的自动化水平。

参考文献：

[1] 李俊山，叶霞.数据库原理与应用（SQL Server）：第4版 [M].北京：清华大学出版社，2020.

[2] 罗俊海，王章静.多源数据融合和传感器管理 [M].北京：清华大学出版社，2015.

[3] ZHU B，XU Z H. Some results for dual hesitant fuzzy sets [J].Journal of Intelligent & Fuzzy Systems，2014，26（4）：1657-1668.

[4] XU Z S，XIA M M. Distance and similarity measures for hesitant fuzzy sets [J].Information Sciences，2011（11）：181.

[5] XIA M M，XU Z S. Hesitant fuzzy information aggregation in decision making [J].International Journal of Approximate Reasoning，2010，52（3）：395-407.

[6] PARK J H，PARK Y K，SON M J. Hesitant Probabilistic Fuzzy Information Aggregation Using Einstein Operations [J].Information，2018，9（9）：226.

[7] 陳洪波，王璨，徐斌，等.基于LSTM网络的短期负荷预测 [J].电工技术，2019（9）：27-29.

[8] 张彦彬，苏杨，许亚春，等.基于LSTM神经网络模型对大宗矿产资源放行风险预测研究 [J].中国口岸科学技术，2020（6）：10-22.

[9] 李莉，杜丽霞，张子柯.基于多变量LSTM神经网络的澳大利亚大火预测研究 [J].电子科技大学学报，2021，50（2）：311-316.

[10] 明震，朱希安.基于LSTM网络的凝结水泵故障预警 [J].北京信息科技大学学报：自然科学版，2021，36（6）：53-57.

作者简介：李洪杰（1999.05—），女，汉族，河南新乡人，本科在读，研究方向：指挥信息系统工程。