信道状态信息无线感知数据获取及应用综述

王 腾,毕京学,陈国良,孙 猛,赵美琦,曹景春,蔚保国,黄 璐

(1.中国矿业大学环境与测绘学院,徐州,江苏 221116;2.山东建筑大学测绘地理信息学院,济南 250101;3. 中国电子科技集团公司第五十四研究所,卫星导航系统与装备技术国家重点实验室,石家庄 050081)

0 引言

随着无线通信技术及物联网的迅猛发展,非接触式无线信号感知取得较多研究成果,在智能家居交互[1]、智慧工厂生产[2]及健康医疗辅助[3]等方面有着重大应用价值,人们对无线信号感知的需求也在日益增强。相较于传统接触式传感器,无线信号感知无需人员接触设备,仅依靠分析空间环境中传播的无线信号即可实现高效、经济及全天候的非接触式感知。与同样非接触式感知的计算机视觉[4-5]相比,无线信号具有穿透感知能力强、对环境光线要求低、室内无缝覆盖成本低以及不直接涉及隐私等优势,并拥有感知设备不易被察觉的特点。

现有无线信号感知研究中所用的信号类型包括调频连续波(frequency modulated continuous wave,FMCW)雷达[6-7]、超宽带(ultra wide band,UWB)雷达[8-9]、射频识别(radio frequency identification,RFID)[10-11]、低功耗蓝牙(bluetooth low energy,BLE)[12-13]和无线保真(wireless fidelity,WiFi)[14-15]等。FMCW雷达与UWB雷达虽然感知精度高,但普适性弱且设备功耗与建设成本高;RFID与BLE设备功耗与建设成本低,但感知精度一般且信号覆盖范围小。同时上述4种信号都需要专有信号发射设备。由于人们对网络连接的巨大需求,方便易用的WiFi信号广泛分布于家庭和公共环境中,基于WiFi的无线感知凭借功耗适中、成本低廉以及室内广泛覆盖等优势成为无线信号感知研究的热点。

基于WiFi信号的无线感知主要可分为两类:接收信号强度指示(received signal strength indication,RSSI)和信道状态信息(channel state information,CSI)。在某一时刻,RSSI只能提供媒体访问控制(media access control,MAC)层粗粒度的单个数值,感知能力较差;而CSI可以提供物理层细粒度的一组数值,包含振幅和相位两类信息,感知的稳定性和灵敏性均优于RSSI。

在移动通信4G/5G以及BLE中也同时存在RSSI与CSI,但目前没有合适的工具可以自商用设备采集其中的CSI,只能通过软件定义无线电(software define radio,SDR)设备上的SrSLTE等工具实现以研究为目的的数据获取[16]。同时由于可用的优质数据集较少,致使CSI数据主要依靠研究者自主采集获取,本文侧重于介绍自WiFi信号中获取CSI数据的各种设备/工具及相关研究应用,因此后文所述CSI均为WiFi信号中的CSI。

WiFi信号中一直存在CSI,但受技术及设备的制约,以往需要专用的SDR设备才能从中获取,致使相关研究进展缓慢。2011年,Halperin团队通过修改Intel 5300网卡驱动开发出Linux 802.11n CSI Tool[17],使得首次能够使用商用WiFi网卡采集CSI数据,大大降低了研究门槛。随后多年内另有科研人员研发了多种适配不同网卡的数据采集工具。然而经统计得知,截至目前已发表的CSI无线感知研究论文中有近95%仍然使用早期研发的Linux 802.11n CSI Tool,究其原因很可能与研究人员对CSI数据采集设备/工具发展现状的认识不清晰有关。尽管Intel 5300网卡便宜易得、固件安装教程详细,但该工具最大仅支持802.11n标准、40 MHz带宽、30个子载波下的CSI采集,而基于WiFi6E网卡的CSI数据采集工具可支持更新标准(802.11ax)、更大带宽(160 MHz)以及更多子载波(2 048)的数据采集。更大的带宽和子载波意味着具有更强的感知能力,为了充分发挥CSI研究的潜力,研究人员应多关注使用能够采集更高维度CSI数据的设备/工具。

近几年,在CSI研究领域已有众多综述类论文[18-23],在数据处理、算法以及应用等方面进行详细综述,但对CSI数据采集设备/工具及相关开源数据集方面的统计分析内容较浅,未能全面统计当前现有的CSI数据采集设备/工具及相关开源数据集。

1 基于WiFi CSI的无线感知

1.1 IEEE 802.11标准

802.11不同的后缀代表着不同的无线局域网标准,自1997年电气与电子工程师协会(Institute of Electrical and Electronics Engineers,IEEE)首次提出802.11以来,已有超过40种协议被正式采纳。常单独提及的WiFi1～WiFi7对应着不同时期对802.11标准有巨大推动作用的几种协议,WiFi1～WiFi7的部分信息如表1所示。补码键控(complementary code keying,CCK)技术与直接序列扩频(direct sequence spread spectrum,DSSS)技术使用单载波进行低数据速率传输,而正交频分复用(orthogonal frequency division multiplexing,OFDM)技术使用多载波进行高数据速率传输,正交幅度调制(quadrature amplitude modulation,QAM)技术是相位调制和幅度调制的组合,可明显提升数据传输速率。多输入多输出(multiple input multiple output,MI-MO)技术支持发送和接收端使用多个天线,用以提高信号传输的速率和可靠性。

表1 不同WiFi标准的部分功能对比

1.2 CSI无线感知

CSI是采用OFDM和MIMO技术的无线通信系统中用于描述信道状态的信息,由幅值和相位组成。CSI接收到的信号来自于多个传输路径的叠加,描述了信号传输过程中的反射、散射、衰落等状态,即具有记录周围环境细节的能力,感知能力强于RSSI。

在t时刻,采集到的α个发送端天线、β个接收端天线和γ个子载波的CSI数据格式如图1所示。

图1 CSI数据格式

某时刻单一天线对的接收信号可以表示为

Y=HX+N

(1)

式中,Y和X表示接收信号和发射信号;H表示CSI矩阵;N表示高斯白噪声。H包含了所有子载波的CSI信息,因此H可表示为

H=(H(f1),…,H(fk),…,H(fS))

(2)

式中,H(f)表示单个子载波的CSI值;fk表示子载波k的中心频率;S表示全部子载波的个数。单个子载波的CSI值是一个复数值,可表示为

(3)

使用CSI进行感知的基础是CSI的幅值特征和相位特征会受环境影响产生相应变化。CSI幅值变化可以反映设备周围环境的变化,当环境中仅有静态物体时,幅值保持相对稳定,而当环境中有动态物体移动时,幅值变化明显,且幅值变化幅度与物体动作幅度成正比;物体运动在引起幅值变化的同时,也会导致信号到达接收端时产生相位偏移,因而相位也具有感知环境的能力。如图2所示,Tx表示信号发送端,Rx表示信号接收端,当人员自视距(line of sight,LOS)奔跑到非视距(non line of sight,NLOS)时,幅值与相位会发生对应波动变化。基于此,通过分析CSI数据可以反向推测出环境的具体活动变化,即CSI具有无线感知能力,且在一定限度内,CSI的数据维度与发射频率越高,对周围环境的细微变化越敏感,感知能力越强。

图2 CSI幅值与相位随运动变化

1.3 与其他无线信号感知的对比

不同的目标、动作会对无线信号产生不同程度的影响,而相同的目标、动作会产生相似的影响。正如引言部分所述,无线信号感知按使用的信号类型可分为FMCW雷达、UWB雷达、RFID、BLE及CSI等,众多信号在具有穿透感知能力强、对环境光线要求低、不直接涉及隐私等相同点的同时,在感知原理、信号特性及应用场景方面存在着较大差异。

1.3.1 感知原理

按照信号传播方式、收发设备位置可将无线信号感知的工作原理分为图3所示3种。FMCW雷达首先由Tx发射连续调频毫米波信号,通过分析Rx接收的回波信号来获取目标信息,对应图3(a);UWB雷达既可通过分析回波信号获取目标信息,也可由Tx向Rx发射单向信号进行感知,对应图3(a)、(c);RFID无线感知需要电子标签(Tag)中转,Tag在收到Tx发射的激励信号后,通过调制回应信号的方式将数据传输回Rx,分析包含众多信息的回应信号实现感知,对应图3(b);BLE与CSI无线感知的工作原理相似,均是由Tx向Rx发射单向信号,对应图3(c),但CSI无线感知通过分析信道状态矩阵获取信号传输过程中的状态信息,细粒度感知能力更强。

(a) 雷达回波感知

1.3.2 信号特性

不同无线信号的特性及优缺点各有差异,表2列出5种无线信号的7类信号特性进行对比。其中,FMCW雷达工作频段为部分毫米波频段(如24 GHz、77 GHz等),RFID常用的工作频段有低频(如125 kHz)、高频(如13.56 MHz)、超高频(如433 MHz)、微波(如2.45 GHz)。FMCW雷达与UWB雷达工作频段高、信号传播距离远、穿透性强且感知能力强,但也伴随着设备功耗高、建设成本高的劣势,适用于室内外场景高精度感知;RFID工作频段低、信号传播距离近、穿透性差,但设备功耗及建设成本低,适用于近距离无线感知;BLE、CSI的信号传播距离、穿透性、设备功耗适中,建设成本低,适用于室内环境中近距离无线感知。同时,BLE与CSI无线感知的信号发射设备还具备通感一体化,设备用途广于其他3种信号。

表2 不同无线信号特性

1.3.3 应用场景

FMCW雷达、UWB雷达凭借信号传播距离远、穿透力强且感知能力强的特性,被广泛应用于室内外场景高精度感知,其中FMCW雷达主要用于车辆驾驶、工业自动化等场景,UWB雷达主要用于室内定位、物流仓储等场景。由于RFID信号传播距离近、设备功耗及建设成本低的特性,多用于物品追踪、门禁安保等近距离无线感知场景。BLE、CSI信号传播距离、穿透性及设备功耗适中且信号发射设备具有通感一体化特性,BLE主要用于智能家居管理、室内定位等场景,CSI主要用于室内定位、活动识别等室内多类型感知场景。

2 CSI数据采集设备/工具

自Halperin团队研发使用商用WiFi网卡采集CSI数据的Linux 802.11n CSI Tool以来,科研人员根据需求先后研发出多种数据采集工具,表3列举了目前开源的9种CSI数据采集设备/工具,其中由于Wi-ESP CSI Tool与ESP32 CSI Toolkit的参数性能高度相似,AX-CSI依托Nexmon CSI Extractor的开发经验设计而得,因此在后文中并未将Wi-ESP CSI Tool和AX-CSI单独展开描述,而是合并到ESP32 CSI Toolkit和Nexmon CSI Extractor中。理论上采集到的CSI维度越大则记录的细节越多,对应的感知能力越强。但为应对无线信道的特性及保证数据传输的可靠性,OFDM中存在物理限制与间隔保护,导致在各带宽下实际采集到的最大可用CSI维度要小于理论维度。表中是否能够独立工作是指在无需额外硬件设备托管网卡/SDR设备的情况下可自主采集CSI数据。

表3 CSI数据采集设备/工具

表3中所列的CSI数据采集设备/工具均至少具有AP、Monitor两种采集模式,前者仅需一台装有指定网卡的设备向WiFi信号发射设备(路由器、智能手机等)发送指定命令即可获取CSI数据,后者需要2台以上设备分别作为信号发送端与接收端采集数据。Monitor模式相比于AP模式灵活性强,可根据需求自主设置参数。

研究人员可依托表3中支持设备/网卡、CSI数据维度、带宽、频段以及能否独立工作等信息快速确定研究所需的CSI数据采集设备/工具。例如,若想在不需额外设备情况下独立采集数据,可以考虑Nexmon CSI Extractor、ESP32 CSI Toolkit、Wi-ESP CSI Tool、OpenWiFi工具;若想使用智能手机进行研究,可以考虑Nexmon CSI Toolkit、ESP32 CSI Toolkit及Wi-ESP CSI Tool工具。

2.1 SDR设备

SDR是一种利用软件和硬件协同工作的无线通信系统,通过可编程的数字信号处理技术,在接收、处理和发送无线信号时具有较强的灵活性、可扩展性和适应性。SDR设备种类众多,但只有同时满足具有MIMO支持、CSI采集硬件和CSI信号处理算法的设备才可采集CSI数据,例如,通用软件无线电外设(universal software radio peripheral,USRP),无线开放研究平台(wireless open-access research platform,WARP)。

尽管SDR设备能够接收和发送射频信号,但是对于这些信号的处理,如解调、编码、对CSI进行估计等,需要GNU Radio、MATLAB Simulink等专用的软件来完成。这些软件框架提供了许多预定义的工具和函数,如滤波、解调、信道估计等,用来从原始射频信号中提取CSI。

商用WiFi网卡主要目的是简易通信,在出厂时往往不会严格校准,因此在CSI测量时会带来载波频率偏移(carrier frequency offset,CFO)进而引起CSI相位随机变化,同时硬件噪声也会影响到幅值的获取。SDR设备在硬件质量、射频前端配置、数据传输接口和软件支持方面明显优于装有商用WiFi网卡进行CSI采集的设备,具有较少的噪声和更好的信噪比,可采集到更高质量的信号。但SDR设备成本远高于商用WiFi网卡,同时,推广部署成本高,使用场景通常仅限于实验室研究。

2.2 Linux 802.11n CSI Tool

美国华盛顿大学Daniel Halperin团队于2011年开发出第一个自商用网卡采集CSI的系统Linux 802.11n CSI Tool[17],该系统可以从802.11n标准的Intel 5300网卡中采集到包含30个子载波的加密dat文件,通过提供的MATLAB、Python数据处理代码可从中提取RSSI、CSI、时间戳等信息,大大降低了CSI研究的门槛。

Linux 802.11n CSI Tool仅可安装在装有Intel 5300网卡、Linux系统内核版本为3.2～4.2之间的计算机上。Linux 802.11n CSI Tool最多可采集3×3×30维度的可用CSI数据,该30个子载波平均分布于40 MHz带宽的114个子载波中,20 MHz与40 MHz带宽下的子载波编号如表4所示。Linux 802.11n CSI Tool凭借开发时间早、操作教程详细、研究资料众多等优势,历经多年仍是CSI无线感知研究中最常用的采集工具。

表4 Linux 802.11n CSI Tool在不同带宽下的子载波分布

2.3 Atheros CSI Tool

新加坡南洋理工大学的谢亚雄团队于2015年基于Atheros网卡开发出Atheros CSI Tool[24],该平台完全在软件中实现,构建在开源Linux内核驱动程序ath9k之上。与Linux 802.11n CSI Tool相同的是,Atheros CSI Tool最多支持3×3个MIMO天线组合,但该工具能够采集更为丰富的子载波信息,在20 MHz和40 MHz带宽下可分别采集到包含56和114个可用子载波的数据。

Atheros CSI Tool理论上可以安装在装有AR-9580、AR9590、AR9344、QCA9558等所有型号的Atheros 802.11n WiFi网卡的计算机上,适用于Ubuntu、OpenWrt以及Linino等Linux发行版系统。Zou等[25]依据Atheros CSI Tool为商用WiFi路由器开发了基于OpenWrt的固件,使路由器具有直接采集CSI的能力,减弱了工具对计算机的需求。

2.4 Nexmon CSI Extractor

德国达姆施塔特工业大学的Matthias Schulz团队于2018年开发出自Nexus 5智能手机中采集CSI数据的Nexmon CSI Extractor[26],并在后续更新拓展至支持多款智能手机、树莓派和路由器[27],这标志着CSI获取进入移动智能手机时代。该系统最多可在80 MHz带宽下采集到4×4×242维度的可用CSI数据。

Nexmon CSI Extractor可安装在装有BCM4339、BCM4358等部分型号高通BCM43系列网卡的智能移动设备上,如Nexus 5/6p、树莓派3B+、华硕RT-AC86U等。在安装Nexmon CSI Extractor前,需确保设备进入Root状态且系统框架处于指定版本,使用Ubuntu系统的计算机刷入Nexmon固件修改Broadcom网卡后,即可使用终端采集CSI数据。需额外注意的是,Nexmon修改固件具有损坏硬件的风险。

Gringoli等依据Nexmon在802.11ac标准Broadcom4365网卡上的经验,于2022年开发出了AX-CSI采集工具[28],该工具可在装有Broadcom43684网卡的华硕RT-AX86U路由器上采集802.11ax标准、160 MHz 带宽以及4×4×2 048维度的可用CSI数据。

2.5 ESP32 CSI Toolkit

Hernandez团队于2020年依据乐鑫ESP32开发板开发出ESP32 CSI Toolkit[29],ESP32具有可独立工作、功耗极低、成本低廉、体积小巧以及质量轻便等特点,可将多个ESP32开发板设置为接入点或站点两种模式收发数据,以支持大规模实施和部署。

ESP32 CSI Toolkit可安装在所有型号的ESP32上。由于ESP32开发板只预留了一个天线接口,ESP32 CSI Toolkit仅支持单天线进行数据传输,但可接收来自多天线设备的数据。Makwana等[30]在2.4 GHz频段、40 MHz带宽和非时空分组码(non space time blocked code,NSTBC)模式下采集到166个子载波的可用CSI数据。值得注意的是,由于ESP32整体没有连接互联网,无法在本地设置时钟,应通过连接的计算机在采集前手动设置时钟或在采集后通过给定函数修正数据时间戳。

ESP32既可独立工作,也可连接计算机/智能手机使之具有访问CSI的能力。与Nexmon CSI Extractor相比,ESP32可以在不修改智能手机网卡固件的情况下,使手机访问CSI;与其他工具/平台相比,ESP32可不依靠其他设备独立采集CSI,并存储至板载micro-SD卡中。

在2020年,Muhammad Atif团队也开发了基于乐鑫ESP32开发板的Wi-ESP CSI Tool[31],其基本参数与ESP32 CSI Toolkit相同,同样具有可独立工作、功耗极低、成本低廉且可大规模部署等特点。

2.6 OpenWiFi

OpenWiFi是由比利时微电子研究中心的焦现军博士等[32]于2020年发布的一个开源的全栈IEEE 802.11 SDR实现,可提供如同商业无线网卡一样的WiFi接入或链接服务。OpenWiFi的无线信号时延约为商用路由器的十分之一,最佳状态可达0.2～0.3 ms。CSI通过OpenWiFi侧信道基础设施提取,目前最多可采集1×2×56维度的可用CSI数据。

OpenWiFi工作方式与商用WiFi网卡相同,但商用网卡高度集成进而在二次开发时有诸多限制,而OpenWiFi自主化程度高,支持Linux、Windows+WSL环境下运行Vivado进行现场可编程门阵列(field programmable gate array,FPGA)开发,且OpenWiFi是全双工(full-duplex),能在发送数据的同时接收数据,可实现自身的Rx天线接收自身的Tx天线发送的信道响应。通过修改用户空间程序,OpenWiFi采集的数据既可上传至PC端处理,也可在开发板本地处理,后者具有不依靠其他设备独立工作的能力。

运行OpenWiFi需要一块FPGA开发板及一块ad9361射频板,目前已在Github公布支持11种开发板-射频板组合。将对应开发板的Linux+OpenWiFi系统映像烧录至SD卡,开发板插入SD卡并连接计算机简单配置后即可运行OpenWiFi。FPGA开发板价格较高,目前OpenWiFi仅用于开发研究用途。OpenWiFi仍在不断更新完善,以寻求适应更多FPGA开发板、适配更新标准的WiFi6和实现更多MIMO天线数。

2.7 PicoScenes平台

PicoScenes平台是西安电子科技大学蒋志平团队于2021年发布并不断更新维护的一款WiFi感知中间件[33],该系统可以在6 GHz频段下获取具有更少噪声干扰、更大时空分辨率及更大维度特征的CSI数据。PicoScenes是目前唯一支持多个网卡同时进行CSI测量的平台,使用PCI-E网桥适配器理论上可支持安装100多个WiFi网卡,同时也是首个将USRP设备无缝转换为CSI测量硬件的平台,并可提供完整的PHY层信息。

PicoScenes目前支持4种商用WiFi网卡和部分SDR设备,包括AX200、AX210、AX211、QCA9300和Intel 5300、所有USRP型号和HackRF One。由于支持AX210网卡,使得可以在全格式(802.11a/g/n/ac/ax)、全带宽(20/40/80/160 MHz)、全编码(LDPC/BCC)、全频段(2.4/5/6 GHz)进行数据包注入和CSI测量,最大可获取2×2×1 992维度的可用CSI数据,使用USRP X310等SDR设备更可获取4×4×1 992维度的可用CSI数据。

3 CSI无线感知应用方向

在室内传播的WiFi信号会发生反射、散射及衍射等效应,自WiFi物理层提取的CSI可提供多个信道的细粒度信息,从而使CSI具有感知周围环境的能力,在室内定位、活动识别、健康检测、人群计数、身份识别以及物品检测等方向有着重要的研究与应用价值。6种CSI无线感知应用方向的感知示意如图4所示。

(a) 室内定位

3.1 室内定位

随着物联网技术的发展,基于位置的服务(location based service,LBS)已深入人们的日常生活。由于建筑物的遮挡,卫星定位无法应用于室内环境中,目前主流的研究方向是通过UWB、RFID、WiFi等信号开展室内直接/指纹定位研究,其中WiFi凭借成本低、覆盖范围广等优势成为研究热点。室内定位依据定位方式可分为测角定位、测距定位与指纹定位3种,如图5所示。

(a) 测角定位方式

测角定位是依靠测量Tx与Rx的到达角度(angle of arrival,AOA),需要至少2个已知位置的设备(Tx/Rx)作为定位基站,通过不同方向的射线交会的方式确定待定位设备的位置。AOA多依靠多重信号分类(multiple signal classification,MUSIC)算法分解相互正交的信号子空间与噪声子空间的特征值进行估算得到,该方法要求Rx的天线阵列数远大于信号的来波数量,且AOA估计分辨率与天线阵列数正相关。ArrayTrack系统[34]通过在底层修改固件的方式使WiFi设备具有多天线接收能力,将采集的多个Tx的CSI利用MUSIC算法进行角度估算,实现了亚米级的测角定位。SpotFi系统[35]提出了虚拟天线阵列的概念改进MUSIC算法,精准估计多路径的AOA,将AOA估计的天线阵列数降至3个。TWPalo系统[36]将AOA与多普勒频移相结合,实现了穿墙式无设备人体位置估算。

测距定位是依靠测量Tx与Rx之间的直线距离,需要至少3个已知位置的设备(Tx/Rx)作为定位基站,通过不同半径的圆交会的方式确定待定位设备的位置。由于距离无法直接测量,通常通过间接方式计算Tx与Rx距离,有基于路径损耗模型测距和基于信号传播时间测距两种。基于路径损耗模型测距定位是依靠CSI传播能量强度与距离的物理公式计算出Tx与Rx间的距离。CUPID2.0系统[37]将滤波后的CSI代入路径损耗模型计算距离进而实现定位,定位精度远远优于基于RSSI路径损耗模型的测距定位。但路径损耗模型测距定位易受环境干扰,在不同时间及空间存在较大差异。基于信号传播时间测距定位通过测量Tx到Rx的信号传播时间乘上光速计算出直线距离,可分为到达时间(time of arrival,TOA)和到达时间差(time difference of arrival,TDOA)两种,两者对设备间时间同步要求极高,前者要求系统内的所有设备均时间同步,而后者仅要求各定位基站时间同步。Chronos系统[38]将不同频段的CSI以拼接带宽的方式进行整合,然后解算TOA实现三边测距定位。由于基于路径损耗模型测距定位易受环境影响,基于信号传播时间测距定位对设备间时间同步要求极高,因此基于测距的CSI定位研究相对较少。

指纹定位是依靠获取不同位置的CSI指纹信息进行机器学习分类或回归实现位置定位,按照是否携带Rx可分为基于设备的定位(device-based localization,DBL)与无设备定位(device-free localization,DFL),CSI指纹定位至少需要一个Tx。DBL指纹定位原理是分析Rx在不同位置的不同信号传播路径进行指纹定位。CSI-MIMO系统[39]获取MIMO信息及CSI幅值、相位信息建立指纹数据库进行指纹定位。DeepFi系统[40]使用深度学习算法训练CSI幅值指纹库,并结合基于径向基函数的概率方法实现在线定位。DFL指纹定位原理是分析用户在不同位置对信号传播路径的不同程度遮挡进行指纹定位。Wu等[41]在多种室内环境中划分多个定位区域,通过采集两条天线链路的CSI幅值信息开展无设备指纹定位,定位准确率约为86%。党小超等[42]使用支持向量回归建立CSI指纹与位置的非线性模型,在狭窄楼梯环境下有90%概率达到1 m定位精度。

3.2 活动识别

当人体处于信号覆盖区域时,不同肢体动作会对信号产生不同程度的干扰,通过处理分析可实现活动识别。自CSI活动识别提出以来,学者们不断改进现有的识别方法,提高识别精度和鲁棒性,准确地识别人体活动可以有效提高人机交互质量,在智能家居、智慧工厂以及智慧监护等场景具有重要的应用前景和经济价值。按照动作幅度大小,可将CSI活动识别分为粗粒度活动识别和细粒度活动识别两种。

粗粒度活动识别更注重对整体活动的分类,往往忽略了一些动作的细节与差异,CSI粗粒度活动识别主要围绕全身性活动识别和手势识别两种方向进行研究。Shi等[43]通过时域统计特征和深度神经网络(deep neural networks,DNN)对16种日常活动进行识别,其中8种原地活动识别精度为97.6%,8种路线行走活动识别精度为98.3%。TW-See系统[44]基于相反的鲁棒主成分分析(opposite robust principal component analysis,OR-PCA)提取混凝土墙壁后较为纯洁的人体动作信息,实现了高精度的隔墙活动识别。吴哲夫等[45]提出了一种驾驶员动作检测系统,在室内和道路上可以达到90%以上的识别率。WiID系统[46]通过支持向量分布估计方式对多人的7种手势动作识别率达到90%以上。Meng等[47]自相邻天线相位差中提取特征,并采用稀疏恢复方法提高数据与手势间的相关性,在两种室内环境下的手势识别精度均超过95%。

细粒度活动识别不仅注重整体活动的分类,还注重具体动作的细节与差异,CSI细粒度活动识别主要围绕唇语识别、击键识别以及书写识别等方向进行研究。LipSense系统[48]在人员打电话情况下的单人唇语识别率为94.3%,3人平均识别率为85.7%。Meng等[49]提出了一种手机击键识别系统Wind-Talker,可以较为准确地识别到具体击键,并且提出了一种CSI混淆对策来干扰CSI击键识别。Cao等[50]提出了一种书写识别系统Wi-Wri,该系统能够以超过98.1%的识别率识别书写活动,以超过82.7%的识别率识别具体书写字母。Marwa等[51]提出了一种可识别头部运动摩尔斯电码的Wi-Nod系统,可有效识别出规定的几种摩尔斯电码动作。

目前现有研究大多是从CSI幅值和相位中提取关键特征进行活动识别,由于CSI对环境极为敏感,研究模型往往仅可应用于实验区域,对未知环境的泛化性弱。针对此类问题,部分研究人员开展了相关实验研究。ReWiS系统[52]基于小样本学习(few-shot learning,FSL)仅需少量的新样本即可应用于新环境。Sharp系统[53]依据多普勒频移仅对运动目标敏感的特性,提出了多普勒频移与神经网络结合进行活动识别的方案,实验表明即使在不同人员、日期、实验场景的情况下,仍可实现96%的综合识别率。

3.3 健康检测

呼吸和心跳是评估人体精神与生理状况的重要指标,可以帮助医生及时判断患者的病情和病因,从而采取相应的治疗措施。现有检测方式是通过穿戴式传感器识别人体体征状态,但存在需要长期佩戴、使用不便的弊端。呼吸和心跳导致人体胸腔产生周期性变化,CSI可以捕捉到这种人体细微变化并进行分析得到呼吸率和心率。

由于人体正常呼吸时胸腔平均起伏仅5 mm,远远小于身体其他动作,这时需要引入菲涅尔区的感知模型以提高CSI感知极限。在Tx与Rx信号传播过程中,周围存在着许多以Tx、Rx为焦点的不同长短半轴的同心椭圆,不同椭圆对应着不同的菲涅尔区,传播到奇数菲涅尔区内的波与LOS同相位,信号得以叠加增强;传播到偶数菲涅尔区内的波与LOS反相位,信号会叠加减弱,并且在菲涅尔区内离中间位置越近信号波形的辨识度越大。如图6所示,人体呼吸时会对信号传播路径产生周期性的不同影响,人体在A位置时的呼吸和心跳相比于B位置更易检测。Wi-Sleep系统[54]首次提出使用CSI检测用户的睡眠状态,识别出人体呼吸及睡眠姿势。Wang等[55]首次将菲涅尔区引入至人体呼吸检测领域,初步提出一种基于菲涅尔区的无线信号感知模型。Zhang等[56]使用菲涅尔区模型量化了衍射增益与人体呼吸胸部位移之间的关系,在第一菲涅尔区内60%的位置实现了98%以上的呼吸识别率。Lee等[57]采用动态时间规整(dynamic time warping,DTW)算法识别呼吸和心跳引起的胸腔周期性变化,对不同呼吸模式的正确识别率为94%。Chen等[58]提出一种基于迁移学习的呼吸暂停检测系统TLAD,可有效识别出3种睡眠呼吸暂停类型。Liu等[59]设计了一种单输入双输出的卷积神经网络,通过输入CSI的幅值与相位对呼吸和心跳进行估计,识别率分别为98.581%和99.109%。

图6 基于菲涅尔区模型的人体呼吸监测

由于呼吸与心跳引起的身体变化远小于人体运动,检测时需要在离信号收发设备较近位置静止不动才可有效识别到呼吸与心跳,因此现有实验研究与应用场景较为有限,多为家庭卧室等小型室内环境。

3.4 人群计数

人群计数是计算一定空间范围内人数或人群密度的技术,在智能家居、智慧监管、安全疏散以及消防救援等场景具有重要应用价值。目前主流的人群计数方式是依据视觉摄像头识别室内人数,但视觉摄像头存在成本与覆盖范围正相关、要求环境明亮无遮挡、用户隐私等问题,并且人员可能因为摄像头安装角度问题导致呈现相互遮挡情况,进而影响识别准确度。由于在室内WiFi信号无处不在,使用CSI无线感知人群计数是一个很有前景的研究方案。

当人群通过WiFi信号传播区域时,他们的身体会对信号产生衰减和多径效应,导致Rx接收的CSI幅值、相位产生变化,这种变化与人群数呈现正相关关系。Zhou等[60]提出的智能楼宇人群计数系统WiFree对时间和环境具有较强的鲁棒性,楼宇内人群计数识别率达到92.8%。Choi等[61]提出了一种同时进行人群计数和定位的CSI无线感知系统,0～5人在实验的4个区域内自由行走,系统可达到94%的计数准确率和95%的定位准确率。Brena等[62]在公共数据集上计算多天线多普勒频移并提取特征训练机器学习模型,取多天线预测值的均值作为最终预测值,实现了99%的准确率。

现有研究多要求在人员保持静止或多人沿指定方向匀速行走时开展室内人群计数实验,虽然准确率很高,但人们在现实室内环境中不可能都保持相同或相似的动作运动,这种严苛的条件在现实中是不切实际的,研究仍存在较大的约束与挑战。

3.5 身份识别

由于个体的生理特征和行为习惯的差异,人们在做相同动作时会对无线信号产生不同干扰,使信号携带身份信息,通过分析信号可以进行身份识别。高准确度的身份识别在身份验证、智慧门禁、智能交互等实际应用中有着强烈的需求。基于CSI的身份识别相比于生物特征(例如面部、指纹、声音)识别,具有设备成本低、无需物理接触等优势。

研究表明,每个人的步态都是独一无二的,即步态最能反映一个人的特色,因此研究人员主要通过步态进行身份识别。WiWho系统[63]是首个利用人体步态特征识别身份的CSI无设备感知系统,通常只需人员行走2～3 m即可识别身份。WiPIN系统[64]对30名受试者的综合身份识别率为92%,并可有效识别出非法用户。Cao等[65]提出一种轻量级深度学习模型,在50人步态数据集上识别率达到99.7%的同时,模型大小只有同类系统的5.53%。Guo等[66]利用多任务学习和深度残差收缩网络处理降噪后的CSI步态数据,可实现高精度的位置和身份联合识别。

除步态特征外,一些常见动作也会因行为习惯产生差异,研究人员根据不同应用场景选取不同动作进行身份识别。Yang等[67]提出一种基于车辆驾驶习惯的驾驶员身份识别系统WFID。Kong等[68]提出一种实时分析手指手势的持续身份认证系统FingerPass。WirelessID系统[69]首次考虑分析细粒度动作来识别用户身份,通过分析手写签名实现了93.14%的5人综合识别率。

3.6 物品检测

除了与人相关的感知外,CSI还可以应用于物品检测感知。不同材质、不同状态的物体对无线信号传播具有不同程度的影响,通过这种信号间差异可进行物品检测,例如通过水果间的细微差异可判别出水果种类、含水量及成熟程度等。

Ohara等[70]将CSI无线感知应用于检测室内门、窗、家具的闭启状态,在3种环境下达到了90%的综合识别率。Ma等[71]将水箱水位分为空、半、满3种状态,使用神经网络进行判别,在多种环境下仍能实现超过90%的识别率。Liu等[72]提出一种水果内部品质检测系统Wi-Fruit,能够高效识别2种厚果皮与4种薄果皮水果的内部水分及可溶性固体物含量。Tan等[73]提出一种水果成熟度感知系统FruitSense,能够以90%以上的识别率识别出4种成熟程度的水果。Zhou等[74]提出一种检测行人携带金属可疑物的感知系统,金属物在行人行走隐藏、行走暴露及站立暴露情况下的识别率分别为93.3%、95.6%和100%。

由于往往需要较高的信号发射频率才能检测出物品间的微小差异,CSI物品检测对商用设备的稳定性及功耗压力较大。由于物品间的差异往往难以被察觉,因此物品检测的研究热度远低于人体感知。

4 近5年开源数据集

采集CSI数据并标记数据集的过程十分繁琐,导致大部分研究者不愿公开论文数据集,这会从以下三方面严重影响CSI无线感知研究的发展:1)阻碍研究的可复现性;2)后续研究者仍需耗费大量精力采集相似的数据,费时费力;3)基于不同数据集的研究成果不宜用来对比,无法说明算法的先进性。

收集近5年(2019—2023年)的开源数据集如表5所示,研究人员对数据集的需求多体现在关注数据集的实验场景、实验人员、数据集内容、数据维度(采集设备/工具)以及研究潜力(识别率)等方面,通过表5可以清晰地了解到数据集的关键信息。分析近5年的开源数据集可以看出:1)大部分数据集集中于人体活动识别方向(多人运动可依据同一动作开展身份识别研究),且存在内容高度同质化的问题,而在室内定位、健康检测、人群计数等方向的开源数据集较少,这与活动识别在CSI无线感知研究中占比较多有关;2)大部分数据集没有提供实验人员详细的生理信息,不利于开展与人体生理特征相关的研究分析,这大大限制了数据集的可用性;3)有4篇文献仅是对数据集内容进行描述,没有进一步通过实验证明数据集的研究潜力,可能会影响研究人员的选择;4)数据采集设备/工具逐渐由仅可采集较低数据维度的Linux 802.11n CSI Tool转向可采集较高数据维度的Atheros CSI Tool、Nexmon CSI Extractor等工具,学者们逐渐认识到高维度数据的优势。

表5 近5年的开源数据集

5 目前的局限与挑战

(1)多动作信号堆叠

由于粗粒度动作的幅度远大于细粒度动作,CSI无线感知无法同时识别多种动作,因此在相关实验中常要求受试者在同一时段内仅保持一种动作,特别是在唇语识别、健康检测等细粒度感知识别中要求全身保持静止。然而在现实中,人们通常不会仅做一种动作,例如在行走的过程中交谈、在奔跑的同时挥手等。室内有多人同时做动作时,同样也会无法识别具体动作。因此,如何分离包含多种动作的信号以实现识别具体动作具有极大的挑战性,这同时也是CSI无线感知由实验室转向现实应用不可或缺的技术需求。

(2)设备时钟同步困难

国际规定的秒长是依据锶、铯、铷等碱金属原子共振频率标准计算得出的原子秒长,误差极小,但日常生活中使用的计算机、路由器等商用设备由于存在设计缺陷、硬件老化以及系统错误等方面的问题,即使同一品牌、同一批次生产的设备也会存在时钟不同步问题,甚至出现肉眼可见误差。而本文第2章列出的9种CSI数据采集设备/工具或多或少需要计算机、路由器等商用设备,时钟不同步会致使CSI相位产生随机偏差以及使基于信号传播时间的CSI测距定位产生较大误差。

(3)受试者的位置朝向

众多实验研究已证明,当受试者处于收发设备间的不同位置以及身体朝向不同时,做相同动作会对WiFi信号路径产生不同影响,进而采集到的CSI幅值和相位均会有较大差异,而这种差异会影响到CSI无线感知的正确判别。因此为实现最大程度的正确感知,实验多要求受试者位于LOS中线面向信号发射设备或在设备侧边面向LOS中线方向,这显然不符合实际使用情况。

(4)过度依赖训练环境

CSI可以记录信号多径传播中的反射、散射等关键信息,因此CSI无线感知是建立在具体环境上的无线信号感知,对不同环境的迁移能力较差。若想将感知系统同时应用于多种室内环境,需将不同环境采集的数据导入拟合模型,然而多种环境下的数据采集过程费时费力,并且在系统应用场景扩大的同时模型拟合程度也会下降进而影响识别精度。虽然有研究者自CSI中提取多普勒频移用来减弱环境的影响,但扩展场景的感知效果仍要弱于训练场景。

(5)CSI的隐私与安全

WiFi是开放式无线网络,在已知WiFi信号的IP地址、信道等关键信息的情况下,任何人都可监控其中的CSI,进而触犯隐私问题。目前热门的CSI加密研究方向有:1)隐蔽信号信道;2)加入人工混淆信息。但由于WiFi商用网卡面向民用,设计高度集成可二次开发能力有限,且缺乏FIR滤波器等,而SDR设备虽自主化程度高但成本高昂,不利于推广及大规模部署,因此CSI的隐私与安全隐患仍然是亟待解决的问题。

(6)开源数据集较少

正如本文第4章所述,CSI无线感知的开源数据集数量远少于计算机视觉等其他研究领域,且存在类型过于集中(多为人体活动识别)、内容同质化严重(内容高度相似)、人群普适性不强(受试者多为20～30岁的青年人)以及信息未能完全给定(内容大都仅进行文字描述易引发多义理解)等多方面的问题,制约着CSI无线感知的良性发展。

6 总结与展望

随着无线通信技术及物联网的发展,基于WiFi信号中CSI的无线感知已在室内定位、活动识别等多种应用方向取得较多成果,具有广阔的研究前景与应用价值。本文对CSI无线感知的数据获取及应用进行综述,介绍了目前9种数据采集设备/工具,系统性地分析了6种CSI无线感知应用方向的研究现状,并统计了近5年来的16个开源数据集,旨在通过本文让初学者和研究人员快速了解CSI无线感知数据获取及应用的研究现状,为相关研究应用提供一定的支撑。

新兴的CSI无线感知发展前景十分广阔,但与成熟落地应用仍有较大距离,仍需许多技术突破,本文对CSI无线感知未来的发展作出以下几点展望:

(1)更新WiFi标准的CSI采集工具

自1997年IEEE首次提出802.11协议26年以来,WiFi迅猛发展,目前已超40余个协议被正式认证。在WiFi6/6E路由器尚未完全普及的现在,华硕、英特尔等部分商家已开售WiFi7商用路由器,WiFi7相比于WiFi6/6E具有更高数据传输速率、更低时延和更强稳定性。WiFi7采用802.11be标准,支持2.4 GHz、5 GHz、6 GHz 3种频段,并且在6 GHz频段下最大可支持320 MHz带宽的数据传输,在非OFDMA情况下的有效子载波最多可达3 984个,这意味着具有更强的感知能力。目前新一代WiFi8标准已经进入预研阶段,WiFi8考虑融合45 GHz和60 GHz毫米波频段以及支持多AP协作,毫无疑问会大幅增强WiFi CSI的感知能力。相信在不久的将来,会出现基于WiFi7标准乃至更新WiFi标准的CSI采集工具。

(2)单设备的双WiFi连接能力

目前大多数手机具有双频WiFi功能,可以搜索连接2.4 GHz或5 GHz频段的WiFi信号,由于2.4 GHz 穿透能力强、5 GHz数据传输速度快,因此部分手机厂商研发出了基于实时同步双频(real simultaneous dual band,RSDB)技术的双WiFi加速功能,可使手机同时连接2.4 GHz与5 GHz频段的WiFi信号。双WiFi加速功能可以支持任意2.4 GHz+5 GHz的搭配,既可同时连接单一路由器的两个频段,也可同时连接两种不同路由器的两个频段。

WiFi7相比于以往标准,最大的更新是多链路聚合(multi-link operation,MLO)功能,装有WiFi7网卡的终端可同时连接WiFi7路由器发出的两个WiFi信号。与手机双WiFi加速功能不同的是,手机双WiFi加速的实质是调用两个WiFi模块分别连接,会有两个IP地址,而MLO在逻辑上仍是单网卡,仅会显示一个IP地址,并且MLO可支持更多频段信号的搭配链接,甚至可以是5 GHz+6 GHz。

未来可利用单个终端连接两种互不干扰频段的WiFi信号互补用于CSI无线感知研究,如CSI室内主动指纹定位等,将会进一步提升感知能力。

(3)多源数据融合增强感知

多传感器数据融合相比于单一传感器具有识别精度更高、鲁棒性更强以及应用范围更广等优势。CSI无线感知是功耗低、全天候、信号覆盖范围广的非接触感知,可与其他传感器结合扩展感知的精度、深度与广度。例如,将CSI与智能手机的磁力计、加速度计等众多传感器相结合,用于高精度的室内动态定位;将CSI与智能家居相结合,可实现自动化、定制化、多样化的室内舒适居住环境。

混合现实(mixed reality,MR)是虚拟现实(virtual reality,VR)与增强现实(augmented reality,AR)的结合,虚拟模型不再是简单叠加在现实中,而是可通过指令进行交互。微软发布的MR设备HoloLens2甚至可以双手无需设备而随意操纵全息影像,但目前仍存在一些问题,例如需要大幅度的手部动作才能有效识别、存在手势指令间的误判等情况。预研阶段的WiFi8标准正计划融合45 GHz和60 GHz的毫米波频段,无疑会大大增强CSI无线感知能力,期待未来可将高精度的无线信号感知融入到MR设备以实现辅助增强混合现实交互。

(4)CSI与智能体结合的智能感知

智能体是能通过传感器、执行器与周围环境进行交互并具有思考能力的实体,具有自治性、反应性、主动性、社会性和进化性5种基本特性。将CSI与智能体结合后,CSI无线感知将具有自动识别、自我完善、自主学习等能力,会有更为广阔的研究应用前景。以自主学习为例,当系统推广至新环境、新用户时,无需人工手动进行数据采集、标注,仅需用户在新环境中运动一段时间,系统即可依据自动采集的数据与预先设定的数据库进行对比分析,在标注相似特征归类的同时记录学习不同环境、不同个体间存在的差异,快速应用至新环境、新用户。

(5)更加多元应用场景下的复合感知

受限于CSI当前的感知能力及技术水平,现有研究多为在室内生活场景下的单应用类型感知。随着通信技术及物联网的进一步发展,未来CSI无线感知能力势必会大大增强,进而可以在更加多元的应用场景下实现多功能复合感知。例如,在监控指定区域时,当感知有人员行为异常,存在偷盗、恐怖袭击等犯罪行为时,记录其身份特征并实时监控活动位置,自动向警方报警以制止进一步实施犯罪行为,切实保护人民生命财产安全;在城市巷战战略攻坚时,依靠感知方式隐蔽、墙体穿透力强的无线信号感知,可在敌方无法察觉的情况下,感知敌方战术手势或对话、人员数量和分布位置等关键信息,破解敌方的战术,极大减少我方伤亡;在矿难、地震、火灾等灾害发生后,依靠无线信号感知探寻受灾人员位置、数量及生理特征等信息,用以支持制定营救计划,把握灾后救援黄金72小时。