智能电磁感知的若干进展

李廉林 崔铁军

①(北京大学电子学系 北京 100871)

②(东南大学毫米波国家重点实验室 南京 210096)

③(人工智能与数字经济广东省实验室 广州 510330)

1 引言

智能电磁感知是电磁探测与成像的系统化和智能化延伸，通过分析经目标相互作用的电磁波信息，学习目标环境、推断目标特性、适应目标行为，是安全检查、生物医学、物联网等领域的基础性、关键性和共性问题。尽管电磁感知体制(包括合成孔径体制、真实孔径体制、编码孔径体制)取得了许多令人瞩目的成就，但它们存在诸多挑战性难题。例如，它们无法有效兼顾成本和效率，从而严重制约了其进一步推广应用。在大数据时代，电磁感知一方面面临对感知精度和效率的日益增长的需求，另一方面又面临海量数据采集、存储、传输和处理的压力；因此，电磁感知系统亟需发展低成本、高效率、高精度的电磁感知新体制，迫切需要从根本上解决传统感知体制的技术瓶颈。

智能电磁感知的技术核心是电磁波物理和信息的智能调控。近年来，随着人工电磁材料(尤其是信息超材料)和人工智能的快速发展，它们分别在电磁物理和电磁信息调控方面表现出强大能力和潜力。在国家重点研发计划变革性关键技术项目的支持下，本文致力于人工电磁材料(信息超材料)和人工智能的有机结合，实现物理与数据的一体化调控，构建了智能电磁感知新框架，为研制高效率、低能耗、低成本的信息系统提供了新思路，为改变未来探测与成像、通信、人机交互等提供了新思路。本文首先讨论了经典机器学习驱动的智能电磁感知方法。该方法采用经典机器学习方法对信息超材料在物理层的空间辐射模式进行训练，有效提取目标特征，能以极少的接收数据重构目标，实现数据获取和处理的一体化操作。其次，为了解决复杂场景的电磁感知，本文进一步提出了深度学习与信息超材料协同工作的智能电磁感知方法。该方法搭建了3个具有不同功能的深层卷积神经网络，实现了微波数据与真实目标之间的端到端映射，首次构建了集人体姿态成像、局部肢体语言识别以及生命体征检测3种功能为一体的智能感知系统。最后，为了进一步提高智能电磁感知的数据获取效率和数据处理性能，本文将强化学习的思想引入智能电磁感知，借助变分自编码方法建立了智能数据获取和智能数据处理的一体感知策略，极大地缩减了时间成本。

2 信息超材料的基本概念

超材料是一种由亚波长尺度人工原子(典型值是1/10～1/3个波长)按照特定空间结构形成的人工电磁媒质。超材料克服了传统材料难以在原子或分子层面精确操控的局限，实现了自然界不存在或很难获取的媒质参数，进而实现了全新的物理现象和工程应用，例如负折射、完美成像、完美隐身、电磁幻觉、电磁黑洞及超分辨透镜等[1–12]。超材料不仅刷新了人们对电磁物理现象的认知，而且革命性地改变了人们调控电磁波的方法与手段。近20年来，超材料一直是物理和信息领域的研究前沿与国际热点，是世界各军事强国竞相角逐的颠覆性技术，相关成果4次入选美国《科学》杂志评选的“年度十大科学突破”及“本世纪前十年十大科学突破”。2013年美国国防部将超材料列为“六大颠覆性基础研究领域”之首，美国国防部“先进研究项目局”将其列为“强力推进的增长领域”。

长期以来，超材料仅被看作一种调控电磁物理现象的超常规媒质，一旦制备成型，其功能就被固化，不能实时动态地调控电磁波，难以有效推动信息体制的发展。为解决传统超材料的不足，东南大学崔铁军教授等人[13–19]提出了信息超材料。信息超材料是传统超材料的数字信息化发展，能在物理层直接处理数字信息的超材料，并能对信息进行感知、理解，甚至记忆、学习和认知。具体来讲，信息超材料用数字编码信息(‘0’和‘1’)表征超材料，通过改变超材料空间编码进而改变超材料数字单元的物理状态和信息状态，实现了电磁物理与信息的一体化调控。图1给出了最早版本信息超材料(称作可编程数字编码超材料)的基本原理，图2概括了信息超材料的历史和发展趋势。信息超材料可将物理世界和数字世界有机结合起来，同时受物理学原理、信息论原理和数字信号处理方法所支配。其内涵包括数字编码超材料、现场可编程超材料、软件化超材料以及可认知超材料。

信息超材料集物理和信息调控于一体，包含两方面含义。一方面，信息超材料是“超材料”，具有动态调控电磁波源、传播媒质和边界条件的能力；另一方面，信息超材料携带“信息”，具有直接信息编码、处理和调控的能力。信息超材料通过电磁波与信息超材料的相互作用实现信息感知与调控[13–23]，有望改变了以奈奎斯特-香农定理为基础的信息编码、传输、处理与调控的范式，克服了传统数字信息技术面临的系列难题(例如功耗、效率、系统成本与复杂性等)，解决传统数字信息系统所面临的系列难题。需要指出的是，信息超材料具有颗粒度细(单元尺寸小)、剖面低、可控自由度多等独特优势，理论上兼备物理与信息调控的重要潜力，实现物理与信息一体化的操控。信息超材料的最大特点是提供了一个物理平台，可以和数字编码直接作用，进而转换成电磁波，并对其进行实时和智能控制。进一步，鉴于信息超材料灵活强大的直接信息处理能力，将与大数据和人工智能等技术有机结合，形成具有智能感知、自主学习和认知能力的智能超材料。为通信、雷达、电抗等信息系统提供了新的载体。

图1 首个可编程数字编码超材料的基本概念和部分结果[13](a)1比特相移键控可编程数字编码超材料示意图 (b)1比特相移键控可编程数字编码超材料的单元结构及其相位-频率响应曲线 (c)1比特相移键控可编程数字编码超材料的在波束扫描中的若干应用 (d)1比特相移键控可编程数字编码超材料的基本工作原理Fig.1 Concepts and Results of the first programmable digital coding metamaterials[13](a) The schematic diagram of 1-bit phase-shift programmable digital coding metamaterial (b) The element structure of 1-bit phase-shift programmable digital coding metamaterial and its phase frequency characteristic curves (c) 1-bit phase-shift programmable digital coding metamaterial in beam scanning applications (d) The basic working principle of 1-bit phase-shift programmable digital coding metamaterial

3 智能电磁感知若干进展

近年，我们将信息超材料和机器学习(包括经典机器学习和深度学习)相结合，研究了智能电磁感知的新方法。限于篇幅，本节讨论其中的3个代表性工作。

3.1 经典机器学习驱动的智能电磁感知

如前所述，经典电磁感知体制包括两大类：合成孔径体制和相控阵体制；前者依赖天线的机械扫描，数据获取效率低，无法满足实时感知的需求；后者依赖大规模天线阵的相干波束扫描，系统非常复杂、硬件成本非常昂贵，甚至在一些情况下无法实现。为了解决这方面的难题，近年来，随着压缩感知理论和方法的发展，一些孔径编码体制得到广泛关注。但是，现有孔径编码感知体制高度依赖一个计算成本非常昂贵的迭代优化算法(即稀疏增强优化算法)，严重制约其实时感知的需求。为解决这方面的难题，本文提出了机器学习驱动的智能电磁感知方法。如图3所示[24]，该感知方法将可编程超材料和经典机器学习相结合，采用经典机器学习方法例如，主成分分析(Principal Component Analysis,PCA)机器学习方法，对信息超材料在物理层进行训练，实现数据获取和处理的一体化操作。这里以3 GHz频段微波成像为例，本文用实验验证了可编程超材料具有物理域特征提取和数据降维的能力，实现机器学习驱动的波束扫描和自适应数据获取；实验验证了该基于可编程超材料的成像系统能实现约百赫兹帧率的高分辨微波成像和实时的高精度目标识别，为解决了现有成像体制在成本、效率和精度等方面的难题提供了新思路。

图2 信息超材料的发展历史和趋势[19]Fig.2 The history and trend of information metamaterials[19]

3.2 深度学习驱动的智能电磁感知

为进一步解决复杂场景的智能电磁感知，我们将深度学习与信息超材料相结合，提出了深度学习驱动的智能电磁感知(如图4所示)该体制采用随机降维方法(Random Linear Embedding Method,RLEM)对信息超材料进行编码获取目标图像，采用1比特后向投影方法对信息超材料进行编码获取局部热点区域聚焦；然后，用深度学习[26]处理数据信息获取人体目标图像和人体局部姿势信息。另外，本文也采用时频分析获取人体呼吸体征信息。

图3 经典机器学习驱动的智能电磁感知成像原理和部分结果[24](a)主分量机器学习方法驱动的智能电磁感知的工作原理示意图 (b)基于2比特信息超材料的智能电磁感知系统示意图 (c)2比特相移键控信息超材料及单元结构示意图 (d)不同成像人体目标的光学图片 (e)基于主分量机器学习驱动智能电磁感知的成像结果 (f)基于随机降维机器学习驱动智能电磁感知的成像结果Fig.3 The imaging principle and results of intelligent electromagnetic sensing driven by classical machine learning[24](a) The schematic diagram of the principle of intelligent electromagnetic sensing driven by principal component machine learning (b) The schematic diagram of intelligent electromagnetic sensing system based on 2-bit information metamaterial (c) The schematic diagram of 2-bit phase-shift information metamaterial and element structure (d) The optical images of different human targets (e) The imaging results of intelligent electromagnetic sensing driven by principal component machine learning (f) The imaging result of intelligent electromagnetic sensing driven by machine learning based on random dimension reduction

图4 深度学习驱动的智能电磁感知成像原理和部分结果[25](a)智能电磁感知的工作原理示意图 (b)基于1比特信息超材料的智能电磁感知系统示意图 (c)不同成像人体目标的光学图片及其成像结果 (d)基于智能感知系统的感兴趣人体局部姿势的波束聚焦结果 (e)基于智能感知系统的10个英文字母的手语识别结果 (f)基于智能感知系统的2个人体的呼吸特征识别结果Fig.4 The imaging principle and results of intelligent electromagnetic sensing driven by deep learning[25].(a) The schematic diagram of working principle of intelligent electromagnetic sensing (b) The schematic diagram of intelligent electromagnetic sensing system based on 1-bit information metamaterial (c) Optical images of different human targets and corresponding imaging results (d) The beam focusing on interested human local posture based on intelligent sensing system (e) The sign language recognition results of 10 English letters based on intelligent sensing system(f) The recognition results of respiratory characteristics for two persons based on intelligent perception system

提出的智能电磁感知有两种工作模式：主动感知模式和被动感知模式。被动感知模式是通过调控日常生活无处不在的非合作无线电信号从而实现高精度电磁感知的目的。值得强调的是，与现有无线电成像探测技术不同，本文提出的方法具有两大特点。首先，与穿戴式无线电监测技术不同，该技术通过操控空间无线电信号实现远距离、非接触式的探测，避免了佩戴探测设备的不舒服感和私密侵犯感。其次，该技术在实时获取人体图像的基础上，进一步利用可编程人工电磁材料动态调控空间无线电信号进行人体部位(例如，手部、胸腹部等)的自适应锁定，不需要被探测人体对象配合，可实现密集非合作人体对象的手语或生命体征信息的实时监测。简言之，该成果为解决现有探测与成像体制在能耗、效率、成本和精度等方面的难题提供了新思路；为如何将空间中无处不在的“无用”噪声或干扰转化成为我们随心所欲所用的“有用”信号，为发展低能耗、低成本、高效率、高精度的探测和成像系统开辟了新途径；为新一代通信和雷达系统的发展提供了新思路。另外，不仅实现了非合作人体对象的生命体征探测，而且首次实现了非合作人体目标的自动微波手语识别，为解决智慧家庭人机交互，解决语言障碍人群进行交流等问题提供了新的途径。

另外，感知和通信具有很多相似的地方。上述被动感知的思想也可用来发展被动无线通信。受此启发，我们提出了被动无线通信理论，研制了基于2.4 GHz Wi-Fi信号调控的原理验证样机[27]。被动无线通信的基本原理是：利用可编程超材料调控空间中无处不在的无线电信号(例如，Wi-Fi信号，广播电视信号，蓝牙信号等)实现大容量保密无线通信。被动无线通信有4个主要特点：(1)不需要主动发射射频载波，因此不需要额外占用频谱资源；(2)利用低成本超材料调控空间无线电信号，不需要载波生成及信息调制等相关的硬件，因此具有低的功耗和成本；(3)利用超材料动态调控空间无线电信号能量的空间分布，回收了空间无线电能量，节省了能耗；(4)利用超材料实现直接信息调制，不仅增强了通信保密性，而且也不影响背景无线通信质量。

3.3 数据获取和处理一体化的智能电磁感知

在这里，需要说明的是：3.1节的感知方法将机器学习与人工电磁材料相结合实现自适应数据获取，仅实现了智能数据获取；3.2节的感知方法将机器学习与人工电磁材料相结合实现自适应数据处理，仅实现了智能数据处理。为实现智能数据获取和智能数据处理的一体化，本文将强化学习的思想引入智能电磁感知，借助变分自编码方法建立了数据获取与处理一体化的智能电磁感知[28]。

为方便，设成像目标、信息超材料编码及观测数据分别是x,C和y，它们之间满足：

图5 数据获取和处理一体化的智能电磁感知成像原理图[28](a)基于1比特信息超材料智能电磁感知的工作原理示意图 (b)和(c)算法原理示意图Fig.5 The schematic diagram of intelligent electromagnetic sensing integrated with data acquisition and processing[28](a) The schematic diagram of working principle of intelligent electromagnetic sensing based on 1-bit information metamaterial (b) and(c) The schematic diagram of proposed algorithm

其中，qC(y|x)表示y的条件概率密度函数，表征了测量模型；p(x|y)表示x的条件概率密度函数或认知分布，表征了数据处理算法模型。图5给出了该智能感知的工作原理示意图，本文采用深度人工神经网络建模这两个概率模型，分别表示为m-ANN和r-ANN，通过最优化上述价格函数(价格函数也称为Loss function，是模型预测结果和真实结果之间的差值，通常Loss function越小越好)可以获取最优或局部最优的获取模式和相匹配的数据处理算法。图6报告了该感知系统的若干实验结果，其中比较了采用数据采集-数据处理联合优化和仅数据处理优化的成像结果，在该图中我们也比较了不同信息超材料编码图案数目M=3,9,15和20等情况下的成像结果，其中M越大，所需数据采集时间越长。结果表明：采用数据获取和处理的一体化，能有效提高智能电磁感知的数据获取效率和数据处理性能。

图6 数据采集与处理一体化的智能感知的部分结果[25]Fig.6 Some results of intelligent sensing integrated with data acquisition and processing[25]

4 总结

本文讨论了智能电磁感知的最新进展。智能电磁感知通过挖掘利用人工电磁材料和人工智能在电磁波调控和数据信息调控方面的强大能力相融合，从而实现智能、低成本、高效率、高精度的电磁感知，为安防检查、生物医学、智慧城市和资源勘探等领域的进一步发展提供关键技术支撑。此外，随着信息超材料的不断推进，未来有望将人工智能应用于超材料设计，实现低损耗、超宽带和多功能的高性能超材料。结合本文提出的智能电磁感知方法，信息超材料将不仅具有低成本和高性能的优势，而且有望兼具智能感知、自主学习和认知能力。