智能电磁计算的若干进展
2023-09-15杨恺乔鲍江涵俞文明游检卫李廉林崔铁军
刘 彻 杨恺乔 鲍江涵 俞文明 游检卫 李廉林 崔铁军*
①(东南大学电磁空间科学与技术研究院 南京 211189)
②(东南大学毫米波全国重点实验室 南京 210096)
③(北京大学电子学院 北京 100871)
1 引言
20世纪60年代之前,受限于当时计算机非常有限的计算能力,早期对麦克斯韦方程组的求解大都采用解析法和高频方法,无法仿真具有复杂结构的目标。随着计算机技术的飞速发展,以时域有限差分(Finite-Difference Time-Domain,FDTD)法、时域有限积分法(Finite Integration Technique,FIT)、有限元法(Finite Element Method,FEM)和矩量法(Method of Moments,MoM)为代表的全波数值方法全面兴起[1],成为现今工业电磁仿真软件(例如CST,Ansys HFSS等)的算法基石。近十年以来,传统计算电磁学已进入相对平稳的阶段,另一门学科--人工智能(Artificial Intelligence,AI)进入了蓬勃发展期。2016年,谷歌DeepMind推出的AI围棋程序AlphaGo[2]以4:1的绝对优势战胜当时顶尖围棋选手李世石,此事件将AI浪潮推向了新的高度,基于AI的创新性应用也如雨后春笋般在各行各业不断涌现,其中包括我们熟知的图像识别、语音识别、文本翻译等,并在最近发展出了已实现大规模商业化的自然语言大模型ChatGPT,预示着AI将越来越多地改变人类的生产和生活方式。在科学界,AI与各学科的结合也衍生出了“AI for Science”这一特殊研究领域,对自然科学产生了巨大影响,其中以谷歌发布的可预测蛋白质折叠结构的Alpha-Fold[3]为代表。最近,华为云盘古大模型研发团队[4]发布的精准中期全球天气预报AI模型和清华大学[5]发布的极端降水临近预报AI模型几乎同期登上了《Nature》杂志,预示着“AI for Science”的巨大潜力。在基础算法领域,谷歌DeepMind[6]于2022年又推出AlphaTensor,基于强化学习技术成功发现了人类已知最快的矩阵相乘计算算法,在现有硬件条件下实现了计算效率10%~20%的提升,开创了AI寻找快速算法的先河。
仿真和计算作为科学研究的基础,其与AI的结合也越来越受到关注,并催生出“AI for Science”领域下一个更为细分的门类--智能计算(Intelligent Computing)。2023年初,杭州之江实验室[7]发布了其对“智能计算”的定义:“智能计算是支持万物互联的数字文明时代新的计算理论方法、架构体系和技术能力的总称。智能计算根据具体的实际需求,以最小的代价完成计算任务,匹配足够的计算能力,调用最好的算法,获得最优的结果。”电磁仿真和计算作为工业仿真和科学计算体系的重要组成部分,自然也受到智能计算新体制的影响,衍生出了“智能电磁计算”这一新兴研究方向,正深刻改变着计算电磁学这已发展百年的传统领域。本文借鉴“智能计算”的概念,将“智能电磁计算”定义为“以在电磁仿真计算的数字空间和电磁调控感知的物理空间引入人工智能技术为手段进行电磁建模、推理和决策,以减少资源消耗、降低人工干预、提升运行效率并寻求最优结果为目的的电磁学计算理论方法、架构体系和技术能力的总称”。
长久以来,对电磁仿真任务的求解依赖计算电磁专家从麦克斯韦方程出发,结合具体应用场景对精度和效率的需求,寻求综合性能最优的电磁方程求解方法,而智能电磁计算的出现有望在特定应用场景下改变这一模式。我们以某个天线优化设计场景为例,在实际应用时,假设用户仅关心天线的反射相位曲线,这时电磁仿真获得的众多中间参数,例如表面电流分布等,就存在一定程度上的信息冗余。在用户对天线的不断优化迭代过程中,积累了大量的仿真数据,这些仿真数据中已经暗含了天线结构参数和对应反射相位曲线的映射规律,但传统电磁仿真却无法有效利用这些历史数据来加速自身仿真过程。已经通过理论证明,带有非线性激活函数的深度学习网络能以任意精度逼近任意的可测量函数[8],因此只要积累一定数量的仿真数据,就能够通过学习训练建立从天线结构参数来预测其反射相位曲线的深度学习网络,替代电磁仿真过程,一般来说可将后续的天线优化设计过程加速3~4个数量级[9]。
本文旨在引导读者了解并入门智能电磁计算这一新兴领域,结合作者自身的研究范畴,首先从算法层面分别介绍了智能电磁计算在正向电磁仿真和逆向电磁成像上的最新研究成果,随后从软硬件或数字物理相结合的系统层面介绍了基于信息超材料的智能计算新体制和相关应用,最后对全文进行了总结并预测智能电磁计算的发展方向。需要说明的是,本综述局限于作者所了解到的工作,因此对智能电磁计算的介绍并不全面,势必会遗漏一些非常优秀的研究成果。希望本综述可以起到抛砖引玉的作用,吸引更多的优秀科研工作者,为智能电磁计算的发展添砖加瓦。
2 正向智能电磁仿真
基于Maxwell方程组的正向电磁仿真技术为电磁兼容分析、电子器件设计、信号处理、通信网络设计和电子对抗等领域提供了重要参考,在信息化时代生产制造中发挥了举足轻重的作用。是否掌握自主可控的精准快速的正向电磁仿真技术,也是衡量一个国家科学技术水准以及工业制造能力的重要指标,对我国具有重大战略意义。目前,主流正向电磁仿真算法主要包括以有限差分法[10]、有限元法[11]、矩量法[12]等为代表的全波仿真方法,和以弹跳射线法[13]等为代表的高频渐近方法。虽然经过前人不断的努力,大量改进后的快速算法已经问世,但与实时化、多尺度要求仍然相距甚远。因此,需要提出一种全新的计算范式来解决传统方法面临的计算效率难题。
近年来,随着神经网络理论以及计算机硬件的快速发展,人工智能技术在解决计算机视觉、自然语言处理等诸多领域的数据处理问题方面展现出了显著的效率优势,这给传统物理仿真带来极大启发。综合目前已有的研究成果可以大致看出,智能计算实现正向仿真效率提升,本质上是通过学习输入到输出的映射关系,提取有效物理信息,从而构建等效神经网络模型代替传统数值算子,在保证计算精度基本不变前提下实现计算复杂度的降阶。需要指出,人工智能并不是传统方法的替代品,因为基于神经网络构建的等效求解器不具备普适性求解能力,其最为显著的优势在于特定场景下的精准快速(甚至达到实时化程度)计算,尤其适合器件优化设计等小尺度多轮迭代计算应用,以及无线环境仿真等大范围粗颗粒度仿真应用。由此不难判断,正向智能计算将在未来的通信、感知、制造等领域展现出巨大的应用价值。目前,正向智能计算技术逐渐成为学术界、产业界关注的热点研究领域,并且在多个物理学科[14-16]的仿真计算方面都取得了非常积极的研究成果。鉴于上述进展,智能化也被视为计算电磁领域未来最为重要的发展方向之一。
本节主要对正向智能电磁计算近年来的研究情况进行介绍。按照实现思路上的划分,正向智能电磁计算技术主要可以分为两类,即数据驱动的电磁计算以及物理驱动的电磁计算。数据驱动的电磁计算内容丰富,而其中的算子学习技术因其独特的设计理念以及优异的性能,受到了学术界广泛关注。因此,本节接下来将主要从数据驱动、物理驱动以及算子学习3个角度展开叙述,并简单介绍一些可微分正向仿真的研究成果。
2.1 数据驱动的正向电磁计算
数据驱动方法是目前智能电磁计算领域的研究主流。数据驱动的电磁计算可以理解为,给定大量仿真或实测数据,通过神经网络有监督地学习Maxwell方程组在不同电磁参数、激励以及边界条件下的解,从而建立输入到输出的直接映射。如图1所示,根据智能模块在整个仿真计算过程中的使用方式,数据驱动的电磁计算大致分为两类:一种可概括为结果学习,即直接学习从电磁参数到期望计算结果的映射,包括场值和电流等;一种可概括为过程学习,即用神经网络代替传统仿真方法中的某一个中间环节,实现计算效率提升。
图1 数据驱动的正向电磁计算分类Fig.1 The classification of data-driven forward electromagnetic computing
结果学习是一种最直接的策略。文献[17]根据地质雷达工作原理,构造神经网络实现从给定环境、电磁参数到电磁波形的快速预测。文献[18]给出了神经网络求解二维波动方程的技术方案,以循环神经网络(Recurrent Neural Network,RNN)和卷积神经网络(Convolutional Neural Network,CNN)代替显差分格式迭代求解不同时刻的电场。一些研究人员注意到电磁计算与计算机视觉的相似性,提出可以通过CNN代替频域有限差分法(FDFD)求解Helmholtz方程[19](如图2(a)所示)以及Poisson方程[20],其中文献[19]报道的真空中紫外波段CNN等效求解器在计算全局相对误差不超过2%的前提下实现了接近200倍的计算提速,而文献[20]报道的3.3 GHz二维、三维CNN等效求解器也实现了低全局相对误差(小于-30 dB)条件下1到2个数量级的计算提速。此外,美国伊利诺伊大学香槟分校的研究人员[21]基于自编码器加RNN架构,提出了一种针对二维散射问题的时域求解器。除了微分方程,基于积分方程思想(特别是矩量法)的研究也大量出现。文献[22]提出在求解二维介质散射问题时,可以先通过对抗生成神经网络(Generative Adversarial Network,GAN)[23]学习等效电流分布,之后间接计算出散射场分布。文献[24,25]针对二维完美电导体(Perfect Electric Conductors,PEC)散射问题提出了与入射波无关的“固有特征参数”,并通过学习这一参数间接计算远场雷达散射截面(Radar Cross-Section,RCS)(如图2(b)所示)。文献[25]基于注意力机制设计的等效求解器表现优异,在其所给测试数据集上RCS预测正确率超过98%,且相比于矩量法获得接近100倍的计算加速比。文献[26]研究了三维介质散射问题,参考迭代思想设计了级联网络来学习电通密度,不同于简单的黑盒网络仅输入入射场以及介电常数,该网络再引入电场的Born级数展开1阶项作为输入,改善了预测散射场相对误差,并且对比数值方法实现了计算效率接近80倍的提升。
图2 部分数据驱动正向电磁计算研究成果Fig.2 Several research results of data-driven forward electromagnetic computing
结果学习策略直观、高效,但问题同样非常明显:由于缺乏物理规律指导,结果学习策略的求解精度和泛化能力往往不尽如人意。近年来,以传统方法为主体,以智能手段加速中间环节的过程学习策略同样受到了关注。例如,一些早期研究试图将智能模块整合进FDTD计算过程。文献[27,28]提出了“智能吸收边界”方案,分别采用RNN以及长短期记忆神经网络(Long Short Term Memory,LSTM)代替理想匹配层吸收边界条件(Perfectly Matched Layer,PML),能够在单层智能边界的条件下达到多层PML的吸收效果,其中RNN方案更快,能够实现约2倍的计算提速,但吸收效果不及LSTM方案。文献[29]注意到了波动方程迭代差分格式与RNN在结构上的相似性,重新设计了RNN模型,实现了时域标量波函数模拟。文献[30]引入了深度可微森林模型(Deep differentiable Forest,DFF)来取代传统的多层PML,减少了计算区域的大小和复杂度,并保持了良好的精度。除FDTD之外,更多的电磁算法也被纳入了智能化研究范畴。文献[31]提出使用人工神经网络替代转移函数,从而加速多层快速多极子计算过程。文献[32]将智能技术引入格林函数方法,利用人工神经网络模拟复杂区域内的格林函数,相较于数值格林函数方法,同时降低了运算内存和时间开销,在基本保证求解精度的前提下计算效率提升接近2倍。针对矩量法,文献[33,34]基于共轭梯度方法(Conjugate Gradient,CG)思想,设计了一种基于级联神经网络的线性方程组求解器(如图2(c)所示),可在输入散射体的相对介电常数分布和入射场信息后快速计算获得总场。然而这种方案加速效果较为有限,实验观测到相较于CG方法仅能够在3~4 GHz频点处获取大约1.2倍的计算效率提升。文献[35]在此基础上进行了扩展,基于复数批量归一化技术,改进了基于CG方法和广义最小残差方法的等效级联神经网络,并且通过数值实验证实了所提方案在计算效率上的改善。不难发现,过程学习方案相比结果学习虽然引入了更多物理信息,整体泛化能力得到了改善,但计算效率增益通常会大打折扣,很少能够观测到出现超过1个数量级的提升。如何进一步降低过程学习方案计算复杂度,也是需要在未来深入研究的问题。
近年来,数据驱动的正向电磁计算发展大致呈现出以下趋势:模型逼近能力持续增强,问题求解规模不断增长,物理机制关联度日渐紧密,求解器结构更加自由,求解结果更加稳定可靠等。虽然发展现状仍有不足,但数据驱动方法在加速仿真过程方面仍然表现出了相当的潜力与价值。
2.2 物理驱动的正向电磁计算
物理驱动的正向电磁计算是一种近年来同样备受关注的计算范式。这类方法将物理方程以及边界条件用作神经网络的损失函数,通过无监督或部分有监督的方式完成网络训练。相较于数据驱动方法,如图3(a)所示,以物理驱动的深度神经网络(Physics-Informed Neural Network,PINN)[36]为代表,该方法在提升网络逼近能力的同时减少了数据依赖,特别适用于解决小样本学习问题。受到PINN启发,近年来物理驱动电磁计算获得了快速的发展。文献[37]在U-Net架构基础上引入频域电场方程作为损失函数,提出了求解自由空间散射光场的MaxwellNet,如图3(b)所示,这一成果被应用于指导光学透镜设计[38]。文献[39]则基于PINN模型,提出了一种针对多层涂敷腔体的无网格电磁场分析算法,分析了腔体结构以及涂敷材料对耦合阻抗的影响。文献[40]同样基于U-Net结构,通过结合数据以及物理驱动方法,提出了WaveY-Net,可以实现对一维周期结构电磁特性的精准快速仿真,相比串行FDFD算法在计算效率上提升了近700倍。
图3 部分物理驱动以及算子学习正向计算研究成果Fig.3 Several research results of PINN based and operator-learning based forward computing
然而,针对物理驱动方法的研究仍然处于早期阶段。尽管表现出巨大潜力,与数据驱动方法类似,这种方法仍然存在许多未解决的问题,例如神经网络受到参数、边界条件限制,导致泛化能力同样不足,无法求解未知的微分方程等。
2.3 基于算子学习的正向电磁计算
算子学习[41-43]是近年来智能微分方程研究领域的重大理论与方法突破。无论数据驱动还是物理或方程驱动方法,都没有很好地解决泛化性问题,无法实现对一类微分方程的求解。算子学习方法立足于算子通用逼近原理[41],通过设计神经网络学习微分算子,找到方程的一般性解,从而解除参数、边界条件等因素的束缚。算子学习本质上仍然属于数据驱动方法,但网络结构设计与简单数据驱动方法已出现明显的不同。2021年,由麻省理工学院、布朗大学等机构学者[41]联合提出了最早的神经算子模型--DeepONet,用于解决一类微分算子的学习难题。基于算子通用逼近原理思想,该模型包含“分支”以及“主干”两种全连接神经网络,分别用于抽取源函数以及位置坐标有效信息(中间输出向量),并最终通过点乘操作获取解在期望位置解的取值[41]。如图3(c)所示的另一种神经算子模型--神经傅里叶算子(Fourier Neural Operator,FNO)[44]是算子学习领域的最新研究成果。不同于DeepONet,FNO的级联结构设计思想来源于格林函数法,其物理含义更加简明直观(虽然FNO目前并没有展现出在计算效率和泛化能力方面对DeepONet的绝对优势,不过二者都被视为极具潜力的神经算子模型)。基于快速傅里叶变换操作,FNO保证了对全局信息的学习,并且变卷积为乘法,极大地降低了方程求解计算量[44]。FNO在解决流体问题上的成功也带给了电磁计算启发。文献[45]提出用于求解频域自由空间散射问题的改进FNO,相较简单的U-Net等效求解器,不论是计算精度,还是训练以及推理速度都出现了显著提升。文献[46]提出求解频域Maxwell方程组的扩展FNO,相较于FDFD获得了超过100倍的加速比。
由于设计思想的特殊性,算子学习方法在效率、精度以及泛化能力方面获得了较大提升,展现出了巨大发展潜力与应用价值,目前已被成功应用于地球大气活动预测[47],同时也给计算机视觉[48]等其他领域研究带来重要启发。未来,算子学习方法的进一步发展也将带给智能电磁计算更多可能。
2.4 可微分正向电磁计算
受到可微分渲染技术[49]的影响,可微分正向电磁计算最近也开始受到关注。所谓“可微分”,就是能够求出正向仿真过程的导数(广义上的可微分技术包括神经网络等效求解器,这里主要指非神经网络求解技术)。未来,可微分正向电磁计算有两个可能的应用方向:首先,可以将可微分过程本身看作优化器,借助梯度下降等方法求解逆向问题;其次,可以将可微分过程嵌入神经网络,设计更加复杂的功能。近年来,学术界在可微分正向电磁计算上进行了初步的探索。例如,文献[50,51]就指出,可以在一些成熟的深度学习平台(pytorch,tensorflow等)上直接移植FDTD算法,如图4(a)所示。一方面,FDTD算法本身可微分,能够直接嵌入不同功能的可微分系统;另一方面,可以借助现有深度学习平台对于并行计算的支持,加速正向仿真过程。针对不可微分算法(如高频方法)的研究也有所突破。如图4(b)所示,文献[52]类比可微分渲染技术[53,54],提出了一套可微分合成孔径雷达(Synthetic Aperture Radar,SAR)渲染系统,将渲染过程中的光栅化、判断面元是否可见的深度缓存等离散化操作通过概率近似映射为二维图像和三维场景要素之间的连续函数,实现了正向渲染管线(pipeline)的连续性,从而能够利用梯度下降算法从目标二维图像中推断出三维信息。
图4 部分可微分正向电磁计算研究成果示意Fig.4 Several research results of differentiable forward electromagnetic computing
目前,可微分正向电磁计算还处于发展的早期阶段,这一领域还存在着大量问题等待解决。特别地,相比于全波方法,传统高频方法由于本身具有不连续特性,更难实现可微分化。此外,可微分化必将提升高频算法计算、存储复杂度,算法效率也是一大难题。当然,挑战的存在也预示着机遇,可微分正向电磁计算仍旧具备巨大的研究价值。
2.5 正向智能电磁计算总结
本节主要就近年来正向智能电磁计算领域所取得的代表性研究成果进行梳理总结,包含4个重要组成部分,即数据驱动正向电磁计算、物理驱动正向电磁计算、基于算子学习的正向电磁计算,以及可微分正向电磁计算。这4类方法各具特色,具有不同的适用场景,彼此之间能够互为补充。表1展示了4种正向电磁计算方法的特点。其中基于结果学习的数据方法技术成熟度很高,计算复杂度一般较低,但获取较好泛化能力依赖大量训练数据。基于过程学习的数据方法近年来受到广泛的研究,技术成熟度较高,由于没有全面剔除数值计算环节,计算效率提升不及结果学习方案,但泛化能力获得了很大提升。相较数据驱动方法,物理驱动方法应用成熟度稍差,而方程本身作为损失函数也导致计算复杂度有所提高,但降低了对训练数据的依赖程度,特别适合小样本学习问题。算子学习方法研究仍处于起步阶段,应用成熟度较低,由于同样属于数据驱动方法,仍然需要一定量的数据参与网络训练,但泛化能力大幅提升,计算复杂度较低。可微分正向电磁计算突出强调可微分能力,应用成熟度适中,由于其主要目的是将传统计算电磁方法可微分化,对应求解器结构变化不大,计算复杂度一般与传统方法趋同,泛化能力最强,几乎不需要训练数据。
表1 4种智能电磁计算方法特性对比Tab.1 Comparison of characteristics of four intelligent electromagnetic calculation methods
3 逆向智能电磁成像
电磁逆散射成像可将接收天线接收到的目标物体的电磁散射回波通过成像算法还原为物体的介电常数或电导率分布图像,其作为一种非接触式的可以窥见物体内部构造的技术,已经被广泛应用于无损探伤[55,56]、地质勘探[57,58]、癌症检测[59,60]、安全检查[61,62]等。逆散射成像过程本质上是一种从原始电磁数据到目标图像的非线性映射,逆散射成像算法的目的就是寻找最佳的映射关系。但由于逆散射问题本身所固有的非线性和病态性,寻找合适的逆散射成像映射关系是一个非常具有挑战性的问题,尤其是在高噪声的环境中。在传统算法中,这一映射关系一般通过构建电磁散射数学模型再结合优化算法来寻找,并发展出了许多经典的逆散射成像算法,例如对比源反演法(Contrast Source Inversion,CSI)[63,64]、扰动Born/Rytov迭代算法[65,66]和随机方法[67]等。一般说来,带有非线性激活函数的深度学习网络能以任意精度逼近任意的可测量函数[8],因此得益于深度学习网络这一强大的非线性映射学习能力,基于人工智能的电磁逆散射成像,本文称之为逆向智能电磁成像,也获得了越来越多研究者的关注[68]。逆向智能电磁成像的优势在于,它可以从数据中学习映射规律,因此免去了复杂的电磁模型推理和构造的过程,也免去了优化算法中的迭代过程,极大提升了成像的效率。同时,针对特定的逆散射问题,深度学习网络能够学习出暗含几何先验信息的映射关系,可提升成像的精度,甚至实现突破成像分辨率极限的超分辨成像。当然,逆向智能电磁成像的劣势也比较明显,主要表现在两点:一是严重依赖训练数据,训练数据的数量和质量直接决定了成像的效果;二是缺乏可解释性和泛化能力,难以扩展到和训练数据差异性较大的成像场景。针对这两个问题,有很多研究者开始将电磁物理机理引入深度学习网络结构的设计中,通过引入电磁学先验知识,减少逆向智能电磁成像对数据的依赖,同时提升泛化能力。本节也将分为纯数据驱动和电磁物理驱动这两部分来介绍逆向智能电磁成像的相关进展。
3.1 纯数据驱动的逆向智能电磁成像
逆散射成像的结果图和我们所认知的传统图像有所不同,由于逆散射图像表征的是目标物体的介电常数分布或电导率分布,而这些参数往往是以复数形式表示的,因此逆散射图像一般也是一个二维复数矩阵,可以将其看成是由复数的实部部分和虚部部分分别组成的两张图片,对应到深度学习网络中就是一张双通道图像。早期的逆向智能电磁成像以纯数据驱动的深度学习网络为基础,利用提前制作的大量成对样本,学习从原始电磁数据或低分辨成像结果到高精度成像图案的映射关系。文献[69]自述其为第1个使用深度学习技术从多重散射(多发多收天线)测量结果中重建目标图像的论文,文章构建了一个U-Net深度学习网络结构[70]学习从反向传播算法(Back Propagation,BP)生成的初步图像到目标完整清晰图像的映射,取得了优于传统成像算法的成像精度和效率,如图5(a)所示。文献[71]同样使用U-Net网络,进一步学习并训练了3种成像映射关系,这3种映射的输出都是目标图像,输入分别为原始散射电场回波测量数据、由BP算法生成的初步图像和由主成分分析法获得的感应电流数据。在文中作者分别称这3种映射关系为直接反演模式、反向传播模式和主成分电流模式。经过测试,反向传播模式和主成分电流模式均能够生成较为理想的目标图像,但直接反演模式的成像效果不佳,如图5(b)所示。相比于包含相位信息的散射场测量数据,使用只有电场幅度信息的测量数据(无相数据)来进行逆散射成像是一个更加具有难度的问题,这是由于相位信息的缺失增加了逆散射映射的非线性和病态性。在文献[71]的基础上,文献[72]讨论了使用无相数据来训练基于U-Net的逆散射成像网络,并构建了3种成像映射模式,其中第1种模式直接使用测量的散射电场幅度值作为U-Net的输入,后两种模式首先使用无相反演算法在一个小信号子空间内获得初步的图像,然后将此图像作为UNet的输入。实验结果表明,后两种模型均能够取得优于传统算法的成像效果且具有一定的泛化能力和抗干扰能力。文献[73]提出了一种“两步走”的逆向智能电磁成像方法:第1步,利用一种复数值U-Net网络结构实现散射电场的频率外推,可以从单频点的散射电场“图像”(二维复数矩阵形式表示的通过单发多收方式收集到的散射电场值)预测多频点的散射电场“图像”集合。第2步,将第1步中预测获得的多频点散射电场“图像”集合输入构建好的复数CNN网络,最终实现非均匀、高对比度散射体的高精度实时成像。作者认为,第1步中散射电场频率外推的实现使得仅需输入单频点的散射数据即可进行逆向智能电磁成像,减少了输入数据的大小,简化了数据测量和采集操作,因此在简便性和实用性方面优于需要采集多频点数据的方法。
图5 基于U-Net结构的逆向智能电磁成像Fig.5 Reverse intelligent electromagnetic imaging based on U-Net
U-Net是一种常被用来学习从图片到图片映射关系的网络结构,其所构建的从输入特征到输出特征的“信息高速公路”更善于处理输入和输出特征相似度较高的场景。而在直接反演模式中,输入和输出数据的特征差异性过大,导致U-Net难以学习到它们之间的正确映射关系,从而影响了最终的成像效果。文献[71]的研究团队在进一步的工作中[74],为了缓解深度学习逆散射问题的非线性并使得深度学习网络能够更加容易地学习出所需的映射关系,使用了改进的对比介电常数[75]图像作为成像映射的输入,最终在强散射问题中也取得了理想的成像效果,并且可以扩展到简单的三维成像场景[74]。
除了U-Net结构,在计算机视觉领域被广泛用于进行图像生成任务的对抗生成网络结构(Generative Adversarial Network,GAN)也被用来实现逆向智能电磁成像任务,GAN中生成器和鉴别器的对抗性训练能够在重建的图像中引入更多的几何特征约束。文献[76]借鉴了一种经典的条件GAN结构Pix2Pix[77]构建了从BP算法生成的初步图像到目标图像的智能成像网络。与传统Pix2Pix网络不同的是,作者所构建的Pix2Pix网络的生成器部分是基于复数矩阵相乘操作实现的复数网络。由于主流的深度学习平台并不支持直接的复数乘法,作者将一个复数矩阵拆分成实部和虚部两个通道,并在实数域构建等效的复数乘法操作,最终实现了等效的复值Pix2Pix网络结构[76],如图6(a)所示。文献[78]将注意力机制引入Pix2Pix的生成器部分,可在背景中突出目标散射体的特征;同时将BP方法重建的未知散射体的零阶t矩阵系数图像作为Pix2Pix的输入,首次实现了介质和PEC同时存在的混合场景的逆向智能电磁成像,如图6(b)所示。需要明确的是,U-Net和Pix2Pix并不是互斥的,Pix2Pix中的生成器部分同样可以采用U-Net结构,实现从电磁散射数据输入到目标图像输出之间的映射,此时Pix2Pix的作用是将GAN的对抗生成误差引入了U-Net,可以使得U-Net输出的图像具有更加明晰的几何特征。
图6 基于Pix2Pix结构的逆向智能电磁成像Fig.6 Reverse intelligent electromagnetic imaging based on Pix2Pix
3.2 电磁物理驱动的逆向智能电磁成像
由于逆散射问题的输入和输出之间具有复杂的非线性映射关系,因此基于传统的深度学习网络的纯数据驱动学习往往对训练数据的质量和数量具有很高的要求。为了应对此问题,和物理驱动的正向电磁计算类似,科研人员想到了将电磁物理机理或方程引入逆散射深度学习网络的结构设计和误差函数设计中,为逆散射问题定制专用的深度学习模型,能够更容易地学习到输入和输出之间的非线性关系。同时,从信息量的角度,电磁物理驱动的深度学习网络不但可以从训练数据中学习所需信息,还可以从人类总结出的、以数学公式为表达形式的物理规律中学习,因此能够在一定程度上降低对训练数据数量的要求。
上述两种物理驱动的深度学习网络结构虽然都借鉴了迭代优化算法,但是它们训练完成后从输入到输出都是一个端到端的直接映射,不存在迭代过程。其实逆散射成像深度学习网络也可设计成迭代的形式,这么做的好处是整个成像过程可以具有更高的可控性和可解释性,表现出更好的抗噪声特性;代价就是会牺牲一定的计算效率。文献[81]展示了一个基于有监督下降方法(Supervised Descent Method,SDM)的逆散射成像反演算法,它是一种迭代的机器学习方法,将反演过程分为离线训练和在线预测两个阶段。在离线训练过程中,它在每次迭代中学习一个用来更新模型的参数下降方向;在在线预测阶段,之前学习到的参数下降方向被用来指导反演过程中模型参数的更新方向(下降方向和数据残差的乘积),并通过实测数据证明了该方法的通用性和可靠性。在文献[81]的基础上,研究人员将深度学习技术引入逆散射成像的迭代优化反演过程中,形成了迭代的逆散射成像深度学习框架,并将其分成两个顺序执行的阶段:离线训练和在线优化学习。文献[82]展示了一个非常经典的案例,在离线训练阶段,作者设计并训练了一个前向求解器神经网络(FWD Solver)来代替数值正向求解器[34](从目标图像预测对应的散射电场);随后作者设计了一个子网络(Sub-network)用来代替逆散射反演求解器(从散射电场数据恢复目标图像),并将前向求解器神经网络和子网络交替级联,组成最终的迭代的深度学习网络结构,称之为ISP求解器(Inverse Scattering Problem,ISP)[82],如图8(a)所示。在在线优化学习阶段,作者使用预先制作的成对训练数据样本集来训练ISP求解器(其中FWD Solver的网络参数保持不变),具体做法为将实测的散射电场数据和当前FWD Solver预测的散射电场数据之间的残差输入到子网络中,并让子网络学习当前的图像和真实图像之间的残差,以此逐渐逼近真实的目标图像。
上述的所有逆向智能电磁成像模型虽然都实现了比传统逆散射成像算法更好的成像效果,但是都离不开提前制作大量的包含散射电场数据和对应的目标图像的成对训练样本,也就是说它们都是基于监督的深度学习模型。众所周知,训练数据集的收集和制作过程是非常耗时的,是否可以设计一种非监督的逆向智能电磁成像模型,它无需制作成对的训练样本,而且和传统逆散射成像算法一样仅获得当前目标的散射电场数据就能完成成像任务,同时又可以充分利用深度学习网络的拟合优势实现比传统算法更好的成像效果?对于此问题,文献[83]进行了初步尝试并构建了首个非监督的逆向智能电磁成像架构CSI-GAN,如图8(b)所示,在无需成对训练数据的情况下实现了优于传统算法的成像效果。CSI-GAN的设计灵感来源于乘性对比源反演算法MSCI[64],MSCI的误差函数分为两部分,其中一部分源于预测的散射电场数据和实测数据的差值,另一部分来源于一个表征成像图案平整度的几何特征约束函数,可以使得最终生成的图案具有更清晰的边缘和平坦的内部结构,同时抑制背景区域的噪声。但是实测结果表明,当散射体几何结构较复杂或相对介电常数较高时,MSCI中的几何特征约束函数不足以使最终的成像结果表现出清晰的目标特征,整个算法仍旧会陷入一个效果非常差的局部最优解。为了在成像算法中引入更强的几何结构约束,CSI-GAN将完整的对比源反演算法(CSI)[63]和循环对抗生成网络(Cycle-GAN)[84]相结合,其中CSI算法引入基于物理方程的优化过程,Cycle-GAN引入基于目标几何先验知识的强几何结构约束来对CSI迭代过程中的成像结果进行修正。和迭代的逆散射成像深度学习框架一样,CSI-GAN的实现也分为离线训练和在线优化学习两个阶段。在离线训练阶段,将Cycle-GAN预训练为一个图像去噪器;在在线优化学习阶段,Cycle-GAN中的判别器会接收预先收集的图像(例如手写体数字图像),学习如何判别这些“合法”图像的特征;生成器会接收来自CSI算法的中间成像结果,在来自物理方程和来自判别器的两个误差函数的同时作用下更新自身网络参数,不断输出修正后的成像图案,帮助CSI算法脱离病态局部最优解,最终收敛到理想的成像结果。需要说明的是,整个Cycle-GAN的训练过程都不需要收集训练图像所对应的散射电场数据,因此节省了大量的数据集制作的时间,尤其适用于散射电场数据较难获得的场景。但是由于CSI-GAN中集成了完整的CSI算法迭代过程,且需要在迭代过程中现场训练GAN的参数,因此和ISP求解器[82]相比需要耗费更多的计算时间和资源开销。
可以看到,深度学习已经在解决电磁逆散射问题方面显示出巨大的潜力。然而,深度学习成像结果中缺乏不确定性量化和可靠性评估仍然是一个尚未解决的挑战。文献[85]提出了一个条件正则化和生成流(conditional Renormalization and Generation-Flow,cRG-Flow)网络,并开发了一种新的概率深度学习策略来量化逆向智能电磁成像方法解中的不确定性。与现有的智能逆散射方法相比,所提出的策略具有两个重要优势:首先,由于cRG-Flow的可逆性质,在网络中可以同时考虑前向电磁散射计算及其逆过程,因此可以容易地对成像结果施加物理约束。其次,cRG-Flow是专为成像任务开发的模型,和传统的深度学习网络相比,具有更强的可解释性。
目前逆向智能电磁成像往往局限于二维场景或者简单的三维场景,文献[86]提出了一种基于点云的无网格三维逆散射深度学习成像架构,可以处理具有复杂几何形状的三维介质体的逆散射成像问题,如图9所示。这个工作具有3个鲜明的特点:第一,这是一种基于点云的无网格方法,与基于网格的反演方法相比,所提出的方法只需要在成像空间中随机采样少量的点云作为输入,因此深度学习网络中可训练参数的数量几乎与用于二维逆散射问题的网络的参数数量相当。第二,其使用流模型构建了一个双向可逆的网络结构,可同时实现逆散射成像映射过程(逆向成像)和散射场的正向预测过程,其中逆向成像过程输入随机分布的点云和散射电场数据,得到目标介质点云分布;正向预测过程输入目标介质点云和高斯随机噪声数据,得到散射电场的预测值。第三,用于反演的输入点云的数量和位置都是可以随意指定的,即使在输入点很少的情况下也能够很好地恢复散射体的形状,且能够单独对三维散射体的不同部分进行重建。
图9 基于点云的无网格三维逆向智能电磁成像模型[86]Fig.9 A mesh-free 3-D deep learning electromagnetic inversion method based on point clouds[86]
4 基于信息超材料的智能电磁计算机及其感知应用
电磁超材料使用周期或准周期排列的半波长尺度的宏观基本单元来模拟传统材料学中微观尺度的原子或者分子。这些宏观基本单元通过谐振系统与外加电磁场相互作用,使得电磁超材料表现出传统材料所不具备的独特电磁特性[87-91]。然而早期的电磁超材料主要在模拟域对材料属性进行设计,加工完成后功能特性就固定了,无法进行更改,极大限制了应用范围和灵活度。2014年,Cui等人[92]提出了编码超材料、数字超材料和可编程超材料的概念,通过将超材料中的宏观基本单元的两个相反的相位响应分别编码为数字0和1,每个单元的反射或者透射的相位状态可以通过现场可编程门阵列(Field Programmable Gate Array,FPGA)实时切换,由此实现了将超材料的宏观特性设计从模拟域转移到数字域,构建起了电磁世界和信息世界的桥梁,并进一步发展出信息超材料新体制[93-96]。信息超材料(超表面)的出现在降低电磁超材料的用户端使用难度的同时极大提升了对电磁波调控的灵活性,同时使得人工智能技术可以很方便地应用于信息超材料的编码设计、微波智能计算和感知成像,本节也将顺序介绍相关的研究成果。
4.1 信息超材料的智能设计
信息超材料的智能设计可分为单元结构设计和阵列编码设计。由于单元结构的智能设计在我们以往的综述文章中多有描述[9,97],此文不再赘述,而将叙述重点放在信息超材料的智能编码设计上。文献[98]实现了一个可以实时从所需的单波束或双波束辐射方向图获得对应的超表面编码的深度学习网络,采用纯数据驱动的方式进行训练,如图10(a)所示。对于辐射方向图的输入,不是直接输入精确的方向图信息,而是将一副方向图分为3张图片进行输入,分别代表方向图的上边界、下边界和定向性信息。对于深度学习网络的输出,分别使用BP方法和遗传优化算法获得了单波束或双波束方向图对应的48×48大小的二进制超表面编码矩阵作为输出。经过训练,网络所预测的超表面编码矩阵和测试集中的正确编码矩阵的元素吻合度超过94%,实测结果也验证了所预测编码的有效性。文献[99]提出了一个基于离散偶极子近似算法所构建的物理驱动的深度学习网络结构,充分考虑了不同编码下单元之间的耦合效应,可以在有限训练数据的情况下实现从超表面编码到对应的方向图的准确预测,且具有轻量化的优势,如图10(b)所示。随后作者使用此网络快速生成了大量的包含超表面编码和对应方向图的成对的样本,这些样本被用来训练另一个从方向图到对应超表面编码的逆向设计网络,如图10(c)所示。编码的预测吻合度超过了98.4%,并通过实测验证了整个流程的有效性。
图10 基于信息超材料的智能方向图设计Fig.10 Intelligent design of radiation patterns based on information metamaterial
上述的智能编码设计工作都是基于成对训练数据的监督学习,好处是可以使用全波仿真数据或实测数据来进行训练,具有较高的准确性,但对训练数据的质量和数量具有较高的要求。在有些应用场景中,从超表面编码到对应的电磁响应特性的计算过程可由近似的解析公式来描述,以此可构建非监督的深度学习网络,实现智能的编码设计。文献[100]报道了一种非监督的用于全息图实时设计的深度学习架构,并使用编码超表面进行了实测,展示出了和传统的GS算法相比在指标和视觉感受上更好的成像效果。作者通过引入全息成像的物理机理来给神经网络提供先验信息,构造了一个输入等于输出的自编码器结构。具体做法:首先,构建一个深度神经网络(Deep Neural Networks,DNN),此神经网络的输入为目标像,输出为超材料编码。然后,使用格林函数推导出从超材料编码到目标像的前向传播过程。最后,将DNN和这一前向传播过程对接,形成一个输入和输出都是目标像的自编码器结构,如图11(a)所示。训练这一自编码器的目标函数就是输入和输出的均方误差,训练目标就是让输出尽量等于输入,这样训练完成后取DNN的输出就是所需的超材料编码。作者在实际训练时发现,均方误差并不能完全反映所成的像在人类视觉感官上的相似度,因此在误差函数中还引入了对抗生成网络(GAN)的判别误差,使得所成的全息像的视觉语义特征更加明晰。训练时的目标图像取自手写体数字数据集,理论上任意公开的图像数据集都可以用来构建训练数据集,节省了大量的训练集制作成本。训练完成后从输入一个目标像到得到所需的编码仅需几十毫秒,实现了实时的全息成像[100]。文献[101]在文献[100]的基础上,将从编码到全息图像的前向公式替换成了从时空超表面的时序编码到对应谐波辐射图的前向公式,构建出了用于时空编码超表面实时编码设计的非监督深度学习网络结构,如图11(b)所示,并通过仿真验证了所提方法的有效性。
图11 基于信息超材料的非监督智能设计Fig.11 Unsupervised intelligent design based on information metamaterial
基于信息超材料的智能设计还可被嵌入到更大的系统级工作中,实现更加复杂的功能。文献[102]展示了一种基于编码超表面的自适应微波隐身斗篷,内置了训练好的深度学习神经网络,可以根据接收到的入射电场信息实时设计电磁隐身所需的超表面编码,如图12(a)所示。实验结果表明,受此神经网络控制的编码超表面可以在毫秒内对不断变化的入射波做出反应,表现出非常理想的隐身性能。这项工作很好地展示了智能编码设计的优势。为了实现快速的电磁隐身,编码超表面需要对入射波具有极快的响应速度,生成合适的反射波形以抵消入射波的影响来隐藏内部物体。这就要求超表面对所需的电磁响应具有实时的编码设计能力,这种情况下传统的基于迭代优化算法的编码设计方法就完全无法胜任了,只能采用非迭代的智能设计方法。
在明确了对轻罪与重罪的划分应当坚持“形式标准说”之后,还需要进一步解决,在这一标准内部,到底是坚持“法定刑标准说”,还是“宣告刑标准说”?对此,笔者认为,坚持“法定刑标准说”是具有更大合理性的。
文献[103]展示了一种模块化的智能编码设计方案,可以基于自由组合出的折纸状的超表面阵列实现快速的方向图编码设计,如图12(b)所示。作者设计了两种具有不同功能的深度学习网络,分别称为组装网络(Assembled Neural)和知识继承网络(Inherited Neural Network,INN)。其中负责将整个超表面阵列总的全局电磁响应分解为每个子模块超表面所需表现出的局部电磁响应,知识继承网络则根据组装网络生成的每个子模块所需的电磁响应设计出对应的超表面编码,最终实现了复杂方向图模式下的可折叠超表面的快速编码设计。
4.2 基于信息超材料的可编程智能机
目前,人工智能的实现主要依赖两种技术,一是基于计算机的机器学习算法(例如深度学习和强化学习),二是专用集成电路和特制的光计算芯片[104]。一个典型的人工神经网络(Artificial Neural Network,ANN)的实现,一般使用层级连接的人工神经元来模拟人脑神经元之间的连接和行为。通过大量数据的训练,ANN已能完成众多的智能任务,且在人脸识别、自动驾驶、语音处理和医疗诊断等方面获得了大量应用。除了基于计算机和芯片实现的ANN网络,全光实现的ANN最近也被多个团队所提出[105,106]。这些光学衍射神经网络利用光的矢量叠加性和空间自由传播特性可实现并行的矩阵运算操作,以此来模拟人工神经元之间的交互和连接。同时,使用光学透镜或反射介质模拟人工神经元对信号的调制作用,最终构造出具有光速并行计算和低功耗特性的ANN硬件。
目前,虽然光学衍射神经网络得以实现,但大都具有功能固化、不可调节、不支持参数修改、使用成本高等缺点,严重制约了其功能扩展。在未来的实际应用中,为了提高集成度和通用性,衍射神经网络必然会朝着多功能集成和可编程方向发展,因此可编程的衍射神经网络逐渐成为该领域的研究热点。近年来,可编程信息超表面的兴起[92]为实现可编程的衍射神经网络提供了良好契机。文献[107]率先使用多层透射式数字编码超表面实现了现场可编程的微波驱动的衍射神经网络硬件,称之为可编程人工智能机(Programmable Artificial Intelligence Machine,PAIM),如图13所示。作者使用5层透射式的可编程超表面阵列来层级调控电磁波的空间传播和交互特性,其中每层超表面阵列都有8×8个单元,每个单元都可以看成ANN中的一个神经元节点,整个PAIM可看成是一个ANN的物理实现。每个超表面单元能在-22 dB到13 dB的范围内调控透射电磁波的幅度,同时改变和幅度耦合的相位。当入射电磁波照射到一个可编码超表面单元时,电磁波的幅度和相位会被该超表面单元调控,调控的系数由FPGA预先加载到单元上,如图13(c)所示。这个被调控后的电磁波在穿过此单元后,会变为一个新的电磁波辐射源向各个方向辐射电磁波。这样,第1层超表面的每个单元都会向第2层超表面辐射电磁波并进行矢量叠加,如图13(b)所示。叠加后的电磁波就作为第2层每个超表面单元的入射电磁波,经过调制后继续以同样的方式向第3层超表面传播,最终传输至第5层超表面。最后将第5层超表面的输出作为整个PAIM最终的输出。作者基于所构建的实测系统演示了PAIM的多种应用案例,包括图像识别、强化学习和通信中多路用户的同时编解码,充分展示了PAIM的灵活性和处理智能任务的能力。
图13 可编程人工智能机的工作原理示意图[107]Fig.13 The Working Principle of Programmable Artificial Intelligence Machine (PIAM)[107]
文献[107]虽然实现了可编程的衍射神经网络,但并未实现对电磁波的非线性激活,而非线性激活函数对于复杂问题的处理是至关重要的。然而,对于光学神经网络而言,由于结构材料的限制,可编程性能受限。另外,对于衍射深度神经网络来说,虽可利用FPGA任意调节人工神经元的权重系数,但是难以引入非线性激活函数。近年来,人工表面等离激元的发展[108]为实现新的波空间非线性人工神经网络提供了良好契机。文献[107]的研究团队在PAIM的研究基础上,率先使用可编程人工表面等离激元功分器和耦合器实现了现场可编程的微波驱动的表面等离激元神经网络硬件,称之为可编程表面等离激元神经网络(Surface Plasmonic Neural Network,SPNN)[109]。研究团队利用人工表面等离激元(Spoof Surface Plasmon Polariton,SSPP)系统中的功分器和耦合器作为可编程的人工神经元,称之为SSPP单元,如图14(a)所示,并利用SSPP对电磁波的无损传导特性来实现人工神经元之间的连接和信号传输。可编程的非线性激活函数则利用检测端口和放大器偏置电路之间的闭环反馈系统来实现。整个SPNN系统由多个子模块组合而成,每个子模块包含4个输入SSPP单元和4个输出SSPP单元的交叉连接结构,形成一个全连接的可编程神经元子块,如图14(b)所示。最后,以多个可编程神经子块进行局部连接排布,构建了最终的可编程表面等离激元神经网络,如图14(c)所示。SPNN的可编程特性保证了其能够使用相同的平台实现不同的任务,构建出通用的波空间智能信号感知处理平台。为了验证SPNN的电磁探测和处理上的应用,团队设计并展示了基于SPNN的无线通信实时解码案例,实现了图像的无线传输;同时为了验证SPNN在传统的人工智能任务(例如图像分类)上的性能,团队使用SPNN构造了局部连接的人工神经网络结构,成功实现了对10类手写数字图片的分类任务,识别正确率达到了90%以上,持平了全连接网络的分类性能。
图14 可编程表面等离激元神经网络[109]Fig.14 Programmable Surface Plasmonic Neural Networks (SPNN)[109]
相比于以往的物理神经网络研究,文献[107]和文献[109]展示的工作(PAIM和SPNN)共同具有3个鲜明的创新特征。一是开创性地将信息超材料(包含可编码超表面和人工表面等离激元)用于波空间人工神经网络的设计,实现了所有神经元的独立可编程,具有高度的通用性;二是可直接处理自由空间中的电磁波,无需复杂的模数转换模块,是连接电磁空间和数字空间的智慧桥梁;三是它们不但具有传统的图像智能识别功能,还具有无线通信和智能探测等功能,兼具智能计算机、通信系统、雷达系统等。作为全新的电磁空间可编程智能计算平台和无线通信、信号感知与处理机,PAIM和SPNN有望促进人工智能技术的进一步发展,同时在新一代智能计算、6G通信、智能家居、物联网等领域取得应用。当然,当前PAIM和SPNN还处于原型机验证阶段,尚存在集成度低、体积和功耗较大等劣势,后续可以通过制造和加工工艺改进提升可调控单元的数量和调控精度,同时降低整体功耗。
4.3 基于信息超材料的智能电磁感知
信息超材料和传统电磁超材料的不同点在于,信息超材料集成了可编码超材料和环境感知模块,可引入大数据和人工智能技术,形成智能感知、自主学习和数据处理能力,在成像、通信、雷达等领域实现了诸多新颖的应用。对于智能电磁感知在2021年之前的进展,我们已经进行了系统总结和综述[110],故本文不再赘述,仅介绍近两年的最新研究成果。
文献[111]展示了一个智能室内超表面机器人(I2MR)系统,它把对环境的感知和决策任务都集中到智能超表面来处理,以便让系统中的室内机器人仅需执行接收到的指令,极大简化了机器人对硬件的要求并提升了续航,如图15(a)所示。I2MR系统主要由两部分组成,第1个是“大脑”,它配备了一个用来感知环境的信息超表面和一个由人工智能驱动的数据处理器;第2个是它的“四肢”,比如小车或无人机,并内置Wi-Fi模块来接收指令。I2MR对环境的感知包含对静态场景的感知和对场景中移动的人体的感知,并根据环境的变化来决定“四肢”的行动。如果“大脑”认为当前状态下“四肢”需要有所行动,它就会定位“四肢”的位置,并建立一个无线通信链路,以10 Hz的速率传输控制指令。因此,“四肢”无需再执行任何感知或决策任务,这意味“四肢”可以拥有更长的续航或者更大的载荷。基于此I2MR系统,作者首先设计并单独展示了人体点云成像、“四肢”精确定位、信道主动增强等功能,最后在一个机器人辅助的家庭医疗场景中对这些功能之间的互相配合进行了集中展示,如图15(b)所示。当I2MR检测到有用户跌倒时,会给机器人小车发送指令指导其顺序执行3个任务:首先,小车会移动到药物所在位置并用机械臂抓取药物,之后小车会移动到用户所在位置将药物递给用户,最后小车会回到初始位置待命。
图15 基于信息超表面的智能室内机器人(I2MR)系统[111]Fig.15 Intelligent indoor metasurface robotics (I2MR)[111]
文献[111]中的I2MR系统是基于单频段(2.4 GHz附近)的电磁波来进行场景感知的。为了提升对场景的综合感知能力,研究团队在最新的一个工作中对使用的频带进行了扩展,联合使用分别工作在S,C和X波段的3块分布式信息超表面实现了多任务、多尺度的智能感知[112],并展示了人体三维姿态估计、手势识别、生命体征检测和人体行为检测等多个新颖的应用案例,有望应用于物联网和数字孪生等领域。除了单独实现感知功能,信息超表面还能与其他传感器配合,从而更加迅速地对环境变化做出反应。文献[113]展示了一种基于计算机视觉的智能超表面跟踪与通信系统,研究团队采用深度相机,通过AI技术检测不同环境中多个运动目标的位置,将选定目标的位置信息输入预训练好的人工神经网络;随后人工神经网络在几毫秒内输出优化后的信息超表面编码序列,通过FPGA发送给双极化数字可编程超表面,实现针对选定目标的智能波束跟踪和实时无线通信(如图16所示);最后设计了两个实时的视频传输案例验证了该系统具有与移动目标进行高速信息传输的能力。
图16 基于计算机视觉的智能超表面跟踪与通信系统的工作原理[113]Fig.16 The working principle of intelligent metasurface system for automatic tracking of moving targets and wireless communications based on computer vision[113]
5 总结与展望
人工智能的升级迭代为传统计算电磁学研究注入了新活力。可以预见,智能方法将继解析方法、近似方法、数值方法、快速方法之后,推动电磁领域的进一步发展。但是需要意识到的是,虽然智能电磁计算领域已经出现了许多颇具代表性的研究成果,其总体上仍旧处于科学探索的萌芽阶段,仍需发掘出更多的新机理和新算法,提升智能电磁计算的鲁棒性、可解释性和泛化能力。其存在的技术难题总结起来大致可以分为以下几类:
(1) 数据获取问题。与其他智能技术相同,数据获取是智能电磁计算需要解决的核心难题。一般而言,训练神经网络所需要的数据集来源于仿真、实测,以及开源数据集。仿真过程往往耗时较大,实测成本高昂且场景受限,进一步导致电磁领域的开源数据集极为有限。因此,如不能解决好数据获取问题,智能电磁计算发展将会面临严重的瓶颈。
(2) 求解效率与计算精度的兼顾难题。一般来说,结果学习策略加速效果显著,但是由于缺乏物理机制的指导,计算精度往往不尽如人意,例如处理高介电常数、有耗介质等问题。过程学习策略仍然依赖经典算法框架,虽然计算精度有所改善,但效率增益通常不如前者显著。与经典方法一样,智能方法同样需要一种更好的计算模式,尽可能多地实现效率与精度的兼顾。
(3) 计算维度问题。近年来,大量研究局限于二维电磁问题,而三维电磁问题少有提及。为了更高效处理三维问题,未来的计算框架应当能支持更多形式的几何模型数据结构,如网格、体素或点云。不过随着智能技术的发展,各类专门用于处理三维模型的定制化神经网络也开始大量出现,这将给三维智能电磁计算带来启发。
(4) 电大尺寸问题。电大尺寸目标仿真计算一直以来都是困扰计算电磁的核心难题。目前大量有关智能计算的研究都集中在小规模计算上,电尺度十分有限。解决电大尺寸目标仿真问题,一方面需要融合更高效的模型表征数据结构,降低存储和计算开销,另一方面需要解决相位带来的快变化数据学习难题。
(5) 宽带仿真问题。目前还很少见到讨论宽带仿真的研究,宽带化也是正向智能电磁计算需要解决的一个重要问题。
(6) 多物理计算难题。多物理计算问题涉及的范围更广,与电子器件、设备以及系统的设计应用联系紧密,近年来受到工业、学术界广泛关注。由于应力、温度、电磁等物理量服从不同的约束关系,多物理计算的难点主要在于不同场量耦合关系的建模,这使得多物理智能计算在等效网络设计上也变得更加复杂。
同时相关研究人员也需瞄准工业市场领域的实际业务需求,例如超表面单元和阵列的快速智能仿真、天线和微波电路的智能化设计、通信信道的智能化建模等,在提升智能电磁计算的技术成熟度和工程实用性方面投入更多的努力。最后,智能电磁计算不应拘泥于算法创新,还可探索软硬件结合的智能电磁计算新体制,实现从电磁空间的电磁感知硬件系统到数字空间的电磁计算算法的全流程智能化,在健康监测、安防检查、无线通信、芯片设计和新体制雷达等领域产生更多创新性成果和应用,例如可以使用信息超表面结合人工智能感知和调控算法,实现对通信信道的自适应资源分配和优化。