多模式遥感智能信息与目标识别：微波视觉的物理智能

金亚秋

(复旦大学电磁波信息科学教育部重点实验室 上海 200433)

1 引言

人工智能研究与应用已成为当今科技发展的一个重大领域，发展人工智能是提升国家核心竞争力、维护国家安全的重大战略性科学技术。

美国麻省理工学院几十年从未有过新设学院，但是在2018年10月，MIT宣布新设施瓦兹曼计算学院[1]，并建设了专门为计算机科学、人工智能、数据科学及相关交叉领域的斯迪塔(Stata)科学中心(见图1)。其目的在于看准了人工智能与大数据计算对未来科学与技术的强力推动作用。在斯迪塔科学中心大厅陈列了MIT在二战期间建造的SCR-615B雷达(见图2)。MIT校长也特地在今年MIT通讯上发表文章[2]，强调人工智能带来的竞争与挑战。

图1 MIT斯迪塔科学中心Fig.1 MIT stata science center

图2 大厅中陈列的SCR-615B雷达Fig.2 SCR-615B radar displayed in the hall

2016年，美国白宫连续发布《为人工智能的未来做好准备》、《国家人工智能研究和发展战略规划》和《人工智能、自动化与经济报告》3份重量级报告并推动成立了机器学习与人工智能分委会(MLAI)，积极布局人工智能未来发展[3]。2018年1月，美国国防部发布了新版《国防战略》报告，指出先进计算、大数据分析、机器人等技术的发展是影响国家安全的重要因素。2018年6月，美国国防高级研究计划局(Defense Advanced Research Projects Agency,DARPA)首次公开讨论美国“电子复兴计划”的初步细节，电子复兴计划的开展将加速推动人工智能硬件的发展。同年9月，DARPA宣布将致力于打造具有常识、能感知语境和更高能源效率的系统[4]。2019年2月，美国总统特朗普签署了《维持美国人工智能领导力》的行政命令，旨在保持美国在人工智能领域的全球领导地位。2019年2月12日，美国防部网站公布了《2018年国防部人工智能战略概要-利用人工智能促进安全与繁荣》，阐明了美国军方部署人工智能的战略举措以及重点领域[5]，美国国防部计划以DARPA的“下一代人工智能”(AI Next)和“人工智能探索”(AIE)两个项目为标杆，着力探索和应用人工智能技术，提升军事实力。“AI Next”项目于2018年9月宣布启动，该项目基于DARPA过去60年引领开发的两代人工智能技术，强调AI的“环境自适应”能力，探索的主要领域包括：促使国防部关键业务流程自动化的新技术；提高AI系统的鲁棒性和可靠性；增强机器学习和AI技术的安全性和灵活性；降低功耗，避免数据和性能效率低下；开创下一代AI算法和应用[6]。AIE计划将专注于“第三波”人工智能的应用及理论，旨在让机器适应不断变化的情况，其将简化提案、合同和资助流程，旨在加快AI平台的研究和开发工作，帮助美国保持其在AI领域的技术优势。

2017年3月，法国发布《人工智能战略》，新建了人工智能中心，开发了数据存储与处理平台、自动学习技术平台和网络安全平台等[7]。德国“脑科学”的战略重点是机器人和数字化，且在2012年德国马普科学研究所就和美国开展计算神经科学合作的研究[8]。日本也高度重视人工智能技术的发展，2017年日本政府出台《下一代人工智能推进战略》，明确人工智能发展的重点，并推动人工智能技术向强人工智能和超级人工智能的方向延伸[9]。

我国在2017年7月发布《新一代人工智能发展规划》，并制定了国家人工智能战略分3步走的目标，到2030年使中国人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心[10]。当前，我国在人工智能研究与应用已表现出十分强大的科研动员力量，如国家自然科学基金于2017年8月发布了“人工智能基础研究应急管理项目指南”，拟资助人工智能前沿基础、智能自主运动体、复杂制造过程智能决策理论与关键技术3个方面25个研究方向的研究[11]。我们相信，在创新驱动下，我国将在人工智能AI技术的研究、应用与产业领域取得重大的发展，在世界上占据重要领地。

本文提出在空间遥感与目标识别的领域内发展AI技术。我们在2017年主持了遥感智能处理(IEEE RSIP)会议[12]，并在IEEE TGRS/GRSL上组稿[13-16]发表论述。我们在“科技导报”上多次发表论述[17,18]，突出“物理智能”与“微波视觉”的概念。这里再专门就SAR目标监测与信息感知，论述在电磁波与目标相互作用的物理背景下进行人工智能信息技术的研究，即“物理智能”，以发展在人眼不能识别的电磁频谱上形成目标信息感知的“微波视觉”。

2 多源多模式SAR信息感知

在20世纪50年代，SAR图像只是单一模式的雷达散射截面积(Radar Cross Section,RCS)灰度图，用于有无军用目标的监测。随后在70年代开始在民用领域取得了巨大的发展与应用，如海洋风场、陆地水文、植被积雪、降水旱涝、自然灾害监测评估、地表变化识别等等，各类应用有各类需求，提出不同科学内涵的理论与技术问题，有力地促使了SAR技术的全面发展。进入21世纪以来，全极化、干涉、高分辨率等SAR卫星技术迅速地相继发展，形成了多源多模式全极化高分辨率SAR(以下简称：多模式SAR)信息技术(见图3)。

随着空间分辨率的提高至米级与分米级，多模式SAR遥感信息感知形成了一个在民用与国防科技有重大意义的科学技术领域。21世纪的SAR促进了自动目标识别(Automatic Target Recognition,ATR)的研究与应用。从1维的有无到2维目标图、3维目标特征识别、以及多维的目标形态等。

但是，SAR信息感知与目标特征反演重构并不是靠人工视觉可以完成的，电磁波与复杂目标的相互作用及其散射成像机理是SAR成像的物理基础。我们对SAR成像的理论参数建模、数值模拟、在频域空域时域极化域的物理与数值特征进行了研究，形成了极化SAR参数化模拟软件，散射与成像计算，以及由此进行的目标分类识别、特征重构等[19]。

多模式SAR遥感产生大量系列性多时相和多类物理特征的图像及其丰富多类的复数据，在遥感大数据驱动下，遥感应用技术取得了十分广泛的进展。但是，大多局限于传统的数据统计分析与图像处理技术，显然不能适应多模式SAR技术与应用需求，尤其是很难完成天空地海各类目标的自动识别ATR及其多维度精细信息的感知与反演重构。

3 大数据驱动的人工智能技术

图3 各国SAR发展概况Fig.3 Overview of SAR development in various countries

人工智能技术近年里取得了科技与产业界相当广泛的关注。基于眼睛-视网膜-大脑V1-V4区的对局部构造-特征-整体的识别，建立一种简单的感知规则，获得视觉感知能力。基于计算神经的方式，以大数据的数据拟合驱动，构造多层网络卷积，从局部构造、特征矢量空间，到大整体的网络计算，来实现内在信息的感知能力。这是人工智能及其深度学习的思路。

类似地，如何发展新的“聪明”的类脑功能，适于电磁波散射成像的SAR信息感知，它不同于通常基于光学视觉为基础的计算机视觉处理，要构造适应SAR内涵信息感知的微波谱上的智能信息技术，我们称之为：在遥感大数据驱动下，基于多元多模式全极化高分辨率SAR物理机制指导下的电磁AI-新的科学技术，从人脑的光学视觉到类人脑的电磁波-微波视觉。

由图4、图5，多模式SAR的物理基础是电磁波散射传输建模仿真正问题和多维度信息反演重构的逆问题研究，基于类脑计算神经算法的人工智能深度学习在多模式SAR遥感物理背景约束的各类大数据驱动下，进行人工智能的信息感知处理，从而在各个领域中应用。

4 用于ATR的物理智能的微波视觉

基于SAR散射成像机理，形成处理该类大数据的类脑智能功能，来感知SAR信息，这仿佛就是“看见了微波”：微波视觉。它最终能够在线自动解译、产生一种易于接受的可视化表征与视觉语义等，这就是“微波意识”，对SAR散射辐射场的视觉语义、推理、决策和交互的侦查、识别、干扰、对抗、打击的技术形态。

图4 天空地海目标的多源多模式SAR遥感信息感知研究与应用Fig.4 Research and application of multi-source and multi-mode SAR remote sensing information perception for spatial-ground-sea targets

图5 遥感大数据的物理智能到应用Fig.5 Physical intelligence to application of remote sensing big data

由图6，本文提出由电磁波散射创数的正逆理论与类脑人工智能研究的结合，产生智能新算法，这是交叉科学的电磁人工智能EM AI。它在地球遥感、ATR、电子对抗、卫星导航通信等有重要的应用。由此，本文提出“电磁空间的遥-通-导技术”。

我们最近主编了“空间微波遥感研究与应用丛书”[20]，计划有14本专著陆续由科学出版社出版，其中有8部专著论及SAR信息获取(图7)。其中包括该实验室撰写的“雷达图像信息智能解译”[21]。该专著依据SAR图像解译的背景需求和研究现状，总结了该实验室近年来利用深度学习智能技术在SAR自动目标识别、极化SAR地物分类等领域的最新研究进展，并提供了相关章节的样例数据和程序代码。

图6 空间电磁学的人工智能Fig.6 Artificial intelligence of space electromagnetics

图7 空间微波遥感研究与应用丛书Fig.7 Spatial microwave remote sensing research and application series

本实验室关于智能信息感知的一些研究内容概述如下：

(1)提出SAR目标智能识别算法[15]，所提全卷积网络通过去掉全连接层来减少独立参数的个数，将此网络应用于SAR目标分类数据集MSTAR上，10类目标平均分类精度达到了99%，还实现了对SAR图像端到端的目标检测-鉴别-识别方法。提出了海面舰船目标的快速检测算法，并建立SAR图像舰船目标数据集，开展了基于迁移学习的船舶目标分类实验。

(2)提出复数域的深度学习训练网络算法[16]，以极化相干矩阵的复数多维图像训练极化SAR地表分类的卷积神经网络CNN。将该算法应用于全极化SAR图像地物分类，Flevoland 15类地物平均分类精度达到了95%[22]。

(3)提出了少样本的CNN，用于目标ATR，具有良好的网络泛化能力；并进一步研究了在无样本条件下，CNN特征矢量分布的目标识别与分类能力[14]。零样本学习对SAR ATR很重要，因为训练样本并不总是适用于所有的目标和场景。文中提出了一种新的基于生成的神经网络框架。该框架的关键部分是生成式反卷积神经网络，称为生成器。它在学习目标分层表示的同时自动构建一个由方向不变特征和方向角张成的连续SAR目标特征空间。然后将其用作设计和初始化解释器卷积神经网络的参考，该解释器网络与生成器网络成反对称。然后训练解释器网络将任何输入的SAR图像映射到目标特征空间。

(4)SAR图像去斑点噪声的CNN处理；提出了一种去除斑点噪声的深度神经网络结构[23]。它使用CNN提取图像特征并重建离散的RCS概率密度函数(Probability Density Function,PDF)。该网络由一个混合损失函数训练，该函数度量实际的SAR图像强度PDF与估计的SAR图像强度PDF之间的距离，该距离由重建的RCS PDF与先验散斑PDF之间的卷积得到。可以通过仿真图像或者真实SAR图像来训练网络。在仿真SAR图像和真实NASA/JPL AIRSAR图像上的实验结果都证实了所提出的去斑点噪声的神经网络的有效性。

(5)由单极化SAR图像转化为极化SAR图像的彩色化CNN处理，用于场景分析处理[24]。文中提出了一种将单极化SAR图像转换为全极化SAR图像的深层神经网络。该网络由两部分组成，分别是特征提取网络和紧随其后的用来匹配空间特征和极化特征的特征翻译网络，通过这种方法每个像素的极化协方差矩阵都可以重建出来。最终得到的全极化SAR图像不仅在视觉相似性方面，而且在真实的PolSAR应用方面与真实的全极化SAR图像非常吻合。

此外，还有一部分工作是利用国内外SAR、包括中国GF-3 SAR数据，用于地面车辆、机场飞机和海面舰船等的SAR-AI-ATR识别；提出了干涉INSAR反演森林树高的CNN方法以及由光学图像和微波SAR的对照训练，构造光学图像和微波雷达成像的互易生成方法。以上工作可以参考相关专著[21]。

5 结束语

数据不等于信息。大数据只是素材、是一种驱动；不同的数据，就有不同的科学内涵；因此大数据的简单直接的统计和分析并不能涵盖内涵信息的感知，尤其是对于人眼直观难以感受的多模式微波SAR的成像多维度矢量化复数据，提出用物理指导下的大数据驱动的AI反演信息，发展AI新模型、新算法，适应SAR遥感物理学与应用需求。交叉学科的AI研究十分重要，EM AI新科技的实现将带动多产业-多应用的发展。

目前，多模式遥感智能信息与目标识别研究尚处于探索阶段，需要进一步开展相关研究，继续构造“微波视觉”的新理论、新方法和新应用技术。