着力目标追踪 打造数字化猎鹰——记大连理工大学信息与通信工程学院副教授王栋

谢更好

随着美国的3DRobotics、法国的Parrot以及中国的DJI（大疆创新）等一系列无人机龙头企业的崛起，无人机航拍在军事及民用领域如军事侦察、边境巡逻、城市监控、地质勘探、灾情监测等方面的应用越来越频繁，而计算机视觉技术作为无人机智能化的理论基础，它的技术提升和应用扩展也成了目前很多科学家一直攻坚的科研难题。如今，伴随社会各界对无人机航拍技术的需求与日俱增，长期坚守在计算机视觉和图像视频处理领域，特别是在目标跟踪和分类领域的大连理工大学信息与通信工程学院副教授王栋，联合项目团队主攻国家自然科学基金面上项目——“广域低帧率航拍场景下在线目标跟踪”，竭力攻克技术难关，历尽风雨寒霜，在无人机城市安全监控、生活模式分析等方面取得一番佳绩，进一步推动了智能无人机监控领域的发展。

王栋在CCF颁奖典礼上获奖

携初心，在科研路上砥砺前行

初心之于王栋，像海上迷途中的一盏塔灯，它能在迷失航向时发出明亮闪烁的光芒，指引他在重要时刻做出顺应本心的选择。本科期间，王栋在学习数字信号处理的过程中结识了卢湖川教授，并对卢教授从事的图像处理方向研究产生了极大的兴趣。起初的结识许是偶然，但这兴趣的由来却是天性使然，正是这场貌似命中注定的相遇让王栋与“目标追踪技术”开始了长达数十年的缘分。循着初始的兴趣，2008年，王栋报考并顺利成为卢湖川教授的学生。5年后博士毕业时，王栋在人生岔路口面临企业工作和留校科研两个截然不同的选择，而他毅然地选择留校继续在卢教授团队主攻目标跟踪方向研究，誓必将初心践行到底，始终如一。

在2015—2016年期间，王栋前往美国天普大学访学，在那里结识了来自天普大学的凌海滨教授，并受到他的指导。接触中，他发现凌海滨教授的研究思路聚焦于如何给该领域带来新的见解、提出新的问题、做前人未做过的研究上，这对于当时专攻精度和速度的王栋来说受益匪浅。在国外一年里，王栋学与研并行，他在高空无人机场景的跟踪中取得了一些阶段性的实验结果，为回国之后开展无人机方面的检测与跟踪奠定了基础。

科研一旦启航，途中总避免不了风浪，当下的迫停不是坐待天晴，而是蓄锐养精。2016年下半年回国之后，王栋继续主攻目标跟踪方向的应用研究，但他发现当时目标跟踪技术的算法精度不高，根本无法解决行业痛点问题，以至于他此后半年一直困于技术瓶颈和迷茫期。后来，随着在大疆无人机上看到应用前景，王栋及其团队也对近年来深度视觉跟踪方面的研究工作进行深入总结和分析，全面掌握了现有算法进展及优缺点。通过深入挖掘深度神经网络的局部结构，提出局部敏感回归跟踪算法，在国际标准测评VOT2017公开数据集上获得第一名。而后他们更是提出了联合判决性和可靠性学习的相关滤波跟踪算法，进一步提升了跟踪算法的精度，在国际标准测评OTB2015和VOT2017均取得当时最高精度。王栋及其团队在深度视觉跟踪方面的最新进展和突破为之后的多项关于目标跟踪方面的国家及省部级研究课题奠定了坚实基础。

合力打造数字化猎鹰

艰涩难懂的科学理论对外介绍时总被该领域的科学家简而言之，以更为贴近生活的理解方式传递给科学圈外的大众，但越是浅出的讲解靠的越是深入的科研实践。作为计算机视觉和图像视频处理研究的专家，当谈及计算机视觉时，王栋先把相机的摄像头比作人的眼睛，把连接的电脑或者其他的计算平台比作人的大脑，后又通过流动人群跟踪和大疆无人机的环绕式拍照两个生活应用实例，使其领域的研究内容以一种更为通俗易懂的方式呈现出来。当落实到当前的科研实战，王栋及其团队并没有将目标跟踪技术仅仅止步在“人的眼睛”上，而是重点突击当时在国内外研究均处于起步阶段的“广域低帧率航拍场景下在线目标跟踪”课题，解决由目标外观特征的模糊性及运动场景的复杂性带来的诸多挑战，包括目标尺寸小、视觉特征模糊、运动复杂、光照阴影变化、背景杂乱等问题，合力打造出一只捕捉更快、锁定更准、显示更清的“数字化猎鹰”。

相关经典及前沿理论是项目实施的坚实基础。王栋及其团队以最前沿的深度学习理论为指导，以项目团队前期在三种模型，包括子空间和稀疏表示模型、部距离度量模型、深度学习模型下的在线跟踪方面的初步研究为基础，以生成对抗网络模型作为模拟小样本目标及背景的实践支撑，由此开始研究低分辨率小目标的深度学习模型、小目标训练样本生成和深度网络模型训练、低帧率相似目标的时空语义关联模型，并提出广域低帧率航拍场景中在线目标跟踪算法。

多年相关研究经验是项目实施的必要条件，合理的团队结构和紧密的国际合作是项目实施的有力保障。王栋的团队是由一批有着丰富理论和实践知识储备的硕博士研究生组成的，他们一直主攻目标跟踪和分类方向的研究，在基于子空间、稀疏表示、局部距离度量方面曾提出了一系列表现优异的模型算法，对于深度视觉跟踪算法的综述和最新突破，为如何利用深度神经网络建立鲁棒外观模型提供了技术条件。同时，王栋及项目团队与美国加州大学Merced分校Ming-Hsuan Yang教授、美国Temple大学Haibin Ling教授、香港中文大学Xiaogang Wang教授等目标跟踪和深度学习领域的资深研究人员一直保持着良好的学术交流合作，并能及时获得最前沿的研究动态和指导。

特色与创新是项目收获突破性成果的最强证明。针对广域场景下小目标外观建模问题，他们尝试创新性地提出融合深度孪生匹配模型和深度特征分类模型的深度目标外观模型，将深度学习理论推广到广域航拍视频序列中的在线目标跟踪问题上。同样是广域场景下小目标方向，针对其训练样本缺乏有效训练深度模型问题，他们尝试创新性地提出利用生成对抗网络模拟真实小样本目标并将其嵌入到真实背景，并离线学习适合本项目场景的深度特征。之后，为解决目标行动轨迹及背景的复杂性难题，王栋及其团队着手低帧率视频序列特性的研究，尝试创新性地利用多目标跟踪思想来解决在线单目标跟踪问题，并提出时空语义关联模型来统一建模目标外观模型和时空语义模型，推理待跟踪目标的最优轨迹。

“数字化猎鹰打造计划”让当时的国内视觉目标跟踪领域突破了之前的技术限制，取得了多次国际性赛事的重大成果。从2017年到2020年，王栋及其团队6次在国际视觉目标跟踪竞赛（VOT）中获得第一名，其中包括VOT长时组（VOT2018-LT,VOT2019-LT,VOT2020-LT）三连冠。他们站在巨人的肩膀上，向着科学的更远处眺望，可当远景别在心头后，他们又默默低下头，锤炼出以创新为内核的片瓦去搭建更为壮观的科学高楼。

将学习进行到底

所谓学无止境，在强调持久学习的同时也点明了学习的环境不是唯一。对于王栋来说，学习与科研的地点并不仅限于实验室，工作之“娱”同样也是学习的平台。尤其近几年来大热的3D国漫《秦时明月》，让他将“学”巧妙渗透在个人的娱乐活动里。在被动漫本身的剧情吸引外，“术业有专攻”的他将视觉研究向生活娱乐及兴趣领域外延，更关注动画制作在图形和计算机视觉上的进展，而当下动漫视觉技术的提高也让扎根于视觉技术领域多年的他备受鼓舞。

所谓学无止境，学习不仅要躬行实践，苦熬此时灯下，更要高瞻远瞩，统筹未来规划。王栋基于目前的研究工作，设想在今后的科研中能与国内相关的领域学者共同努力，引领计算机视觉从主攻具体成品向制定领域标准发展，在未来做出具有更大话语权的成果，在企业合作、公共生活、航天科工方面取得较大的社会效益。

王栋在个人学术方面一直坚守着专业要求，他在计算机视觉相关领域具有扎实的理论基础和丰富的实践经验，也不断更新着知识的广度和深度。个人领域上的自修积淀成集体项目的科研高楼，登上这高楼环望，在线目标跟踪技术似猎鹰一般，尽情翱翔在这无边蓝天，护佑着人民安全并予之方便。