APP下载

鲍芳琳:让黑夜有高清的“眼睛”

2023-10-17田瑞颖

科学大观园 2023年20期
关键词:人眼浙江大学高清

田瑞颖

鲍芳琳

把女儿送到幼儿园后,鲍芳琳边开车边哼起了小曲儿。“自由”的一天开始了。

这时,手机收到一则信息,他和妻子同时欢呼起来,《自然》封面投稿终于收到了修改的回复。

近日,《自然》以封面论文形式发表了这项可以在黑夜看到白天景象的夜视技术成果。美国普渡大学研究助理教授鲍芳琳是该论文的第一作者。

这篇耗时4年的论文发表后,鲍芳琳并没有过分惊喜。他坦言,很多情绪已经在两年的审稿过程中被逐渐磨平。的确,光是第一轮意见,他就补充了80多页说明,第二轮意见更是让他一口气开发出10个应用场景。

鲍芳琳现在最想做的,就是在回国前,带着没怎么走出过校园的妻女,好好转转生活了4年的城市。

鲍芳琳没有想到,2019年进入普渡大学做博士后的第一个“小组作业”,竟然一做就是4年。

合作导师Zubin Jacob当时正在酝酿一个关于热成像技术的项目课题,但究竟要解决什么问题,Zubin也没有想好。鲍芳琳被安排通过这个“小组作业”练练手,为后续开展红外量子传感与人工智能方面的研究做铺垫。

起初,他希望用擅长的量子技术提升红外传感能力。但研究后发现,即使不利用量子技术,传统热成像也有瓶颈亟待突破。

鲍芳琳开始思考,如何让黑夜的热成像与人们在白天用肉眼看到的世界一样清晰。

目前,让机器拥有“高清”视力的传感器主要是摄像头和激光雷达。但在实现黑夜高清成像方面,两者各有弊端:摄像头只能在高可见度条件下作业,而成百上千的激光雷达同时作业,不仅会导致信号串扰,还对人眼有害。

和摄像头一样,红外热成像技术也是被动接收信号而不对外发射激光,不仅能在很低的能见度下实现态势感知,也避免了对人眼的伤害。

但大多数热成像系统都面临一大障碍——“鬼影效应”。就像人眼直视耀眼的灯泡时一样,热成像的照片只见轮廓、鲜有细节。

鲍芳琳想,如果攻克“鬼影效应”,就有望打造一个能在夜间识别物体纹理细节、实现高清成像与测距的“热雷达”。

通过查阅文献,他发现这一难题尚未被解决。这个原本只是打算练练手的“作业”,一下就激发了他的兴趣。

为此,鲍芳琳开始自学机器学习,捣鼓数据分析,还开发了一个光线追迹的渲染模拟器,对高光谱热成像进行仿真模拟,并用这些数据训练了一个神经网络模型。

最终,他们提出了一种热辅助探测和测距技术——HADAR。HADAR技术能像人眼在日光下一样,揭示黑暗中的纹理和深度。同时,HADAR能提供每个物体材料及其周围环境温度的信息,形成一幅全面的图像。

2021年4月6日,鲍芳琳忐忑地将两年的钻研成果投给了《自然》。在投稿前,导师Zubin认为论文的体量和内容已经足够,但鲍芳琳还是坚持研究信息理论的极限,不仅让HADAR技术在黑暗中识别物体纹理,还深入探索了它在目标识别以及测距精度方面能达到的理论极限。

果然,这项研究让《自然》审稿人耳目一新。不过,他們也提出了不少问题,尤其是希望能进一步阐释HADAR技术的理论和算法逻辑。为此,鲍芳琳写了80多页的补充说明。

接下来的第二轮审稿意见,差点儿让研究“夭折”。审稿人认为他们的理论论证已经很充分,但仿真模拟的复杂程度不足,而且他们使用红外相机加滤光片进行的实验较为粗略。

然而获得更优质的数据需要极其昂贵的实验设备,市场价格达上千万元。幸运的是,凭借热雷达以及其他相关工作,Zubin带领团队如愿申请到了项目资助,通过项目,他们接触到了该设备,获得了实验所需的数据。

同时,鲍芳琳辗转找到业内的计算机图形仿真工作人员,经过8个月的通力合作,最后开发出10个不同的复杂应用场景。

最终,审稿人对这项研究给予了高度评价,认为这是机器视觉及人工智能领域的突破,并表示HADAR重新定义了低能见度环境下的机器感知。

2007年考入浙江大学前,鲍芳琳的世界很小。“知识改变命运”这句话,放在这个出生于千岛湖附近一个农村家庭的小伙儿身上,再合适不过。

“当时学习没有强烈的目的性,不会立志一定考哪所大学,就是觉得学习有意思。”他直言,就算没考上浙江大学,也不觉得遗憾。

对于选择浙江大学,鲍芳琳的理由很简单——就在家门口,而选择物理专业只是兴趣使然。虽然父母没有多高的文化水平,但对于他的选择,父母一向很支持。

对物理的浓厚兴趣,让鲍芳琳在浙江大学完成了直博的学业后,又跟随导师前往华南师范大学华南先进光电子研究院进行了3年博士后阶段的研究。也是在这里,他遇到了当时的师妹、后来的妻子。

博士后出站前,两个年轻人便结了婚。得知鲍芳琳想出国深造,妻子很支持,辞去了专利工程师的工作,随他一同前往。

“她跟着我来到美国,生活非常不习惯,一开始语言不通,也没有工作。”鲍芳琳说,在论文审稿期间,妻子还经历了怀孕生产。

他至今仍清晰地记得自己升级为爸爸那一天的情景。那是2021年冬天,论文进入回复第二轮审稿意见阶段,鲍芳琳加班加点将实验室的工作安排妥当后,便带着妻子前往医院。

女儿的出生为两个在异乡打拼的年轻人带来了新的希望,但也带来了不小的挑战。

还记得女儿9个月时,鲍芳琳为了补充实验数据,借来了那台价值昂贵的设备,借期只有4天。他一分钟也不敢浪费,每天不等天亮就出门,回来已是深夜。

那几天,女儿身上长满了湿疹,白天夜里都在哭闹。为了不影响鲍芳琳,妻子硬是一个人扛了下来,“我忙的时候,全靠她给这个家兜底。没有她,也就没有我现在的研究成果”。

发《自然》封面论文的喜讯,他暂时没有告诉父母。“他们都是农民,可能不懂啥是《自然》论文。”鲍芳琳希望把《中国科学报》的报道当作礼物,送给年迈的父母,让他们知道寒窗苦读二十余载的儿子,已经采撷到了科研上的绚丽果实。

◎ 来源|中国科学报

猜你喜欢

人眼浙江大学高清
高清大脑皮层发育新图谱绘成
浙江大学农业试验站简介
浙江大学作物科学研究所简介
人眼X光
教你玩转AV设备(一):4K高清播放机使用指南
人眼为什么能看到虚像
欢迎订阅《浙江大学学报(农业与生命科学版)》
闪瞎人眼的,还有唇
La jeunesse chinoise d'aujourd'hui
看人,星光璀璨缭人眼