外场微光像增强器成像效果对比评测方法与系统
2022-08-23韩正昊褚祝军金伟其
韩正昊,褚祝军,刘 璇,金伟其,王 霞,李 力,裘 溯
外场微光像增强器成像效果对比评测方法与系统
韩正昊1,褚祝军2,刘 璇1,金伟其1,王 霞1,李 力1,裘 溯1
(1. 北京理工大学 光电学院 光电成像技术与系统教育部重点实验室,北京 100081;2. 北方夜视技术股份有限公司,云南 昆明 650217)
以像增强器为核心成像器件的微光夜视技术一直是国内外重点发展的关键技术,广泛应用于军用夜视领域。直接对比分析不同型号像增强器输出图像特性的评测方法是评价像增强器成像性能最为直观的重要维度,但由于像增强器为直视型成像器件,带来野外实验光路搭建、多路视频同步录制、不同外型尺寸像增强器适配性等多方面的挑战。因此,本文研究了外场微光像增强器成像效果对比评测方法,研制了包含双像增强器成像光路、低照度CMOS成像光路与激光测距机的光轴平行对比评测系统,可实现同时观察和多路像相机的成像数字视频的采集;系统可便捷地适配安装多种不同外型尺寸、不同供电方式的典型像增强器,同时包含激光测距功能,可测量观察目标的距离;在上位机软件中集成多个无参考图像质量评价指标,可通过数字图像处理技术辅助观察者判断不同型号像增强器成像效果的优劣。实际外场测试实验表明测评系统方便可行,能够反映不同成像光路的成像效果,可反馈指导像增强器生产制造工艺的进一步优化,促进微光夜视技术的发展。
像增强器;外场实验;效果对比;图像质量评价;系统集成
0 引言
以像增强器为核心的微光夜视技术一直是国际先进的军用夜视技术手段,其相比于互补金属氧化物半导体(complementary metal oxide semiconductor, CMOS)和电荷耦合器件(charge-coupled device, CCD)成像探测器具有更好的低照度成像性能,可解决低至10-4lx的低照度夜间成像。目前,大多数研究主要通过测量与对比像增强器的某项客观技术指标作为入手点评价像增强器成像效果的优劣,如像增强器的积分灵敏度[1]、信噪比[2]、亮度增益[3]、等效背景照度[4]、空间分辨力[5]、极限分辨力[6]、调制传递函数[7]等,此类评价方法往往不够直观,且仅能评价像增强器成像的某一方面特性,无法全面地描述像增强器的成像性能。
像增强器成像效果的主观评价则是评测像增强器成像质量的另一重要维度,但由于像增强器是一种直视型光学成像器件,观察者一般通过直接观察其荧光屏来实现对场景的观察。目前在评价不同型号的像增强器的成像效果时,要求在相同的观测条件下,通常采用两种方法:
①组织若干观察者直接观察不同型号的像增强器荧光屏,并主观判断各型号像增强器成像效果的优劣。但方法的缺点为:要求观察者具备丰富的背景知识与观察经验,同时评价结果具有主观性,且由于无法录制成像效果数字视频,评价结果不可复现。
②使用多部手机/摄像机等成像设备,以手持或架设光路的方式拍摄不同型号像增强器的荧光屏,录制数字视频,再组织若干观察者观察录制的视频。但方法的缺点为:若手持设备录制视频,拍摄会由于人手的抖动,影响观察者对成像质量的判断;若架设光路录制视频,需要携带大量额外器材进行系统搭设,且很难保证不同型号像增强器的光路平行与不同成像录制设备的时间同步;当需要更换另一型号的像增强器进行观察时,由于外型尺寸不同,还需要重新搭设光路,浪费大量的时间与人力物力。
同时,两种方法在进行野外实验时,往往都需携带额外的电源为所有设备供电,且无法精确测量观察目标与像增强器的距离。
本文提出了像增强器成像效果对比评测系统,可适配安装多种不同外型尺寸的像增强器,同时录制两路像增强器成像效果视频以达到对比的目的,还可便捷地在外场实验环境下对像增强器进行安装与拆卸,并通过数字图像处理技术辅助观察者判断图像效果优劣,从而可有效推进大规模像增强器成像效果对比实验的进行。
1 微光成像对比评测系统设计
1.1 系统组成概述
如图1所示,本文提出的微光像增强器成像效果对比评测系统主要由像增强器成像组件模块、微单相机、激光测距模块、低照度CMOS成像组件模块、图像采集模块、电源模块及上位机组成。对于外场微光成像实验,来自夜天光光源的辐射能量经场景反射分别被两组像增强器成像组件模块及低照度CMOS成像组件模块的物镜接收,分别聚焦在两组像增强器的光阴极及低照度CMOS的成像传感器上,低照度CMOS通过图像采集模块直接将数字图像传输至上位机;像增强器则经过高增益电子倍增轰击荧光屏发光;荧光屏的单色强度图像经中继透镜聚焦在单反相机的成像传感器上,转化为场景的数字图像输出;在上位机同步控制下,两组像增强器成像组件模块与低照度CMOS成像组件模块的数字图像在上位机实时显示,通过控制上位机软件,还可对图像感兴趣区域进行放大,并实时展示数字图像评价指标辅助观察者判断图像质量,并可按需采集各成像组件模块的数字视频。
1.2 系统关键组件
1)像增强器组件模块
如图2(a)所示,像增强器组件模块由3部分构成:像增强器外壳1,像增强器外壳2与像增强器。其中,像增强器外壳1采用金属材料,保证与系统的连接强度;像增强器外壳2采用韧性塑料,降低模块重量。同时,像增强器外壳1中内置定位销,将像增强器放入像增强器外壳1中时,可保证二者不会发生相对旋转;像增强器外壳2与像增强器外壳1通过同时穿过二者的顶丝连接。物镜通过像增强器外壳1上的螺纹与像增强器组件模块连接;像增强器外壳1与系统通过手拧螺丝连接。
图1 像增强器成像效果对比评测系统原理示意
Fig.1 Diagram of proposed image quality comparison system of image intensifiers
如图2(b)所示,像增强器组件模块根据不同外形尺寸的像增强器设计3种不同内径及长度的外壳,而不同外壳的外径尺寸及与系统的连接方式相同,通过更换不同的像增强器外壳,可以将不同尺寸的像增强器便捷的安装至系统内,且不同尺寸像增强器的光阴极面位置相同。像增强器组件模块可适配16、18与25三种规格的典型像增强器,同时通过在像增强器外壳2上配置触片电极与引线电极,适配不同供电方式的像增强器。
图2 像增强器成像组件模块
2)激光测距模块
激光测距模块采用江苏曙光光电有限公司的905nm激光测距机(如图3所示),体积小,重量轻。其测量量程为5~1500m,测距精度为2m,测距重复频率为30次/min,采用RS232协议与上位机通信,可达到较佳测距效果。
3)低照度CMOS成像组件模块
低照度CMOS成像组件模块采用昆山瑞芯微电子公司的P2101-1英寸低照度CMOS(如图4(a)),分辨率1280×1024,像素尺寸9.7mm×9.7mm,帧率50Hz,峰值量子效率可达72%,采用CameraLink数据传输接口。采用Ploera公司的iPort CL-U3数据采集模块(如图4(b)),将低照度CMOS相机图像数据通过USB3.0协议传输至上位机。
图3 激光测距模块实物
图4 低照度CMOS成像组件及图像采集模块
4)单反相机模块
单反相机模块用于拍摄像增强器成像组件模块的荧光屏,采用Canon EOS 1300D单反相机,通过其上的mini USB接口与上位机连接,将拍摄到的图像和视频传输至上位机中。单反相机物镜(中继透镜)采用Canon EF-S 35mm F/2.8 IS STM微距镜头。
5)电源模块
电源模块采用集成化的可充电锂电池供电。设计的集成化可充电锂电池模块具有多相电压输出,包括两路像增强器供电电压(3V),一路激光测距机供电电压(5V),一路低照度CMOS相机供电电压(5V),两路单反相机供电电压(7.4V)。电源组件总容量10AH,可供装置连续工作5h。
1.3 系统集成
基于系统物镜、像增强器成像模块、微单相机、激光测距模块、低照度CMOS成像模块、图像采集模块和电源模块,搭建完成的像增强器成像效果对比评测系统如图5(b)所示,系统内部构成如图5(a)所示。系统通过两路USB2.0连接线、一路USB3.0连接线及一路串口转USB连接线与上位机连接,实现对单反相机、低照度CMOS成像模块及激光测距机的数据采集与控制。
1.4 系统上位机界面
系统上位机界面如图6所示,界面基于Open Framework v0.11.0[8]开发,通过Canon相机EDSDK[9]实现对两路单反相机的控制及数据采集,通过eBus SDK[10]实现对低照度CMOS图像采集模块的控制与数据采集。
在系统上位机界面上可实时同步显示两路像增强器和一路低照度CMOS成像效果,低照度CMOS成像画面可以辅助观察实验场景,可根据需求选择是否显示低照度CMOS画面,若只需要比较两路像增强器的成像效果,便可不使用低照度CMOS。同时可保存各路成像器件的成像效果数字视频,并控制激光测距机测量系统到目标的距离。该界面可适应正像、倒像成像的像增强器;同时,在界面上可人工选取感兴趣区域进行实时放大显示在界面右下角区域,并实时计算选取区域内的各项无参考数字图像质量评价指标辅助观察者判断图像优劣。
2 微光成像效果对比评测方法
本文的微光成像器件成像效果对比评测方法可利用微光成像器件组件模块与低照度CMOS/CCD成像组件模块的图像或数字视频,通过上位机计算各路设备图像的局域统计信息,包括:图像灰度最小值、图像灰度最大值、图像灰度均值、图像标准差、图像Brenner梯度、图像Tenen梯度和图像熵。并将计算出的图像局域统计信息显示在上位机界面上,辅助观察者判断各路成像设备的成像效果。若各路成像设备采集的图像为灰度图像,则直接进行局域统计信息计算;若各路成像设备采集的图像为彩色图像,则首先将彩色图像转换为灰度图像,即:
式中:Igray为转换后的灰度图像;IRGB为各路成像设备采集的彩色图像;RGB2Gray()为将彩色图像转换为灰度图像的函数。
图6 上位机软件界面(右下部分为上部分像增强其成像效果的局部放大及统计信息)
图像灰度最小值的计算方法为:
式中:min为计算的头像灰度最小值;min()为统计图像最小值的函数。
图像灰度最大值的计算方法为:
式中:max为计算的图像灰度最大值;max()为统计图像最大值的函数。
图像最小值主要用于比较分析不同型号像增强器对于暗场景或场景中暗区域的适应能力,如图7(a)(b)中的红色矩形区域,像增强器1由于可呈现更多的暗区细节因而成像效果优于像增强器2,由表1可知,像增强器1在红色矩形区域的图像最小值更高。图像最大值主要用于分析比较不同型号像增强器对于明亮场景的适应能力,如包含光源的场景等,如图7(a)(b)中的黑色矩形区域,像增强器2由于可保留更多的亮区细节因而成像效果优于像增强器1,由表1可知,像增强器2在黑色矩形区域的图像最大值更低。
图像灰度均值的计算方法为:
式中:mean为图像灰度均值;,分别为图像的行、列坐标索引;、分别为图像局域的行、列数。图像均值主要用于评价不同型号像增强器对于场景区域的平均亮度,可用于任意场景分析像增强器的增益水平,图像均值越大,代表像增强器的增益水平越高。图像标准差的计算方法为:
式中:std为图像标准差,主要用于评价不同型号像增强器对于图像平坦区域的噪声水平或图像细节区域的信息丰富程度。对于图像的平坦区域,图像标准差越大,代表噪声水平越高;对于图像细节区域,图像标准差越大,代表信息越丰富。
图7 像增强器暗区评价与亮区评价
表1 像增强器细节区域评价指标
图像Brenner梯度的计算方法为:
式中:Brenner为计算的图像Brenner梯度。图像Brenner梯度用于评价不同型号像增强器图像区域细节丰富程度。Brenner梯度越大,代表场景细节越丰富。
图像Tenen梯度的计算方法为:
式中:Tenen为计算的图像Tenen梯度;*为卷积运算;为阈值。Tenen梯度与Brenner梯度相似,也反映图像局域的细节丰富程度,其值越大代表细节越丰富。
图像熵的计算方法为:
式中:entropy为图像熵;p为图像中灰度值为的像素出现的概率;为灰度级总数。图像熵代表图像局域的信息丰富程度,其值越大代表选定图像区域的信息越丰富。
如图8(a)(b)所示,在图像黑色矩形区域,像增强器2较像增强器1具有更丰富的局部纹理与更清晰的边缘细节因而具有更好的成像效果。采用图像标准差、Brenner梯度、Tenen梯度和图像熵等指标可反映该结果从而辅助观察者判断图像质量。由表1可知,像增强器2在黑色矩形区域具有更高的图像标准差、Brenner梯度、Tenen梯度与图像熵。
图8 像增强器细节区域评价
3 结论
外场微光夜视系统性能测评仪可以有效地进行不同型号像增强器成像性能对比评测,实现不同微光夜视系统外场效果的主观评价。本文研究了外场微光像增强器成像效果对比评测方法,研制了包含双像增强器成像光路、低照度CMOS成像光路与激光测距机的外场成像效果对比评测系统,其中激光测距功能能够即时获取目标距离;系统不仅可直接比较不同型号的标准像增强器间成像效果,而且也可进行像增强器通道与低照度CMOS成像通道的比较;便携式设计便于野外实验操作和多路数字视频图像的记录。同时在上位机软件中集成多个无参考图像质量评价指标,可通过数字图像处理技术辅助观察者判断不同型号像增强器成像效果的优劣。外场实验验证了测评系统方便可行,能够反映不同成像光路的成像效果。
随着各类微光夜视技术的发展,相同/不同模式的微光夜视技术比测需求明显增加,本文的研究可有效促进此类对比实验的普及,进而反馈指导像增强器生产制造工艺优化,促进微光夜视成像技术的发展。此外,在相关测试实验数据的积累基础上,进一步发展和完善对比评测的客观评价方法也是一个重要的任务。
[1] 向世明. 微光像增强器光阴极灵敏度理论极限问题研究[J]. 应用光学, 2008, 29(1): 48-51.
XIANG S M. Theoretical limit for photocathode sensitivity of image intensifier[J]., 2008, 29(1): 48-51.
[2] 王洪刚. 像增强器的电子输运与噪声特性研究[D]. 南京: 南京理工大学, 2015.
WANG H G. Research on the electron transport and noise characteristics of image intensifiers[D]. Nanjing: Nanjing University of Science & Technology, 2015.
[3] 钱芸生, 常本康, 邱亚峰, 等. 微光像增强器亮度增益和等效背景照度测试技术[J]. 真空电子技术, 2004(2): 34-37.
QIAN Y S, CHANG B K, QIU Y F, et al. Measurement of luminance gain and equivalent background input in LLL image intensifiers[J]., 2004(2): 34-37.
[4] 崔东旭. 三代微光像增强器信噪比测试与噪声特性分析[D]. 南京: 南京理工大学, 2013.
CUI D X. Signal to Noise Ratio Testing and Noise Characteristic Analyzing of Third Generation Low-light-level Image Intensifier[D]. Nanjing: Nanjing University of Science & Technology, 2013.
[5] Medina J M. 1/αnoise in reaction times: A proposed model based on Piéron’s law and information processing[J]., 2009, 79(1): 011902.
[6] 任玲. GaAs光电阴极及像增强器的分辨力研究[D]. 南京: 南京理工大学, 2013.
REN L. Research on the resolution of GaAs photocathode and image intensifier[D]. Nanjing: Nanjing University of Science & Technology, 2013.
[7] 李升才, 金伟其, 许正光, 等. 微光增强型电荷耦合装置成像系统调制传递函数测量方法研究[J]. 兵工学报, 2005, 26(3): 343-347.
LI S C, JIN W Q, XU Z G, et al. MTF measurement of ICCD imaging systems[J]., 2005, 26(3): 343-347.
[8] Zach Lieberman, Theodore Watson, Arturo Castro. Open Frameworks[EB/OL]. [2021-03-24]. https://open frameworks.cc/about/.
[9] Canon Inc. Canon EDSDK[EB/OL]. [2021-09-08]. https:// www. canon.com.cn/supports/sdk/icp/.
[10] Pleora Technologies Inc. Pleora Technologies eBUS SDK[EB/OL]. [2021-11-04]. https://www.pleora.com/ products/ebus-software/ebus-sdk.
Comparison and Evaluation Method and System of Imaging Effect of Field-Low-Light-Level Image Intensifiers
HAN Zhenghao1,CHU Zhujun2,LIU Xuan1,JIN Weiqi1,WANG Xia1,LI Li1,QIU Su1
(1.,,100081,;2.,650217,)
Image intensifiers, which are core imaging devices for low-light-level night-vision techniques, are used worldwide as advanced military night-vision devices. A method of directly comparing and analyzing the final output image characteristics of different image intensifiers is the most intuitive routine for assessing the image quality of image intensifiers. However, because image intensifiers are direct-view imaging devices, they face many challenges, such as field experimental set-up, synchronous image capturing, and adaption of image intensifiers with different types. Therefore, an image quality assessment method and image quality comparison system for image intensifiers were proposed. Dual-channel image intensifiers, a low-light-level CMOS and a laser rangefinder were integrated into the system; the main optical axis of each device was parallel. The images of the image intensifiers and CMOS were synchronously observed and captured. The system is compatible with different types of image intensifiers and power supply modes. The distance between the target and the system was also measured. Moreover, several no-reference image-quality-assessment metrics were integrated into the software to assist the observer in assessing the image quality of different image intensifiers. The actual field test results show that the proposed system is convenient and practical for comparing the quality of different imaging devices, and can facilitate optimization of the manufacture of image intensifiers, thereby promoting the development of low-light-level night-vision technology.
image intensifier, experiment set-up in the field, imaging effect comparison, image quality assessment, system integration
TN144
A
1001-8891(2022)08-0811-07
2022-05-31;
2022-06-09.
韩正昊(1992-),男,博士研究生,主要研究方向为彩色微光夜视技术、数字图像处理。E-mail: 285103858@qq.com。
金伟其(1961-),男,教授/博导,主要研究方向为夜视与红外技术、光电图像处理、光电检测与仪器,E-mail:jinwq@bit. edu. cn。