可见光/微光与红外平行光路融合物镜设计

孙爱平，杨绍明，郭 亮，龚杨云，余海红，曾邦泽，赵德利，王京云，李泽民

可见光/微光与红外平行光路融合物镜设计

孙爱平，杨绍明，郭 亮，龚杨云，余海红，曾邦泽，赵德利，王京云，李泽民

（北方夜视科技集团有限公司，云南 昆明 650223）

现有所发布的大多数文献着重于图像融合算法的分析研究，很少有文献对采集融合图像的光学系统做出相应论述。本文根据手持融合观察镜的特点，对可见光/微光与长波红外图像融合、平行光路布局型式的融合物镜光学系统进行设计及分析。首先介绍了共光路光学布局型式与平行光路光学布局型式的优缺点，根据手持融合观察镜的特点选择了平行光路的光学布局型式；其次根据手持融合观察镜指标的要求对可见光/微光物镜进行“消热差”、定焦光学设计，针对长波红外物镜开展内调焦式光学设计；第三根据所设计的融合物镜光学系统，从平行光路光学布局型式、放大率及畸变变化3个方面对图像配准精度进行分析；最后对手持融合观察镜实际场景的融合图像进行分析判断，得出融合图像质量好，能满足手持融合观察镜融合性能的要求。

图像融合；光学布局型式；平行光路；融合物镜；可见光/微光；红外；图像配准

0 引言

多源图像融合是机器视觉领域的研究热点，通过对多源图像的特征分析，按照不同融合规则进行融合，可以得到1幅包含更全面信息的融合图像[1-2]。可见光/微光与红外图像融合是当前图像融合研究的热点，被广泛应用于军事、航空、安防监控等领域[3]。可见光/微光系统波段较短，同等条件下相应的分辨能力高，可提供丰富的背景、纹理细节等信息，但是容易受环境照度的影响，当环境照度不足时会降低图像对比度进而影响分辨力；红外系统波段较长，同等条件下相应的分辨能力较低，但是成像对比度大小由目标与背景的温差所确定，不受外界光照度影响，对目标的指示性强，可实现全天候工作[3-4]。

现有文献多着重于图像融合算法的研究，并提出不同的图像融合算法模型，没有对采集融合图像的光学系统做出相关叙述[5-7]。孙爱平[8]对共光路与平行光路两种图像融合光学布局型式做出了相关论述，并采取共光路、折返式的光学布局型式设计了一款手持融合观察镜。本文根据手持融合观察镜的特点，使用长波非制冷型器件和低照度CMOS器件，采取平行光路光学布局型式设计了一款手持观察镜融合物镜光学系统，并对图像配准精度展开相应分析。

1 融合光路布局的选择

共光路光学布局融合系统由于使用同一个窗口接收场景信息，因此可见光/微光与红外物镜能够实现严格的空域配准。由于加入了共用窗口和分光板，使融合系统的体积增大、重量增加。共用窗口和分光板材料需要选用透可见光/微光和长波红外的材料，此种材料种类有限、价格偏高、密度较大，常用如ZnSe和宽光谱ZnS。共用窗口需要镀制透可见光/微光和长波红外波段的宽光谱透射膜系；分光板需要镀制反射可见光/微光波段、透射红外波段（或者透可见光/微光波段、反射红外波段）的分光膜系。由于可见光/微光波段与红外波段跨度比较大，相应的宽光谱透射膜系透射率低，分光膜系透射率低、反射率不高，并且两种膜系的镀制工艺不成熟，性能不佳。共光路光学布局融合系统主要用于对体积、重量和价格没有严格要求，对融合性能具有严格要求的产品，如远距离监控等。

平行光路光学布局融合系统去除了共用的窗口和分光板，相较融合系统而言可减小体积、减轻重量和降低价格。平行光路光学布局融合系统不需要透可见光/微光波段、长波红外波段的宽光谱透射膜系及反射可见光/微光波段、透射长波红外波段（或者透可见光/微光波段、反射长波红外波段）的分光膜系，可提高融合系统的透过率及光学性能。由于使用各自的窗口接收场景信息，会造成同一个目标在进行图像配准时的错位，即不能够实现融合图像的完全配准。此种光学布局型式随着目标的远离，配准精度越高；随着目标距离的接近，配准精度越差。平行光路光学布局融合系统主要使用于对体积、重量要求比较严格，对配准精度要求不高的产品，如手持观察类产品。

两种图像融合光学布局型式如图1所示。

对于手持类观察镜要求产品体积小、重量轻及使用舒适。采用平行光路光学布局型式的手持融合观察镜可实现体积小、重量轻的使用要求，但是图像配准精度较差，降低观察者的使用舒适性。手持融合观察镜在使用过程中观察远距离场景时配准精度较高，可选择可见光/微光、红外或者融合通道进行观察；观察近距离场景时配准精度较低，可选择可见光/微光和红外通道进行观察，摒弃融合通道来达到提高观察者舒适性的要求。基于手持融合观察镜使用模式，本文选用平行光路光学布局型式进行手持融合物镜光学系统的设计。

2 融合物镜光学设计

2.1 设计指标

可见光/微光物镜系统选用光谱响应延伸到近红外波段的1英寸800×600、18mm的低照度CMOS器件，红外系统选用非制冷型长波640×512、17mm器件，在进行图像配准前对红外图像进行裁剪，形成640×480分辨率的原始图像。手持融合物镜光学性能参数如表1所示。

2.2 红外物镜设计分析

红外物镜采用三片式的光学布局型式，其中光焦度分配为正-负-正。在保证光学系统总长不变的条件下，轴向移动第二透镜实现温度变化和观察距离变化的像面补偿，保证清晰像面位置不变，即内调焦补偿方式。红外物镜材料采用Ge和ZnSe，同时加入衍射面和非球面进行不同温度点和观察距离的像质校正。

表1 融合物镜光学设计参数

红外物镜在常温（20℃）、低温（－40℃）和高温（60℃）条件下的点列图及传递函数MTF如图2所示。所设计的红外物镜中心频率为30lp/mm，在全温度范围内、中心频率处的传递函数MTF均在0.4以上；依据点列图所示，约有80%的能量都集中在一个像素内，像差校正较好，能够保证在不同温度点的条件下清晰成像。

2.3 可见光/微光物镜设计分析

可见光/微光物镜采用定焦、摄远型设计形式。在设计时不仅能够保证在白天使用，也需要保证在低照度下使用，即工作波段向近红外延伸，选取0.5mm～0.9mm进行像差校正。选择合适的F数即能保证景深范围，也能保证在低照度下足够的光通量。本文可见光/微光物镜选择F数为2.7。由于可见光/微光物镜为定焦系统，不能通过后截距调节补偿不同工作温度下的像面位移，需要进行与红外系统相似的“消热差设计”。可见光/微光物镜选用合适的普通可见光透镜材料与线膨胀系数为23.6×10－6/K的Al材料进行“消热差设计”，保证在不同工作温度下都能够成像清晰。可见光/微光物镜的前组和后组均由一个单件和一个胶合件组成，面型为球面。此物镜设计的难点为宽光谱的消色差设计及“消热差设计”。

可见光/微光物镜在常温（20℃）、低温（－40℃）和高温（60℃）条件下的点列图及传递函数MTF如图3所示。所设计的红外物镜中心频率为28lp/mm，在全温度范围内、中心频率处的传递函数大部分在0.4以上；依据点列图所示，大部分视场约有80%的能量都集中在一个像素内，像差校正较好，能够在不同温度点下清晰成像。

3 图像配准分析

3.1 平行光路光学布局型式图像配准失配性分析

融合系统物镜组的平行光路光学布局型式由于光轴之间具有一定的间隔，故随着观察距离的不同图像配准精度也不同。目标越远，配准精度越高；目标越近，配准精度越差。假定目标处在可见光/微光物镜的光轴上，则目标经可见光/微光物镜成像后位于图像中心；目标经红外物镜成像后与图像中心间距为D，其计算关系如下：

式中：为可见光/微光物镜与红外物镜光轴间距，m；为目标距离观察镜的距离，m；IR为红外物镜的焦距，mm。

所设计融合系统物镜组光轴偏差为58mm，红外物镜焦距为70mm，则不同距离下图像配准误差如表2所示。由表2可知当观察距离为239m时，图像配准精度为1个像素（0.017mm）；观察距离越近，配准精度越差；观察距离越远，配准精度小于1个像素，配准效果越好。

表2 平行光路布局不同距离对应的配准精度

由以上分析此观察镜使用融合状态观察时，最佳观察距离不小于239m，在239m的观察距离内，可以单独采用可见光/微光或者红外通道进行观察。

3.2 放大率变化引起图像配准失配性分析

可见光/微光物镜和红外物镜焦距的变化、即放大率的变化会引起图像配准的失配。可见光/微光物镜为定焦物镜，其放大率只随工作温度变化。在工作温度－40℃～＋60℃范围内，可见光/微光物镜焦距变化范围为92.74mm～92.65mm～92.7mm，焦距变化最大值为0.09mm，放大率变化量非常小（约在0.1%），即可见光/微光物镜放大率的变化基本不会造成图像配准的失配。

红外物镜为内调焦光学系统，调焦镜的移动会引起放大率的变化，造成图像配准的失配。在光学设计过程中，充分考虑工作温度变化和工作距离变化所引起的像面偏移，通过调节调焦镜使红外光学清晰成像在探测器焦面上。在进行调焦时，红外物镜的焦距会发生小量变化，通过控制焦距值的变化使红外图像大小的误差值在1像素内（0.017mm），即满足配准精度的要求。

红外物镜设计工作温度为－40℃～＋60℃、观察最小距离为239m，通过调焦镜进行调焦，红外系统焦距变化范围为69.9136mm～70mm～70.0968mm。

假定在常温条件下（焦距为70mm）微光图像已经与红外图像完成配准，此时以常温条件下红外图像的大小为基准，分析经受环境变化和观察距离的调整，调焦后红外图像的变化。以水平向为例进行分析。

通过分析焦距变化值，焦距70.0968mm与70mm偏离最大，以焦距70.0968mm为例进行分析论证。

1）无穷远目标

假设目标充满器件水平向，则目标在靶面上所成图像大小计算如下：

式中：目标尺寸为，m；目标距离观察镜距离为，m；红外物镜焦距为IR，mm；目标在靶面上所成图像大小为，mm。

设定相同目标经过70mm、70.0968mm焦距的红外物镜所成图像大小分别为1、2。则二者图像差异计算如下：

当目标距离观察镜为无穷远时，即→∞，此时目标也趋于无穷大，即→∞。此时产生两个无穷大作比的情况，无解。在实际使用时观察目标尺寸是有限的，因此可把目标尺寸按有限值进行处理。此时目标图像差异D＝0mm，即观察无穷远目标时图像配准精度高，没有配准误差。

2）239m目标

当目标距离观察镜为239m、常温20℃、充满靶面水平向时目标尺寸为37.15m。同样的目标经过70mm和70.0968mm物镜成像后，所成图像大小差值计算如下：

即在充满靶面水平向时，通过调焦所带来的图像最大差异为0.015mm。以图像中心为基准进行图像配准，则图像在探测器水平向两端最大差异为0.0075mm，不到1个像素（0.017mm），因此红外物镜的调焦所带来的图像配准差异在1个像素内，配准精度比较高。

同理分析高低向及对角向，由于放大率变化的影响，所成图像大小差值分别为0.0056mm、0.0094mm，均不大于1个像素。

从以上分析可知，可见光/微光物镜和红外物镜放大倍率变化引起图像失配的最大误差为0.0094mm，配准误差在1个像素内，配准精度高。

3.3 畸变变化引起图像配准失配性分析

同一个目标在相同距离下通过可见光/微光物镜和红外物镜所成像的大小，除了受放大倍率的影响外，两个物镜系统的畸变差异也能带来图像大小的差异，造成配准精度的降低，因此要求可见光/微光物镜与红外物镜在各个视场点的畸变值应一一匹配。可见光/微光物镜和红外物镜所成图像靶面长、宽和对角线长度之比为4:3:5，以对角线为全视场1，分析畸变引起图像失配性时，分析0.6（宽向）、0.8（长向）和1（对角向）即可。

在进行可见光/微光物镜与红外物镜像质优化时，二者的畸变值在各个温度点、各个视场点需要加以控制。可见光/微光物镜为定焦系统，畸变值随工作温度和观察距离变化而变化；红外物镜为内调焦系统，畸变值也随工作温度和观察距离变化而变化。表3、表4分别为可见光/微光物镜与红外物镜在常温（20℃）、低温（－40℃）和高温（60℃）、相同视场点、主光线、无穷远目标和239m目标的畸变值。由表3可知可见光/微光物镜随工作温度及观察距离（最小值为239m）变化时对应畸变值基本没有变化；由表4可得红外物镜随工作温度及观察距离（最小值为239m）变化时对应畸变值变化比较大。可见光/微光物镜的畸变值随工作温度及观察距离基本没有变化，因此在后续进行畸变引起图像配准失配性分析时，可采用常温、无穷远目标的畸变数据替代其它条件下可见光/微光物镜的畸变数据。

表3 可见光/微光物镜畸变表

表4 红外物镜畸变表

以红外图像为基准图像进行图像配准，则需要把可见光/微光图像进行均匀插值缩放，缩放因子为0.7555，缩放后可见光/微光物镜畸变如表5所示。

由表4、表5可得可见光/微光物镜与红外物镜在0.6、0.8和1处随工作温度变化、观察距离变化对应绝对畸变的最大差值，如表6所示。由表6可知畸变引起配准精度失配的最大情况为低温工作、观察239m目标、配准图像4个角的位置处，图像配准误差为35.5mm。以图像中心为基准进行图像配准，则图像配准误差最大值为17.75mm。观察者观察融合图像时，4个角位置不是观察者重点关注位置，则4个角处图像配准误差为17.75mm为可接受的配准精度。在4个角以内的区域图像配准精度在1个像素内，即配准精度高。

4 融合效果

手持融合观察镜使用红外通道观察时，人员目标与背景对比度比较高，背景比较单一；使用可见光/微光通道观察时，人员目标淹没在背景中不易分辨，背景细节比较明显；使用融合通道观察时，不仅能够提高目标与背景的对比度及分辨能力，而且还能增加场景信息，形成一幅场景比较丰富、目标比较突出的融合图像。融合效果如图4所示。

表5 缩放后可见光/微光物镜畸变表

表6 缩放后可见光/微光物镜畸变与红外物镜畸变对比表

图4 图像融合效果图

5 结论

本文设计了一款平行光路光学布局型式、内调焦方式的手持观察镜的融合物镜光学系统。本文详细介绍了融合物镜系统中内调焦型式的红外物镜设计方法及可见光/微光物镜的“无热化”、宽光谱消热差的设计理念，并详细分析了平行光路光学布局型式、内调焦方式融合物镜系统图像配准精度的估算及控制依据。最后通过实物演示图像，说明所设计融合系统的融合效果。通过手持观察镜融合物镜系统的设计，为其他进行图像融合图像采集系统研究的相关人员提供参考。

[1] 陈天明, 王俊琦, 张星祥, 等. 基于特征提取的红外与可见光图像融合[J].激光与红外, 2016, 46(3): 357-362.

CHEN Tianming, WANG Junji, ZHANG Xingxiang, et al. Fusion of infrared and visible image based on feature extraction[J]., 2016, 46(3): 357-362.

[2] 黄慧, 张宝辉, 席峰, 等. 基于目标增强的红外与可见光图像融合技术研究[J]. 红外技术, 2017, 39(10): 908-913.

HUANG Hui, ZHANG Baohui, XI Feng, et al. Image Fusion Technique Based on Target-Enhancement[J]., 2017, 39(10): 908-913.

[3] 韩泽, 蔺素珍, 赵竞超, 等. 基于直觉模糊集的多波段图像融合[J]. 红外技术, 2018, 40(3): 253-258.

HAN Ze, LIN Suzhen, ZHAO Jingchao, et al. Multi-band Image Fusion Based on Intuitionistic Fuzzy Set Theory[J]., 2018, 40(3): 253-258.

[4] 骆媛, 王岭雪, 金伟其, 等. 微光（可见光）/红外彩色夜视技术处理算法及系统进展[J]. 红外技术, 2010, 32(6): 337-344.

LUO Yuan, WANG Lingxue, JIN Weiqi, et al. Developments of Image Processing Algorithms and Systems for LLL(Vis.)/IR Color Night Vision[J]., 2010, 32(6): 337-344.

[5] 童涛, 杨桄, 孟强强, 等. 基于边缘特征的多传感器图像融合算法[J]. 红外与激光工程, 2014, 28(1): 288-29.

TONG Tao, YANG Guang, MENG Qiangqiang, et al. Multi-sensor image fusion algorithm based on edge feature[J]., 2014, 28(1): 288-29.

[6] 李博博, 马泳, 张晓晔, 等. 基于BMA滤波器和边缘的红外与可见光图像融合[J]. 红外技术, 2018, 40(2): 139-145.

LI Bobo, MA Yong, ZHANG Xiaoye, et al. Infrared and Visible Image Fusion Based on BMA Filter and Edge[J]., 2018, 40(2): 139-145.

[7] 肖中杰. 基于NSCT 红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130.

XIAO Zhongjie. Improved Infrared and Visible Light Image Fusion Algorithm Based on NSCT[J]., 2017, 39(12): 1127-1130.

[8] 孙爱平, 龚杨云, 朱尤攀, 等. 微光与红外图像融合手持观察镜光学系统设计[J]. 红外技术, 2013, 35(11): 712-717.

SUN Aiping, GONG Yangyun, ZHU Youpan, et al. Optical System Design of Low-light-level and Infrared Image Fusion Hand-held Viewer[J]., 2013, 35(11): 712-717.

Objective Design of Visible Light/Low-Light and Infrared Parallel Optical Path Fusion

SUN Aiping，YANG Shaoming，GUO Liang，GONG Yangyun，YU Haihong，ZENG Bangze，ZHAO Deli，WANG Jingyun，LI Zemin

(North Night Vision Science and Technology Group Co., Ltd.,Kunming 650223, China)

Most of the published literature relating to parallel optical path fusion focuses on analysis and research of image fusion algorithms; little literature discusses the optical system for image fusion. This paper designs and analyzes a fusion optical system of visible light /low-light and a long wave infrared image fusion and parallel light path layout according to the characteristics of a hand-held fusion observation lens. Firstly, the advantages and disadvantages of a shared optical path optical layout pattern and parallel optical path optical layout pattern were introduced. The optical layout pattern of the parallel optical path was selected according to the characteristics of the handheld fusion observation lens. Secondly, according to the requirements of the hand-held fused observation lens, the “heat dissipation difference” and fixed-focus optical design of the visible light /low-light optical objective lens were determined and the internal focusing optical design was performed for the long-wave infrared objective lens. Thirdly, the image registration accuracy was analyzed from the three aspects of the optical layout, magnification, and distortion of the parallel light path, according to the design of the fused optical system. Finally, the fusion image of the actual scene of the handheld fusion observation lens was analyzed and judged; it was found that the fusion image quality is suitable and the fusion performance of the handheld fusion observation lens can meet the requirements.

image fusion, optical path layout, parallel optical path, image fusion objective, visible light/ low-light, infrared, image registration

TN216, TN223

A

1001-8891(2020)01-0046-08

2018-08-01；

2019-11-20.

孙爱平（1980-），男，硕士，高级工程师，研究方向为光学系统设计。E-mail：50973525@qq.com。