基于HI3559V200的红外和可见光融合系统设计

甘威

摘要：为了适应不同的侦查环境，本文研究分析了一种基于海思HI3559V200的低功耗红外和可见光融合系统，既可单独显示红外或者可见光图像，也可显示二者融合图像。使用该方案设计的系统成像效果优秀，国产化程度高，功耗低，具有很强的实用性。

关键词：红外;可见光;系统设计

中图分类号：TP391.4 文献标识码：A 文章编号：1007-9416（2019）05-0173-01

0 引言

红外图像表现物体表面温度分部状态，能够在夜间区分目标和背景，可见光是物体反射可见光所成的像，能够提供高分辨率和清晰度的细节图像。由于成像原理不同，兩种图像较好的互补了目标场景信息，因此设计一套具备单红外、单可见光、红外可见光融合的系统更适用于不同的侦查环境[1，2]。

1 系统方案

本系统的结构框图如图1所示，整个系统分为3个部分，分别为：传感器部分，主控部分，显示部分。

传感器部分分为红外机芯和可见光CMOS传感器。红外机芯选用瑞创微纳的MicroII640P组件，其探测器为12um的非制冷红外焦平面探测器，分辨率为640*512，典型功耗1.3W。可见光CMOS传感器选择索尼的imx274，支持4k输出。主控部分选用海思的HI3559 V200作为主芯片，具备3840*2160@60fps的编解码能力，可以同时采集二路sensor数据，支持多种外部接口，搭配外部电路，可实现本系统设计所要求的全部功能，其典型功耗为1W。接口部分包括OLED显示接口，HDMI接口，GPIO接口，SD卡接口，串口、无线接口等。显示采用国产高清OLED（分辨率为1280*1024）。HDMI接口用作外接视频显示。SD卡用于存储扩展，确保系统的大容量存储。串口用来与北斗等外设通信。无线接口用来传输实时视频。

2 关键技术

本系统使用的红外与可见光融合算法采用基于多尺度变换的方法，包括如步骤：（1）采集红外与可见光通道数据，分别进行预处理;（2）对预处理好的图像进行配准，以使二者成像视场趋于一致，为了获得更好的配准效果，需要在结构上尽量保证配准准确;（3）利用对比度金字塔分解的方法对配准图像进行融合处理，生成融合图像。

HI3559V200处理器支持三种启动方式： SPI NOR Flash、SPI NAND Flash 或 eMMC，因为eMMC的兼容性好、速度快、容量大，本设计中采用eMMC，启动前把启动配置引脚配置成eMMC启动。本设计需要同时采集二路数据，红外通道通过LVDS采集，原始分辨率为640*512，利用视频图形系统VGS，将其放大到1280*1024。在可见光采集的驱动中添加1280*1024分辨率的支持，将二路数据的采集大小均设置为1280*1024。本设计将USB WiFi模块配置为无线接入点（AP模式），允许其他设备接入，不需要路由器，用户使用无线智能终端连接即可显示图像。

用户程序使用海思的媒体处理软件平台MPP构建，该平台对应用软件屏蔽了芯片相关的复杂的底层处理，并对应用软件直接提供MPI接口完成相应功能。VI模块捕获视频图像，可对其做缩放，输出1280*1024图像数据。解码模块对编码后的视频码流进行解码，并将解析后的图像数据送VPSS进行图像处理，再送VO显示。VPSS模块接收VI和解码模块发送过来的图像，用于视频预览、编码，同时在此模块中，可以实现图像算法，红外与可见光融合即在此处完成。VO模块接收VPSS 处理后的输出图像，可进行播放控制等处理，叠加用户通过Region模块设置的OSD图像，显示画面分割线、时间等信息，包括菜单、进度条等GUI界面，最后按照配置输出给外围视频设备。

3 系统运行结果

本系统在室外成像，显示效果如图2、3、4所示。主要性能指标：功耗 4W;焦距 40mm;NETD≤50mK;视场角 16*13°;帧频 30Hz;出瞳距离 16mm;外形尺寸 175*125*68mm;工作温度-40-65℃。

4 结语

基于HI3559V200的红外和可见光融合系统国产化程度高、功耗低、实用性强。但是本系统还不够智能化，随着海思更强芯片的推出，有更多人工智能算法实现，将极大拓展行业应用。基于海思芯片的红外成像处理平台将成为行业的一个重要发展方向。

参考文献

[1] 祝清瑞，汤心溢，李争，等.基于全可编程SOC的高速红外成像系统设计研究[J].激光与红外，2016（12）：1491-1495.

[2] 刘智嘉，贾鹏，夏寅辉，等.基于红外与可见光图像融合技术发展与性能评价[J].激光与红外，2019（5）：633-640.