电子荧光内窥镜实时图像处理系统

邱鹏 叶兵 马静云

摘  要： 文中根据内窥镜肿瘤手术的发展趋势，设计一套电子荧光内窥镜实时图像处理系统。该系统采用OV5640图像传感器采集病灶图像，光纤导光的LED作为其功率可控的光源。根据光源开关状态区分暗亮场，开关频率与摄像头的帧率一致。通过计算摄像头与拍摄物体距离，迭代其曝光时间及焦距，从而使图像获得合适的亮度及清晰度。FPGA将接收的图像存储在DDR2中。通过缓存控制及合成算法得到病变与正常组织差异性较高的图像，将其以一定的帧数组合，使用VGA线缆输出至显示器。与传统的内窥镜系统相比，其主要侧重于图像采集与光源的同步，自动调节曝光时间，使得手术医生能够方便地提取出不同光照度下图像的差异信息。

关键词： 内窥镜; 图像处理; 图像采集; 图像輸出; 光源控制; 自动调节

中图分类号： TN911.73?34; TP273               文献标识码： A                      文章编号： 1004?373X（2020）04?0038?05

Real?time image processing system for electronic fluorescence endoscope

QIU Peng， YE Bing， MA Jingyun

（School of Electronic Science and Applied Physics， Hefei University of Technology， Hefei 230009， China）

Abstract： As the development trend of endoscopic tumor operation， a real?time image processing system for electronic fluorescence endoscope is designed. In this system， the OV5640 image sensor is adopted to collect the nidus images， and the LED with the optical fiber light transmitting is used as its light source with controlled power. The dark and light  fields are distinguished according to the switch state of the light source. The switch frequency is consistent with the frame rate of the camera. The exposure time and focal length of the camera are iterated by calculating the distance between the camera and the object， so as to obtain the appropriate brightness and clarity of the image. The received images are stored in the DDR2 by the FPGA， the highly difference images with the diseased tissue and normal tissue around it are got by means of the cache control and the synthesis algorithm， which are combined at a certain number of frames and output to the display through VGA cable. In comparison with the traditional endoscopy system， this system mainly focuses on the synchronization of image acquisition and light source， and can automatically adjust the exposure time， which makes the surgeons conveniently extract the difference information of the image under different illumination.

Keywords： endoscope; image processing; image capture; image output; light source control; automatic adjustment

0  引  言

随着科学技术的发展进步，“微创”这一概念已深入到外科手术的各种领域。在微创肿瘤切除手术中，医生仅仅依赖于内窥镜所提供的视觉信息来判断肿瘤，这导致对于颜色和形态都与正常组织相似的微小肿瘤病灶被遗漏[1]。

利用荧光分子成像是一种新的成像方法，其原理是通过荧光剂标记肿瘤细胞来增加病变组织与正常组织的对比[2]。由于荧光剂在可见光照射下观察效果不明显，在无光照条件下标记效果显著，因此在临床上，医生通过手动开关照明光源，通过电子内窥镜来观察正常组织与肿瘤组织的图像差异信息。而手术现场环境复杂、仪器众多，在长时间手术的过程中频繁开关光源给手术医生带来一定负担;并且在暗场下荧光剂的边界不清晰，容易干扰医生对手术的判断。

为了解决在临床手术中所面临的以上几个问题，本文提出一套电子荧光内窥镜实时图像处理系统。该系统能够自动开关光源，对1 920×1 080分辨率的视频流实时处理，自适应改变屏幕亮度，清晰显示荧光边界，减少了手术时间，完善了这一新型成像方法在实际手术中的应用。

1  系统的设计原理

本系统由光源模块、图像采集模块、处理模块和液晶显示器4个部分组成。光源模块驱动光纤导光的LED对成像区域照明。图像采集模块采用OV5640摄像头进行图像采集。处理模块是整个系统的核心，由cyclone系列的EP4C75芯片及2片DDR2组成，负责搭载图像合成算法、存取未处理和处理后的图像以及改写摄像头寄存器等操作。处理模块使用VGA线缆连接1080P液晶显示器。为了便于调节摄像头参数，本系统加入矩阵键盘作为参数调节端，计算机通过USB Blaster线缆对FPGA烧写，利用SignalTap对本系统进行在线调试。本系统所设计的系统结构框图如图1所示。

2  系统的硬件设计

2.1  光源模块

通常内窥镜所采用的LED光源具有功率较大、发散角大于摄像头视场角、光强可调等特性。针对LED的光学特性所设计的光学结构由本课题所在的其他小组负责。本文设计了光源模块的LED驱动电路见图2。220 V交流电经变压器、整流滤波电路后作为CW7812的输入电压。CW7812为12 V稳压芯片最大输出电流可达1.5 A，满足三列LED的最大驱动电流0.6 A。FPGA通过引脚strobe高低电平控制光源开关。当Strobe为3.3 V时，Q2，Q1导通，D1～D9发光。利用可变电阻R1调节D1～D9的工作电流，从而改变其照度。Strobe为0 V时，Q2与Q1截止，D1～D9无电流经过，不发光。

2.2  图像采集模块

本模块采用CMOS图像传感器OV5640，其曝光时间和增益每帧可控，内部集成ISP（Image Signal Processor），可将上一级A/D转换器的输出数字信号经白平衡、伽马校正、颜色插值转换为YUV格式数据输出[3]。FPGA使用SCCB协议初始化OV5640，使其输出1 920×1 080分辨率的图像数据。VSYNC为高电平有效的帧同步信号，在每帧图像数据传输完成后触发。HREF为行同步信号。D0～D7为数据总线，每个PCLK上升沿输出8位图像数据。

2.3  处理模块

由于图像数据量较大，调试时需要占用FPGA内部RAM较多。本设计所采用的FPGA芯片拥有多达2 745个M9K，满足了通过SignalTap采集大量FPGA内部信号，从而达到调试本系统的目的。由于EP4CE系列没有自带内部FLASH，因此外接一个64 Mbit FLASH，采用SPI与其通信。Cyclone IV E系列EP4CE75F23C8 FPGA，M25P64 SPI FLASH以及两片镁光MT47H64M16 DDR2组成了处理模块的硬件结构，分别负责本系统的逻辑控制、逻辑代码存储以及图像缓存。由于芯片管脚众多，地址数据总线较宽，本文给出处理模块的设计框图如图3所示。

两片DDR2共用13位地址总线（ADR）、时钟线（CLK）、控制总线（CMD）以及块选择线（BA）。两片DDR2的16位DQ并联，数据位宽由16位扩展成32位。DDR2的数据吞吐率等于接口时钟×接口位宽[4]，即300 M×32 bit=9.6 Gb/s。VGA接口输出每帧图像前，图像缓存控制需要从DDR2中写入两帧和读取两帧数据，在DDR2读取速率与写入速率一致的条件下，则DDR2吞吐率的[14]（2.4 Gb/s）需要大于摄像头数据输入速率和VGA接口输出速率。对比OV5640数据输入速率84 M×8 bit=0.67 Gb/s以及VGA接口输出速率148 M×16 bit=2.368 Gb/s，该型号的DDR2满足此次设计的需求。

3  系统的逻辑设计

处理模块中的逻辑控制作为本系统设计的核心，采用Verilog硬件描述语言编写，通过USB Blaster下载及调试。系统的逻辑结构如图4所示。摄像头的8位并行数据经带宽加倍后输入到DDR2中。DDR2中划定4帧的缓存空间，图像缓存控制模块按照设计的顺序分次存取。图像合成前，经过自动曝光算法，计算出下一帧最适曝光值。图像合成后，数据由缓存块经YUV转RGB[5]，VGA时序控制[6]输出至液晶显示屏。本节主要就关键性问题进行详细描述。

3.1  亮暗场切换

亮暗场切换属于处理模块对图像采集模块与光源模块的控制。当每帧数据发送完毕时，摄像头在固定的PCLK时钟周期内将VSYNC置高。亮暗场切换的同步信号采用摄像头的帧同步信号VSYNC，FPGA采集到VSYNC的上升沿，即确定该帧数据发送完毕。控制器分奇偶帧对本系统做出以下配置。

奇帧（亮场）：将光源开关引脚（strope）置高，LED亮。通过SCCB总线减小摄像头的曝光时间和增益，将图像输入地址在DDR2中切换至亮帧存储位置（0X100000～0X1FD1FF）。偶帧（暗场）：将光源开关引脚（strope）置低，LED灭。通过SCCB总线增大摄像头的曝光时间和增益，将图像输入地址在DDR2中切换至暗帧存储位置（0X000000～0X0FD1FF）。

由于摄像头工作在不同照度下，因此摄像头需要来回切换亮、暗场的曝光时间及增益，其中亮场的曝光时间由自动曝光算法得出。对拍摄图片在DDR2中存储位置的切换简化了图像缓存控制的设计。

3.2  自动曝光及焦距调节

图像质量与清晰程度以及像素亮度有很强的相关性。合成图像中正常区域的清晰程度取决于CMOS相机的焦距，而其像素亮度取决于亮场的像素亮度。在手术中，医生需要调节内窥镜镜头与成像组织的距离来获得可变视野。由现有的内窥镜结构可知[7]，内窥镜镜头是由光纤头和与其在同一垂直平面的CMOS感光芯片所组成。因此，调节内窥镜镜头与成像组织的距离d，会造成图像清晰程度与像素亮度的变化。本设计在不改变LED发光强度的条件下通过调节曝光时间T，使得像素亮度能够稳定在目标范围内，不随d变化。使用实验参数计算出d的大小，通过距离范围查找表（Look?Up Table，LUT）[8]获得该d值所需的工作参数T以及摄像头音圈马达VCM的工作电流A（改变焦距）[8]。通过反复迭代，从而使得图像具有稳定的亮度和清晰度。

[Cy=Ay+By·f]

[Cuv=Auv·d+Buv·|1-d|] （7）

[f=0，        By

图7为合成算法流程图。考虑到乘加运算所实现的功能，结合FPGA处理数据的流水线特性，合成算法以一个像素作为基本运算单元，在乘法运算和加法运算之后各加一个寄存器，形成两级流水线结构。暗场亮度数据（[By]）经比较器后作为数据选择器的选择端口。若[By]值小于t，则两个数据选择器分别选择通道0及通道[Auv]，否则，则选择通道M及通道[Buv]。

实验过程中，参数经多次调整设定为M=1，t=0x0F。图像合成效果见图8，对比亮场图像9与暗场图像10，该合成算法较为清晰地显示了正常组织，并且显著增强了荧光区域的边界，实现了本系统中正常組织与荧光区域的区分功能。

4  结  论

本系统采用FPGA进行控制与运算，使用像素合成的方法来处理图像。通过访问查找表，多次迭代计算，维持图像亮度稳定，清晰度合适。实验结果表明，该系统实时性好、操作便捷、分辨率高，可以显著地增强标记区域与正常组织的区分度，为缩短手术时间，减少识别难度提供了一种有效的治疗手段。

参考文献

[1] GLYNNE?JONES R， NILSSON P J， ASCHELE C， et al. Anal cancer： ESMO?ESSO?ESTRO clinical practice guidelines for diagnosis， treatment and follow?up [J]. European journal of surgical oncology， 2014， 40（10）： 1165?1176.

[2] 刘长旭，刘昶，纪艳超.量子点荧光腹腔镜在胃癌治疗中的研究进展及前景[J].中国微创外科杂志，2018，18（3）：271?273.

[3] 葛正中.基于Cortex?A9的高清摄像系统设计[D].北京：北方工业大学，2016.

[4] 韩刚.用于高速图像处理的DDR2 SDRAM控制器[J].西安邮电大学学报，2015，20（4）：58?61.

[5] 陈云，杨娜，黄江伟.基于嵌入式系统的摄像头图像采集[J].信息通信，2017（11）：77?78.

[6] 杜宗展，王振河，冯迎春.基于FPGA的VGA图像显示系统的设计[J].现代电子技术，2015，38（16）：95?99.

[7] 宁伟，王永琳，王恩运，等.医用内窥镜系统的组成与常见故障维修[J].医疗装备，2015（6）：105?106.

[8] 李翁衡，卢琴芬.微型音圈电机在手机摄像模组中的应用[J].微电机，2018（7）：8?11.

[9] 何燕强.距离平方反比定律的应用与探讨[J].计量与测试技术，2018（6）：14?17.

[10] 刘杰，赛景波.基于DDR2SDRAM乒乓双缓冲的高速数据收发系统设计[J].电子器件，2015（3）：650?654.