基于数字微镜阵列的协同目标跟踪系统设计

朱 涵，张滋黎，唐亚军，郭喜庆，周维虎

（1.中国科学院光电研究院，北京100094；2.中国科学院大学，北京100090）

引言

随着光电技术的发展，图像目标跟踪系统在军事目标识别、机动目标跟踪、机器人导航、视频监控等军事民用领域应用越来越广泛，对其深入研究具有重要的实际应用价值［1］。多镜头目标跟踪系统视场宽、信息量大、协同性较差；单镜头单视场目标跟踪系统视场较小，但协同性好、局部图像目标细节信息丰富［2］。因此，单镜头同时具有大范围探测的宽视场和局部目标监视跟踪的窄视场的图像目标跟踪系统，在目标探测跟踪领域具有极强的应用潜力。目前，国内外对图像目标跟踪系统研究很多，取得了众多有价值的成果。视频监控重大项目VSAM采用分布式多镜头通过多传感器图像融合技术对宽视场进行目标跟踪监控［3］。基于凝视成像的大视场扫描成像系统中设计了单视场跟踪系统，前端大视场成像，后端采用二维转台的窄视场凝视系统实现目标扫描跟踪［4］。共用主次镜的双视场立轴三反集成式光学系统中公布了一种采用前端摆扫平面镜实现宽视场跟踪的单视场目标跟踪系统［5］。为保证局部目标的特征观测，定焦条件下单视场跟踪系统难以实现宽视场跟踪，经常出现宽视场跟踪过程中目标丢失现象。针对上诉分析，本文利用数字微镜阵列DMD（digital micro mirror device）多方向的高反射性能［6］，设计了能同时实现宽视场中目标跟踪，窄视场局部目标观测的高协同性目标跟踪系统。

1 数字微镜阵列

数字微镜阵列DMD利用平行光反射定律实现空间光调制［7］，其主要由微反射镜、扭转轴、寻址电极、轭、CMOS RAM组成。CMOS工艺将微镜单元集成在CMOS存储阵列上，存储阵列对寻址电极施加高低电平，左右寻址电极与微反射镜和轭之间的静电场产生非平衡静电力促使微反射镜绕扭转轴偏转，将入射光束反射到不同方向，实现空间光束传播方向的控制，微镜单元原理结构如图1所示［8］。大量微镜单元矩阵规律排布构成了整个数字微镜阵列。

图1 微镜单元结构示意图Fig.1 Diagram of micro-mirror unit structure

协同跟踪系统的DMD将整个视场反射到某一方向的同时，利用其微镜单元高频偏转功能，将局部目标光束反射到另一方向而不影响原反射方向的成像，从而达到成像视场协同分割的目的。如图2所示，宽视场中局部图像目标1对应的高速偏转微镜阵列，其实现了宽窄视场协同成像。该系统DMD翻转频率150Hz，翻转角度±12°，工作波段为350nm～2 700nm，满足跟踪系统协同可见光成像的要求。但是DMD存在一定的衍射现象［9］，实际应用中尽量选择小微镜尺寸、高空间占空比的数字微镜阵列作为视场分割器件。

图2 DMD宽窄视场协同成像示意图Fig.2 Width field synergetic imaging schematic diagram of DMD

2 协同目标跟踪系统原理设计

基于DMD的视场分割特性，充分考虑到跟踪系统协同性成像特点，采用大视场角单镜头作为系统目标跟踪宽视场，利用DMD区域性的偏转实现局部目标的窄视场成像，本文设计了一种能同时实现宽视场目标跟踪，窄视场局部目标监视的高协同性目标跟踪系统。

2.1 跟踪系统总体结构

协同目标跟踪系统总体结构如图3所示，其由孔径光阑1、光束压缩系统2、视场光阑3、一次聚焦系统4、DMD视场分割系统5、二次宽视场跟踪成像系统6和二次窄视场监视成像系统7组成。

图3 协同目标跟踪系统结构示意图Fig.3 Structure of collaborative target tracking system

孔径光阑实现视场角调节。光束压缩系统采用伽利略望远镜结构，望远结构中物镜为单双物镜（2-1），目镜为凯涅尔目镜（2-2）。其将物空间入射光压缩，通过视场光阑调整至DMD尺寸大小成为宽视场光束，该光束经一次聚焦系统成像于DMD面阵。DMD首先向上偏转，将DMD一次像高速扫入二次宽视场跟踪成像系统，经反射镜（6-1）、正透镜系统（6-2）聚焦成二次宽视场像于CCD图像传感器（6-3）。高速数字图像处理系统DSP完成图像传感器（6-3）中图像特征提取，确定局部目标，控制DMD驱动电路将局部目标对应的一次像区域的微镜单元偏转，将局部目标窄视场像扫入二次窄视场监视成像系统。经窄视场像中心调整系统（7-1）、正透镜系统（7-2）聚焦成二次窄视场像于CCD图像传感器（7-3）。实际设计时除聚焦作用外，正透镜系统还需设计一次窄视场像光束扩束结构，以便成与宽视场同样大小且具有更多细节特征的局部目标二次窄视场像。

跟踪系统的光束压缩系统设计需注重大视场角设计要求，各聚焦成像系统在满足低像差、高传递效率条件下设计。考虑到协同性跟踪成像的总体要求，本文将对核心结构宽窄视场分割系统和窄视场像中心调整系统进行重点介绍。

2.2 宽窄视场分割系统

DMD的高反射率特性和高速偏转功能是协同跟踪系统的实现基础。DMD视场分割系统、二次宽视场跟踪成像系统和二次窄视场监视成像系统共同组成了宽窄视场分割系统。3个子系统的协同工作也即DMD与宽窄视场的CCD图像传感器的协同，是保证整个目标跟踪系统正常工作的首要条件，本文基于DMD和CCD的工作特点重点研究了系统的协同性。

图4 目标跟踪系统协同时序图Fig.4 Collaborative timing diagram of target tracking system

CCD图像传感器正常工作包括光积分、电荷转移输出阶段［10］；数字微镜DMD的工作状态可分解为偏转和稳定2种状态，由此目标跟踪系统确立了图4所示的协同时序图。包括初始化、首帧像和后续像3个阶段。t1初始化阶段跟踪系统完成初始化，前端将远方物成像于DMD阵列；t2阶段，Trigger信号触发整个DMD微镜单元正偏转（＋12°）成二次宽视场像于宽视场CCD；CCD图像传感器进入光积分阶段t3，完成光电转换；Trigger信号触发宽窄视场的CCD进入空闲阶段t4，初始化预设的窄视场对应微镜单元负偏转（-12°）成二次窄视场像于窄视场CCD；窄视场CCD进入光积分阶段t5，即宽视场CCD的电荷转移输出阶段；Trigger信号触发宽窄视场的CCD再次进入空闲阶段t6，DSP对t5阶段输出的图像进行特征提取，确定局部目标窄视场区域，窄视场微镜阵列恢复正偏转；宽视场CCD进入光积分阶段，窄视场CCD的电荷转移输出阶段；接下来的DMD窄视场偏转区域对应于t6阶段确定的局部目标窄视场区域。自此，目标跟踪系统正式进入循环协同跟踪过程：宽视场特征提取确定局部目标窄视场区域，DMD偏转成窄视场监视用像。t7表示了一次完整的协同过程。

注意系统稳定协同过程中，根据实际系统确定t1长短，空闲时间t2、t4、t6为DSP图像处理时间和DMD翻转时间中最大者，t3、t5既是光积分时间又是电荷转移时间，两者应相等。

2.3 窄视场像中心调整系统

窄视场局部目标在DMD阵列中的位置具有随机性，其扫入二次窄视场监视成像系统的局部目标光束的中心难以与成像系统的视轴保持重合，经扩束聚焦后的局部目标像中心无法与CCD像面中心重合，本文设计了一种用于调整局部目标光束中心与视轴重合的窄视场像中心调整系统，原理如图5所示。

窄视场局部目标在DMD阵列的x、y方向上任意移动，DSP给出局部目标在DMD阵列中的坐标（x，y）；通过平移镜1在u方向上的移动，保证局部目标光束中心入射点在视轴水平面上，调整光束中心在y方向的不一致性，如图5（a）所示；通过平移镜2在v方向的移动，使得将用于扩束的局部目标光束中心线与二次窄视场监视成像系统视轴重合，消除光束中心x方向的不一致性，如图5（b）所示，其中（x，y）与（v，u）满足一定的几何关系：

图5 窄视场像中心调整系统原理图Fig.5 Schematic diagram of narrow-field image centre adjustment system

由上两式可得步距关系：Δu＝-2.246 04Δy，Δv＝Δx，其确定了驱动电机的步距。根据局部目标的位置（x，y）驱动平移镜移动定位，实现窄视场成像中心与CCD像面中心重合实时调整。平移镜1在u方向的投影长度与DMD的x方向边长相等，与u方向夹角12°，a为DMD与窄视场成像系统视轴水平面的装配距离，h为DMD在y方向边长；平移镜2在u方向长度与最小局部像几何尺寸相等，与v轴夹角45°。

3 关键系统实验验证

3.1 宽窄视场分割系统功能验证实验

宽窄视场分割系统验证光路如图6，DMD的微镜单元偏转角12°，其他几何关系如图所示。a、b理论距离是0.445m，实际测得a＝0.48m，b＝0.43m。实验中，假设DMD中心5mm×5mm区域为窄视场，Trigger低电平触发信号为13ms，DMD工作周期为50ms。采用He-Ne激光作为强光源获得了图7所示的分别代表宽窄视场的反射点3和反射点2。宽视场反射点比窄视场亮度高是因为宽视场更多微镜单元的反射作用。激光相干性使得反射光束发生了衍射作用，实际目标协同跟踪系统多为自然光成像系统，衍射角非零的次极大衍射作用很微弱［11］。反射点1的产生是由于实验中使用的DMD的外层封装玻璃反射作用。误差范围内，证明了DMD反射原理和协同工作的可行性。

图6 分割系统功能验证Fig.6 Functional verification of segmentation system

图7 分割系统协同作用示意图Fig.7 Collaborative principle figure of segmentation system

3.2 窄视场像中心调整系统验证实验

图8 窄视场像中心调整系统验证平台Fig.8 Verification platform of narrow field center adjustment system

为验证窄视场像中心调整系统在局部目标光束调整过程中的正确性，本文搭建了如图8所示的验证平台。x、y方向步进电机的移动模拟了局部目标在DMD中的位置随机性。通过u、v方向的平移镜协同调整，使局部目标光束中心与标准台的中心标记点保持重合，模拟了局部目标光束中心线与窄视场成像系统视轴线的重合。实验中，确定性移动x、y两方向的步进电机，通过u、v方向的游标卡尺获得位移差，验证Δu与Δy、Δv与Δx之间的步进关系。测得x方向绝对误差不超过2%，y方向绝对误差不超过1%，验证了窄视场像中心调整系统在目标跟踪系统作为局部目标光束调整作用的有效性。

4 结论

多镜头目标跟踪系统协同性差，常见单目单镜头跟踪系统在监视目标细节同时，难以实现大视场目标协同跟踪。基于DMD的高反射率、任意区域微镜阵列可偏转、高偏转频率、稳定偏转角的工作特点，研究并设计了单镜头能同时实现大范围宽视场目标跟踪，窄视场局部目标监视功能的基于数字微镜阵列的协同目标跟踪系统，其具有以下特点：

1）结构上的优化。相比多镜头实现的大视场跟踪，单镜头减小了系统结构复杂度；DMD既是视场分割器件又是跟踪执行元件，简化了跟踪结构设计。

2）功能上的改进。与传统的机械式平面镜扫摆跟踪结构相比，本系统能降低系统跟踪惯量，提高实时性；集宽视场跟踪与局部目标观测功能为一体，应用性更强。

宽窄视场的协同跟踪需要DMD视场分割系统、二次宽视场跟踪成像系统和二次窄视场监视成像系统三子系统协同跟踪，本文研究了系统工作的协同时序关系，并通过实验验证了分割系统和协同跟踪的可能性。窄视场监视成像系统的局部目标光束的中心难以与成像系统的视轴保持重合，结合几何光学原理和二维平移台结构原理设计了窄视场像中心调整系统，且通过实验验证了该平台的可行性。

综上，本文对基于数字微镜阵列的协同目标跟踪系统的协同跟踪原理进行了研究并设计跟踪系统结构。研究了宽窄视场分割系统、窄视场像中心调整系统等的关键结构，验证了系统设计的可行性，为协同跟踪系统原理样机的实际制作提供了一定的技术支持。

［1］ Wang Xin，Xu Lizhong.Image target tracking technology［M］.Beijing：Posts ＆ Telecom Press，2012.王鑫，徐立中.图像目标跟踪技术［M］.北京：人民邮电出版社，2012.

［2］ Li Dongyuan，Zhang Xiaoguang，Yan Xiusheng，et al.Design of WFOV optical lens for CCD camera［J］.Journal of Applied Optics，2006，27（2）：105-107.李东源，张晓光，闫秀生，等.CCD摄像机大视场光学镜头的设计［J］.应用光学，2006，27（2）：105-107.

［3］ Collins R，Lipton A，Fujiyoshi H，et al.Algorithms for cooperative multisensory surveillance［J］.IEEE，2001，89（10）：1456-1477.

［4］ Wang Zhile，Long Funian，Zhao Ming，et al.Wide field scanning thermal imaging system based on staring imaging：China，200910072691［P］.2010-01-20.王治乐，龙夫年，赵明，等.基于凝视成像方式的大视场扫描热成像系统：中国，200910072691［P］.2010-01-20.

［5］ Fu Danying，Zhang Tao，Huang Ying.Double field off-axis three-mirror integrated optical system using sharing primary and secondary mirror： China，200810116485［P］.2008-11-12.傅丹膺，张涛，黄颖.共用主次镜的双视场离轴三反集成式光学系统：中国，200810116485［P］.2008-11-12.

［6］ Dana Dudley，Walter Duncan，John Slaughter.E-merging digital micro-mirror device applications［J］.SPIE，2003，4985：14-25.

［7］ Wang Yunping，Zhao Changming.Dynamic infrared scene simulation system based on DMD［J］.Infrared and Laser Engineering，2009，38（6）：966-970.王云萍，赵长明.基于DMD的动态红外景象仿真系统［J］.红外与激光工程，2009，38（6）：966-970.

［8］ Chen Gonghua，Jia Jianyuan.Study on the mechanicoptical properties of digital micro mirror devices［J］.Journal of Applied Optics，2001，22（2）：14-19.陈恭华，贾建援.数字微反射镜的机械光学特征研究［J］.应用光学，2001，22（2）：14-19.

［9］ Wang Dapeng，Wei Sui.Phase Modulation Properties of Digital Micro mirror Device［J］.Acta Optica Sinica，2007，27（7）：1254-1260.王大鹏，韦穗.数字微镜器件的相位调制性质［J］.光学学报，2007，27（7）：1254-1260.

［10］ Kazuya Yonemoto，Chen Rongting，Peng Meigui.CCD／CMOS Image Sensor Foundation and Applica-tion［M］.Beijing：Science Press，2011.米本和也，陈榕庭，彭美桂.CCD／CMOS图像传感器基础与应用［M］.北京：科学出版社，2011.

［11］ Yuan Xiaofeng，Pu Donglin，Shen Su，et al.Phase modulation properties of digital micro mirror device in UV beam［J］.Journal of Applied Optics，2012，33（4）：788-792.袁晓峰，浦东林，申溯，等.数字微镜器件制造精度误差对紫外光调制特性的影响［J］.应用光学，2012，33（4）：788-792.