基于片上质心计算的高速哈特曼波前传感器技术

杨蕊瑜 王帅 张彬 孙年春

摘要：针对强湍流像差校正、气动流场像差测量等高速波前探测场景，提出一种基于片上质心计算的高速哈特曼波前传感器设计，将光斑图像数据在输出之前做预处理，将预处理获取的光斑质心而非光斑图像作为光电探测器高速实时输出的数据，从而大幅压缩高速波前探测所需的实时传输数据量，可显著提升哈特曼波前传感器的实时探测速度。测试结果表明，提出的设计方案基于常规 GigE Vision接口即可实现10 kHz 以上的高速波前实时测量，有望为哈特曼波前传感器的自适应光学校正、气动光学效应测量等应用场景提供一种实时、高速波前测量新的技术手段。关键词：自适应光学;片上质心计算;高速波前探测;哈特曼波前传感器

中图分类号： O438.2;TB9文献标志码： A文章编号：1674–5124（2021）12–0142–07

High-speed Hartmann wavefront sensor technology based on chip centroid calculation

YANG Ruiyu1，2，WANG Shuai2，ZHANG Bin1，SUN Nianchun1

（1. School of Electronic Information， Sichuan University， Chengdu 610065， China;2. Key Laboratory ofAdaptive Optics， Chinese Academy of Sciences， Chengdu 610209， China）

Abstract： Aiming at high-speed wavefront detection scenarios such as strong turbulence aberration correction and aerodynamic flow field aberration measurement， a high-speed Hartmann wavefront sensor design based on on-chip centroid calculation is proposed. The spot image data is preprocessed before output. And the pre- processedspotcentroidsinsteadof thespotimageisusedashigh-speedreal-timeoutputdataof the photodetector of wavefront sensor. This design can greatly reduce the amount of real-time transmission data requiredforhigh-speedwavefrontdetectionandsignificantlyimprovethereal-timedetectionspeedof Hartmann wavefront sensor. The test results show that the proposed scheme can achieve high-speed， high- resolution real-time wavefront measurement above 10 kHz based on the conventional GigE Vision interface and is expected to provide a new technique for Hartmann wavefront sensor to realize real-time and high-speed wavefront measurement in application scenarios， such as adaptive optical and measurement of aero-optical effects.

Keywords： adaptive optics; on-chip centroid calculation; high-speed wavefront detection; Hartmann wavefrontsensor

0引言

在各類波前传感器中，哈特曼波前传感器因结构紧凑、速度快、光能利用率高和对环境要求低等诸多优点，已被广泛应用于自适应光学系统、光学检测、空气扰动分析、激光光束检测等领域[1-3]。作为一种重要的波前畸变高速测量技术手段，提高探测速度、提升测量精度一直是哈特曼波前传感器技术的研究热点和重点改进方向。

在提高探测速度方面，受限于哈特曼波前传感技术的测量原理，在高速测量条件下，哈特曼波前传感器的核心组件——高速相机需将海量的光斑图像数据实时输出至波前处理机中作波前复原运算。为此，哈特曼波前传感器光斑阵列图像数据量和高速相机接口的传输带宽直接决定了波前传感器的测量速度上限。受此限制，现有高速哈特曼波前传感器常采用机内缓存高速相机实现短时间数据高速记录和缓存后图像数据传出以实现波前重建分析，难以实现高速、实时波前测量与校正[4-9]。虽然美国公开的 AAOL（机载气动光学实验室）计划中报道了其高速哈特曼波前传感器实现的20 kHz 波前测量速度[7]，但该传感器采用的是高速机内缓存的方式，无法实现实时测量。普林斯顿大学研究人员在介绍气动光学测量工作中提到了采用的高速哈特曼波前传感器在256×256分辨率下达到5000 f/s 测量频率[8]。国内中科院光电所陈凯等人研究的基于 PSD 探测器的哈特曼波前传感器测量频率最高为5000 Hz[9]。抑或寄希望于诸如CoaXPress等新接口、新协议提供更高的相机数据传输带宽，但基于高带宽相机数据传输接口的解决方案不仅会导致成本和系统复杂度增加的问题，也会对波前处理机的数据接收、处理能力提出更高的要求。

在非波前探测领域的涉及机器视觉、图像监控的物联网、视频处理、手机类电子产品等领域，由于图像传感器直接输出的原始数据质量较差，采用图像信号处理（ISP）模块做图像原始数据预处理和补偿的技术已经十分成熟，主要涉及输出图像质量提升[10]。近年，将人工智能算法与先进传感器技术相结合已成为主流趋势之一，拥有数据处理能力的“智能传感器芯片”配合创新的人工智能算法，可解决大量人脸识别、车牌识别等应用场景所面临的海量数据处理量、数据传输带宽等难题。将数据处理过程“前置”至传感器端，可实现更快的数据处理速度、更高的系统效率和更强的数据隐私保护，并降低数据传输延迟、节省系统功耗、减少网络带宽需求等。高速波前探测同样面临的海量数据传输难题，将波前测量中的光斑图像质心计算视为一种特殊的图像信号预处理，本文提出了一种基于片上质心计算的高速哈特曼波前传感器技术方案，基于市售可开发的高速传感器芯片，开发了基于片上质心计算的传感器芯片驱动电路，搭建了高速哈特曼波前传感器原理装置，实现了10 kHz 高速波前实时测量，验证了本文所提出技术方案的可行性和有效性。

1基于片上质心计算的高速哈特曼波前传感器技术

1.1哈特曼波前传感器工作原理

哈特曼波前传感器的基本结构及工作原理分别如图1（a）、（b）[11]所示，由微透镜阵列和放置于微透镜阵列焦平面上的光电探测器组成。入射的待测光束经过微透镜阵列子孔径分割取样后，分别聚焦于形成子孔径光斑阵列。光电探测相机记录光斑阵列图像并将图像数据实时传输至波前处理机（PC 端）进行光斑质心计算、斜率计算和波前重构等波前处理。光斑阵列图像的光斑质心计算是波前处理的第一个环节，根据光斑质心偏移可直接通过线性计算得到子孔径内波前斜率信息，求得每个子孔径内的波前斜率后即可采用波前复原算法（如模式法、区域法[12]等）重建待测波前分布，实现波前实时测量。

1.2基于片上质心计算的高速哈特曼波前传感器原理

由上述可知，现有哈特曼波前传感器的质心计算主要在波前处理机端，因此光电探测相机需根据波前探测速度实时将光斑阵列图像原始数据传输至波前处理机，未做任何预处理。为实现光斑图像的高速片上质心计算预处理，本文是设计的基于片上质心计算的高速哈特曼波前传感器主要有图像采集模块、数据处理模块、接口传输模块以及电源模块4个部分，其系统组成与数据流程如图2所示。图像采集模块负责光斑图像采集并将其转换为图像数字信号，并传输至数据处理模块的高速大容量存储器中，图像数据处理模块中的数据处理芯片从存储器中实时、高速地获取图像数据，并依据集成的哈特曼波前传感器光斑图像质心算法对光斑图像数据进行图像信号处理，得到当前光斑图像的光斑质心数据。数据传输芯片接收原始光斑图像数据和对应的光斑质心数据，分别发送给图像显示接口和波前处理机接口，两种接口按照数据传输接口协议打包后，分别将光斑质心数据实时地输出至波前处理器，用于高速波前测量，同时将光斑图像数据以常规视频帧率（30 f/s）输出至显示硬件终端，用于高速哈特曼波前传感器的状态监测。

1.3数据传输量对比分析

为了实现高速、高分辨率的波前探测，要求光电探测相机具有高速的数据传输接口将携带着波前信号的光斑图像数据高速、实时地传输至波前处理终端。为保证哈特曼波前传感器的测量精度，哈特曼波前传感器需要足够的子孔径数目对光束实施采样，同时需要光电探测器具有足够的像素数和分辨率对光斑阵列图像形成完整记录。为达到10 kHz 波前探测频率，若取高速哈特曼波前傳感器的光电探测器有效开窗分辨率为1024×1024，图像数据位深为10 bit，其数据传输流量约为156.25 Gb/s，已经远超出现有工业相机和科学级相机主流的 Camera Link、IEEE 1394、USB、GigE Vision 以及最新的CoaXPress等数字接口的传输带宽。因此，在典型的图像数据传输、波前处理机计算的技术方案下，常见的各类图像数据传输接口难以满足高速哈特曼波前传感器海量的图像数据实时传输需求。

然而，不同于常见的图像处理场景，哈特曼波前传感器涉及的图像处理不以图像数据作为最终的信息输出，而是为了从图像数据中提取各光斑质心信息用于波前相位信息的重建。考虑到哈特曼波前传感器图像数据处理是一种高速、实时的近流水线形式的处理机制，将波前传感器光斑图像的质心信息提取放在“前端”光电探测器中，将图像数据经过质心计算预处理后只输出处理后的光斑质心数据，则输出数据量会显著压缩。哈特曼波前传感器输出数据量主要取决于子孔径数目和波前探测帧频，而与光斑图像分辨率无直接关联。设光斑图像分辨率为1024×1024，子孔径数目为32×32，波前探测频率为10 kHz，可得质心数据的传输流量仅为0.61 Gb/s 左右。此时，即使采用 USB3.0或千兆网口作为数据传输接口，也可以完全满足数据传输需求，实现高速、高分辨率的哈特曼波前传感器波前测量。由此可见，采用质心数据传输的方法可有效的节约接口带宽，从而大幅提升波前探测速度上限。

2基于片上质心计算的高速哈特曼波前传感器原理装置开发

2.1图像数据采集模块

高速哈特曼波前传感器的图像芯片需具有高速图像采集能力。本文的高速哈特曼图像传感器选用美国 LUXIMA 公司的高速图像传感器芯片 LUX13HS，是一款针对高速开发机器视觉、三维扫描、运动分析和工业市场的 CMOS 传感器芯片，其结构框图如图3所示[13]。LUX13HS 图像传感器拥有1296×864像素，有效像素为1280×864，在满幅分辨率下帧率可达3500 f/s，像元尺寸为13.7?m×13.7?m。同时，该芯片还具有感兴趣区域（region of interesting，ROI）开窗功能，可控制 LUX13HS 的感光芯片进行开窗操作，输出指定窗口内的图像数据。采用 ROI 开窗功能到288×288分辨率，可进一步提高原始图像记录帧频以达到预期的10 kHz 的水平，光斑图像数据量约为6.2 Gb/s。

2.2图像数据处理模块

图像传感器的前端片上质心预处理芯片硬件主要采用两块 FPGA，使用流水线设计，提高图像数据的吞吐量。一块主控 FPGA 用于图像加速算法处理，另一块用于图像数据的格式转换、数据传输。考虑到 FPGA 芯片的器件管脚数量、逻辑单元、速度等级、嵌入块 RAM 容量、时钟管理、IP 硬核资源支持、温度范围、成本和功耗等方面的因素，选用 Xilinx 公司KintexUltraScale系列的高性能 FPGA 芯片 XCKU060-2FFVA1517I 作为高速波前探测系统的核心控制器，采用 Xilinx 的 ZYNQ-7000系列的 XC7Z010-2CLG225I 作为图像格式转换和数据传输的芯片1[4-15]。

2.3高速哈特曼波前传感器数据流程

图像传感器在采集到图像后需要输出灰度图像数据，带千兆网络的 FPGA 搭载了 Nor Flash 用于程序的存储，同时还搭载了多片 DDR3、DDR4和SRAM。本文设计的高速哈特曼波前传感器数据流程如图4所示。

图像传感器上电后，主控制器 FPGA 对图像传感器芯片 LUX13HS 的参数和 ZYNQ 的以太网进行配置的初始化操作，配置完成后，图像传感器芯片通过80对 LVDS 将原始的图像数据流输出至 FPGA。主控 FPGA 接收到原始图像数据后，对图像进行开窗处理，再将图像数据存储到 DDR4中， FPGA 同时对 DDR4中开窗后的图像数据读出并进行质心算法预处理，将处理后的图像数据再存储到 DDR3L 中。ZYNQ 用于监控处理输出模式和传输状态，并将接收到的指令传输给 FPGA 主控制器， FPGA 就将原始开窗后的图像数据与处理后的质心数据通过并行 I/O 端口传递给 ZYNQ 的 PL 端，PL 端再将质心数据进行格式转换后，通过 DMA 将图像数据缓存到 PS 端的 DDR3存储器中，ZYNQ 再将质心数据读出，并进行 GigE Vision 千兆以太网的组包、分包，最后将处理后的质心数据传递给 PC 端。

3系统测试及实验验证

3.1高速哈特曼波前传感器系统测试

为了验证设计并开发的基于片上质心计算高速哈特曼波前传感器的波前探测速度性能，开展了传感器系统测试实验。高速哈特曼波前传感器系统设计探测波长λ为635 nm，图像传感器开窗分辨率为288×288像素，微透镜阵列数为12×12、尺寸为0.336 mm×0.336 mm，微透镜阵列、图像传感器及片上计算芯片集成后的原理样机实物如图5所示。

高速哈特曼波前传感器的实时质心数据可在上位机端的控制软件中显示，当上位机软件设置为工作模式，上位机通过计算每秒收到的运算结果帧数，即10000 f/s，并显示到实时帧率到界面。当上位机软件设置为调试模式，且开启采集后对探测的光斑图像进行实时监控，并获取实时的图像数据。调试模式下因涉及图像数据输出，图像采集、显示以及数据处理的帧率降到26 f/s，主要用于系统标校与调试。

为了达到10 kHz 的图像采集速率，高速哈特曼波前传感器的图像传感器开窗分辨率为288×288。根据微透镜尺寸、子孔径阵列数规以及图像传感器参数，仿真得到的光斑分布图如图6（a）所示，图6（b）为实际的高速哈特曼波前传感器采集得到的光斑分布图。图6（c）、（d）和（e）分别表示根据输出光斑图像数值计算的质心数据、实际传感器片上计算后输出的质心数据以及两者的误差。

从图6可以看出，图像传感器片上質心预处理输出的质心数据与基于图像数据在波前处理机端计算的质心数据相互吻合，二者十分接近，片上质心计算的误差值小于0.01像素。上述测试实验表明，设计并开发的高速哈特曼波前传感器的图像传感器能够每秒采集一万帧光斑图像并实时输出一万帧光斑图像经预处理之后的一万组高精度光斑质心数据，高速哈特曼波前传感器系统具备10 kHz 实时获取光斑质心数据的性能。

3.2高速哈特曼波前传感器性能实验验证

为验证基于片上质心计算的高速哈特曼波前传感器波前测量准确性，搭建了高速哈特曼波前传感器波前测量实验平台，主要包括635 nm 准直激光器、光阑、偏振片、分光棱镜、反射镜、液晶调制器（ LCOS-SLM X13138）等器件，具体光路与实际系统如图7所示。

在完成波前传感器定标后，准直激光器输出给平行光束经光阑、偏振片起偏后透过分光棱镜入射到液晶空间光调制器上，液晶空间光调制器产生特定分布的波前像差对入射光束的波前实施调制。光束经液晶空间光调制器相位调制后反射进入分光棱镜，经分光棱镜反射后经反射镜入射到研制的高速哈特曼波前传感器样机微透镜上，并在波前传感器相机上形成光斑阵列图像。哈特曼波前传感器将光斑图像片上预处理后的光斑质心数据实时、高速地传输至波前处理机，波前处理机根据光斑质心数据结算波前相位分布。图8给出了哈特曼波前传感器对液晶空间光调制器生成的2组畸变波前进行复原的结果。从图中可以看出，对于两组不同的随机分布波前畸变输入，研制的高速哈特曼波前传感器均能够准确地重建输入波前的空间分布，复原波前与输入波前分布与大小相符，复原残差很小。

表1具体给出了液晶空间光调制器生成的输入畸变波前和本系统直接输出质心数据复原波前的PV 值和 RMS 值。

根据图8和表1实验结果，研制的高速哈特曼波前传感器复原波前与输入波前面形分布具有很好的一致性，其波前复原残差 PV 均在λ/4以内，RMS 在0.05λ以下。该结果验证了高速哈特曼波前传感器采用常规的 GigE Vision数据传输接口，即可在288×288图像分辨率下以10 kHz 速度实时输出的高精度质心数据用于高速实时波前测量。该高速哈特曼波前传感器实时图像处理量约为6.2 Gb/s，为图像传感器数据传输接口带宽的6倍，通过光斑图像片上质心预处理对数据量的显著压缩，实现了高速、实时波前探测。相比现有哈特曼波前传感器，本文介绍的基于片上质心计算的哈特曼波前传感技术在提高测量速度方面较现有技术方案具有优势。

4结束语

本文提出了一种基于片上质心计算的高速哈特曼波前传感器技术，将波前重构计算中的光斑图像质心计算集成在“前端”的光电探测器片上 FPGA 予以实现，实时输出光斑图像预处理后的质心数据，从而显著压缩波前测量的实时传输数据量。此外，研制了基于片上质心计算的高速哈特曼波前传感器原理装置，在光斑图像分辨率为288×288下，采用千兆网口传输即可实现10 kHz 速度的光斑质心实时计算输出与波前复原重构，并实验验证了片上计算输出的质心数据精度和传感器波前复原的精度。结果表明，本文提出的基于片上质心计算的高速哈特曼波前传感器技术改变了数据处理机制，压缩了高速传输数据量，可实现高速、实时波前畸变测量，有望为各类高速像差测量提供一种新的技术手段。

参考文献

[1] JIANG W H， LI M Q， TANG G M， et al. Adaptive opticalimage compensation experiments on stellar objects[J]. Optical Engineering， 1995， 34（1）：15-20.

[2] CASTELLINI C， FRANCINI F， TIRIBILLI B. Hartmann testmodification for measuring ophthalmic progressive lenses[J]. Applied Optics， 1994， 33（19）：4120.

[3] LI H G， JIANG W H. Application of H-S wave-front sensorquaforlitydiagnosisof opticalsystemandlight beam[C]// ICO-16 Satellite Conference on Active and Adaptice Optics，1993：369～376.

[4] MSU/VISIONICALTD. HartmannShackwavefrontsensor[EB/OL].[2021-06-25]. https：//www.ybzhan.cn/chanpin/7276135.html.

[5] ALPAO. Wavefront sensor[EB/OL].[2021-06-25].https：//www.instrument.com.cn/netshow/SH101980/C268156.htm.

[6] THORLABS. OpticalWavefrontSensor（Shack-Hartmann）.Operation manual[EB/OL].[2021-06-25]. https：//www.thorla- bschina.cn/newgrouppage9.cfm？objectgroup_id=5287.

[7] JUMPER EJ， ZENK MA， GORDEYEV S，et al. Airborne aero-. Optical Engineering， 2013， 52（7）：opticslaboratory[J]1-15.

[8] WYCKHAMCM，SMITSAJ. Aero-opticdistortionintransonic and hypersonic turbulent boundary layers [J]. Aiaa Journal， 2009， 47（9）：2158-2168.

[9] KAIC，YANGZ，WANGH，et . PSD-Shackalbased-Hartmannwavefrontsensor[C]//AdaptiveOpticsandApplications III， 2004.

[10]伍川輝， 吴探，杨恒， 等.基于 LabVIEW 图像处理的动态拉出值检测方法[J].中国测试， 2018， 44（6）：95-99.

[11]张雨东， 饶长辉， 李新阳.自适应光学及激光操控[M].北京：国防工业出版社， 2016：65-66.

[12]魏平， 李新阳， 罗曦， 等.部分子孔径缺光对夏克-哈特曼波前传感器波前复原的影响[J].中国激光， 2020， 47（4）：254-260.

[13] Luxima Technology LLC. LUX13HS[EB/OL].[2021-07-05].https：//www.luxima.com/product_briefs/LUX13HS.html

[14] Xilinx. Ultra-scale FPGA product tables and product selection guide[EB/OL].[2021-07-05]. https：//china.xilinx.com.

[15] Xilinx. Cost-Optimized Portfolio product tables and productselection guide[EB/OL].[2021-07-05]. https：//china.xilinx.com.

（编辑：谭玉龙）