基于短基线双目内窥镜成像系统的3D 视频标定与校正

张朝财　张薇　周德峰　韦晓孝　万新军

摘要：为了解决短基线双目内窥成像系统获得的视频图像在裸眼3D显示设备中观看到的视频纵深感和立体感较弱的问题，通过分析双目内窥镜的参数以及立体视频中图像对的视差，提出了基于短基线双目内窥成像系统的立体视频校正和视差调整方法。首先，对采用的双目结构内窥系统进行相机标定，获取各相机参数和相机间的位置参数；其次，利用获得的参数进行相机视频校正，再针对裸眼3D显示设备对视频源的参数要求进行图像对的视差调整，最终获得符合裸眼3D立体显示设备要求并适合人眼观看的双目内窥系统实时显示立体视频。通过实验验证了方法的可行性，实际搭建了一套基线距离为8 mm 的短基线双目内窥成像系统，原始视差范围（0，64）像素，经视差调整后达到（?30， 30）像素，双路并行视频处理25帧/s 并实时显示。与实验室设计的裸眼3D立体显示系统匹配，可实现具有明显立体感的医用内窥镜实时裸眼3D成像。

关键词：图像处理；双目视觉；立体视频；视频校正

中图分类号： TP 391 文献标志码： A

Calibration and correction of 3D video based on short baselinebinocular endoscope imaging system

ZHANG Chaocai，ZHANG Wei，ZHOU Defeng，WEI Xiaoxiao，WAN Xinjun

（School of Optical-Electrical and Computer Engineering，University of Shanghai forScience and Technology ，Shanghai 200093，China）

Abstract： In order to solve the problem that the video depth and stereoscopic sense of the video obtained by the short baseline binocular endoscopic imaging system are weak in the naked eye 3D display device， by analyzing the parameters of the binocular endoscope and the parallax of the image pair in the stereoscopic video， a stereo video correction and parallax adjustment method based on the short baseline binocular endoscopic imaging system is proposed. Firstly， the camera of the binocular endoscope system is calibrated to obtain the camera parameters and the positionparameters between cameras; Secondly， the camera video is corrected by using the obtained parameters， and then the image parallax is adjusted according to the parameter requirements of the naked eye 3D display device for the video source， so as to finally obtain the real-time display stereoscopic video of the binocular endoscope system which meets the requirements of the naked eye 3D stereoscopic display device and is suitable for human eyes. The feasibility of the method is verified by experiments. A short baseline binocular endoscope imaging system with a baseline distance of 8mm is actually built. The original parallax range is （0，64） pixels， which can reach （?30，30） after parallax adjustment. The two-way parallel video processing is 25 frames/sfor real- time display. Matching with the naked eye 3D stereoscopic display system designed in the laboratory， real-time naked eye 3D imaging of medical endoscope with obvious stereoscopic feeling can be realized.

Keywords： image processing；binocular vision ；stereo video；video correction

引言

立体影像可以提供给观看者强烈的立体感，随着虚拟现实技术、增强现实技术在医学领域上的应用，医生在临床手术中可以观测到3D 形态的各个器官，感知到器官间的不同位置。随着镜头工艺的提高，传感器元器件的微型化，微小尺寸的内窥镜成为检测探查狭窄空间的常用工具。若能提供狭小空间内物体的深度图像，可以极大地改善对于狭小空间的可操作性。日本奥林巴斯企业设计的高清内窥镜可以满足3D 场景的显示以及测量的需求，在国际上处于遥遥领先的地位。微创手术对于内窥镜所获得的平面图像的要求越来越高，生产厂商大力研发高清医用内窥镜以提高医学影像质量，但是二维图像会使医生无法观看到病变部位的全貌，导致诊断会有一定的偏差。为了获得病变部位的医学立体影像资料，利用2D 转3D 技术，通过深度图的生成来实现3D 视频[1]，其成本较高，而且3D 效果有待提升。随着双目视觉技术的发展[2]，双目成像系统可以提供三维物体的重建，三维点云显示，以及双目立体视频的采集，高清3D 电子内窥镜获得立体图像并进行三维显示，将医用内窥镜的成像提升到了深度信息层面。对于内窥镜图像采集过程易受到周围光源亮度、色温、噪声等环境的影响，尚静静[3]采用基于 YUV 色彩空间的图像自动白平衡处理，使得左右图像具有相似的色彩信息，图像边缘细节得到增强，但是在图像处理过程中对双目图像的视差产生了影响，影响了3D 合成中的立体感。立体感反映图像的深度与双眼视差融合区[4]的相互作用，双眼视差距离、视距和瞳距等参数对于人眼融合有直接的影响。李芳[5]根据图像显示的立体深度的量化参数，探讨了图像的深度与视差的变化范围，在显示中具有较强的立体感，但是双目相机的基线较大，不适合短基线医用内窥镜的应用。双目内窥镜系统的基线较小，内窥镜的景深范围又比较大，在拍摄时对位于中近距离的目标形成的视差过大，无法在裸眼3D 显示系统中获得好的显示效果。由于内窥镜尺寸的限制，采用双目结构无法获得足够的基线长度，对于医用双目内窥镜短基线结构，要想获得较强立体感需要从图像视差入手做出调整。

本文提出了一种短基线双目系统立体视频标定和校正方法，采用视差调整来增强短基线双目内窥镜图像的立体感，将相机标定与图像校正相结合，在双目视频的拍摄过程中，对获得的图像进行校正，针对试验的裸眼3D 显示设备的参数要求调整图像对视差，实现了双目内窥系统的实时显示，增强了立体纵深感，解决了立体显示中无法明显感受到立体感的问题。该方法针对双目视频有效减少了垂直视差对立体视频的观看影响，增强了立体显示效果。

1 平行双目视觉原理

平行双目视觉系统中两个相机的位置相互平行，以满足两相机光轴平行，且要求两个相机参数相同。平行式双目相机原理如图1所示，左右相机光心ol与 or 之间的距离即基线为 b，空间中一点 P（Xw，Yw，Zw）距离双目相机的深度距离为 Z。

空间点P 投影到两个像平面的坐标分别为 pl（xl，yl）和 pr（xr，yr），f是两个相机焦距。由于平行结构两个投影点有相同的纵坐标，由三角形相似和几何关系可以得到

视差 d = xl ? xr，表示同一像素点在左右成像平面上的位置偏差。相机通过将空间三维物体捕获转化储存到二维平面图像，景物的深度信息被记录在平行双目图像对的视差中，双目立体视觉将获得的二维平面图像进行三维还原以达到立体成像的目的。

2 双目立体视频

2.1 视頻生成

为了能够在裸眼3D 设备上显示立体视频，需要实现双目视频的实时采集，生成左右格式的3D 视频。首先，需要拍摄棋盘格标定板来完成双目结构的相机标定，通过相机标定参数完成图像校正，调用双目相机同步拍摄；其次，对图像进行处理调整视差获得左右视频，合并左右视频生成立体视频；最后，通过3D 显示设备实时显示立体视频供观看者观看。获得双目立体视频的基本流程如图2所示。

2.2 双目相机标定

相机标定对于双目视频的获取有着决定性作用。通过相机的标定参数可以准确地对应空间中物体的三维坐标在相机成像平面上的像点坐标系。考虑实际成像系统中存在的畸变问题[6]，本文采用非线性相机模型，选择基于棋盘格的张正友标定法[7]，该标定方法可以获得更准确的相机参数，在拍摄标定板的时候需要拍摄不同方向，不同角度，并使标定板在图像中获得较大面积的多张图像。

2.3 立体视频校正

实际拍摄过程中，平行双目系统无法达到理想的完全平行共面的状态，必须进行立体校正，使左右图像面行对齐，立体视频中只包含水平视差，没有垂直视差的影响。立体校正是对相机标定得到的参数，包括左右相机的内部参数如焦距、成像主点坐标、畸变系数以及左右相机外部参数记录两相机的位置关系，包括旋转矩阵和平移矩阵。立体校正所使用的是Bouguet算法[8]，其主要的方法是将旋转矩阵分解为左右旋转矩阵Rl，Rr ，然后左右相机的图像平面分别旋转一半，此时，两成像面共面，但没有行对齐，然后通过平移矩阵构造变换矩阵Rrect从而使基线与成像平面平行，完成行对齐的校准。算法流程图如图3所示。

通过对图像的校正，采集到的图像大小会被裁剪，为了不改变原图像的大小，采用双线性插值处理，保持图像分辨率不变。保持相机同步拍摄，满足左右视频水平方向上的行对齐。

2.4 双目视差调整

平行双目采集系统直接获得的立体视频只有负视差[9]，而通常裸眼3D 显示系统为了更好地满足观看时呈现的立体深度，需要同时具备正视差、零视差和负视差。根据双眼视线的交点落在屏幕的位置不同，水平视差可分为如图4所示的4种视差类型。

当视线交点正好落在显示器屏幕上，此时为零视差位置，如图4（a）所示；当视线交点位于屏幕后方，此时为正视差位置，如图4（b）所示，双眼所看到的画面具有立体感，能感受到屏幕里面的纵深；当视线交点位于屏幕前方，此时为负视差位置，如图4（c）所示，双眼所看的画面具有跃出屏幕的立体感，能感受到物体从屏幕里“飞出”的立体感；当双眼无法交汇时，此时为发散视差，如图4（d）所示，没有立体感。Krol等[10]发现当人眼注视一个物体时，周围的物体也会刺激视网膜进行成像。在视网膜对应点附近的小范围内大脑也可以产生单一的立体视觉，该范围被称作融合区[11]。在融合区立体成像需要双目的视差在一定范围内。结合裸眼显示设备以及观看距离，在舒适区观看时，立体视频的水平视差Δn需要满足的条件[12]为

式中：D 为人眼的瞳孔直径，大小为4 mm；η人眼的视锐度，η≈2.907×10?4 rad ；S 为距离显示屏幕的观看距离；Ee为观看者的双眼瞳距，平均值为6.5 cm；Pw 为显示器的像素宽度；l 为显示器的屏幕尺寸；w×h为屏幕的分辨率。对于固定基线的双目系统依靠图像平面的平移作为视差调节的方式。水平视差的调整由视差d = xl ? xr可知，成像平面的像素平移操作可以改变视差的大小，从而调整平行双目只有负视差的情形。令 t 为图像平移量，则平移后的新视差范围为[dmin?t， dmax?t]，dmax为视差范围的最大值，dmin为视差范围内的最小值，将左右图像按照平移量大小进行平移，实现视差的调整。平移的图像会损失掉一部分边缘信息，利用双线性插值算法对图像边缘处理，得到的图像比较平滑，不影响观测的效果。

3 实验结果及分析

为了验证视频校正方法的有效性，搭建了一套双目立体实时成像系统，如图5所示，实验装置主要包括：两个短焦内窥镜，一个高精密的棋盘格标定板（方格数12×9，方格大小20 mm×20 mm）以及一台28 inch（1 inch =2.54 cm）裸眼3D 显示器。两个短焦内窥镜水平并列放置，模拟短基线平行双目成像系统。

3.1 双目视频校正实验

首先进行相机标定，实验拍摄了25组棋盘格，从不同距离，不同倾斜角度，不同方向进行采集，尽可能让棋盘格占据整幅画面。

使用 MATLAB 工具箱进行相机标定，得到相机的内外参数，如表1所示。

对双目相机进行采集图像，采集图像如图6所示，其中图（a）为未校正的图像对，图（b）为校正后的图像对。校正后的图像对满足左右行对齐。保存校正参数用于后续视频校正。

3.2 立体图像对视差调整

根据裸眼3D 显示设备的参数要求，确定视频播放所满足的视差大小。实验中采用的裸眼3D 显示设备参数如表2所示。

实验用的显示设备裸眼3D 显示屏，其舒适的观看区域距离屏幕1.7～3.1 m。由式（2）和式（3）计算得出立体视频水平像素差的范围，观看距离为1.7 m 时，水平像素差为（?15，15）；满足最大观看距离3.1 m 时，水平像素差为（?30，30）。由于双目内窥镜并排放置，两镜头之间的基线距离只有8 mm，内窥镜景深范围为50～200 mm ，对于近距离拍摄所造成的视差过大，双目内窥镜实际拍摄的双目立体图像通过匹配得到的视差图如图7所示。

匹配得到估计视差图的范围在0～64像素，此时屏幕前的景物在观看时不符合人眼观看的视差范围，无法显示好的效果。根据显示屏幕的舒适视差范围（?30， 30），经过视差调整，可得出平移量 t 的范围是[30，50]。并采用双线性插值算法对图像边缘进行处理。

设置4组视差变化来求证不同视差范围内的3D 立体感受：第一组为未调节视差；第二组为计算得到设备所需的视差大小进行调整；第三组为调整到零视差面的位置；第四组将视差调整到距零视差面前后相同距离的位置。

如图8所示抽取4组经过校正后的视频中的帧画面比较，不同视差调整下3D 显示观看的效果，为突出显示立体图像以3D 红青灰度互补色展示。

通过裸眼3D 显示设备的播放，对比4组不同的视差调整得到的立体视频，人眼观看得到立体感觉证实，在符合显示设备的视差范围内有强烈的立体感，图8（a）显示了未调整视差时的3D 图像显示，由于视差过大，双眼看到的左右图像无法有效融合，无立体感；图8（b）在视差调整过后可以完全匹配裸眼显示设备所需要的（?30， 30）像素视差范围内，得到的立体视频观看体验很好；图8（c）将视差零视差面调整到相机景深范围内，此时立体视频展现负视差，展现明显的跃出屏幕的感覺，达到零视差面调整的要求；图8（d）将零视差面朝相机镜头前移，使得成像范围内的视差均匀分布，入屏和出屏的效果相当，符合近距离视频拍摄获得较强的立体感。

最后，选择将视差调整到零视差面前后相同距离的方式设置调整参数，通过 VS2015平台编写立体视频获取程序，对于双路视频的输入并行处理，视频处理达到25帧/s，满足人眼观看的流畅度，实时输出双目视频，在实验中所采用的裸眼3D 显示设备上观看，具有明显的立体感。

4 结论

本文研究了如何通过短基线双目内窥成像系统获得与裸眼3D 显示系统相匹配的立体视频，实现实时观看时具有强立体感。提出通过自适应的视差调整，使获得的立体视频满足显示系统的舒适视差范围，并能够实时显示。本方法对于在基线距离较小的双目视觉系统立体成像方面有借鉴意义。相比于传统立体视频的拍摄，对于内窥镜系统来说更小的尺寸是未来的发展方向，高分辨率和高刷新率的视频画质是待改进的地方。

参考文献：

[1]于凤利.2D-3D 视频转换中深度图生成方法研究[D].济南：山东大学， 2012.

[2]张广军.机器视觉[M].北京：科学出版社， 2005：99?102.

[3]尚静静.3D 内窥镜图像增强算法研究[D].重庆：重庆邮电大学， 2018.

[4]夏振平， 程成.基于视觉显著性的立体显示图像深度调整[J].光学学报， 2017， 37（1）：0133001.

[5]李芳.影响panum融合区显示深度相关参数研究及图像优化[D].包头：内蒙古科技大学， 2019.

[6]梁玉敏， 蔡晓东， 张学敏.基于图像校正与相位相关的视频拼接算法[J].电视技术 ， 2013， 37（17）：151–154，158.

[7] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（11）：1330–1334.

[8]黄鹏程， 杨波， 万新军， 等.基于双目视觉的多点三维振动测量系统[J].光学技术， 2018， 44（4）：448–452.

[9]霍昊达.双目视差立体图像实像显示方法的研究[D].长春：吉林大学， 2015.

[10] Krol J D， VAN DE GRIND W A. Rehabilitation of a classical notion of Panum's fusional area[J]. Perception， 1982， 11（5）：615–619.

[11] AGARWAL A， BLAKE A. Dense stereo matching over the Panum band[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）：416–430.

[12]张丞， 侯春萍， 王晓燕， 等.立体图像视差自适应调整算法[J].光电子·激光， 2014， 25（3）：581–587.

（编辑：张磊）