基于双目视觉原理的微型内窥镜开发

刘先名，陈泓宇，马天悦，苏新建，王中开

（深圳市亚泰光电技术有限公司，广东深圳，518000）

基于双目视觉原理的微型内窥镜开发

刘先名，陈泓宇，马天悦，苏新建，王中开

（深圳市亚泰光电技术有限公司，广东深圳，518000）

为拓展传统内窥镜功能，在双目立体数据测量基础上，提出了一种便携式微型三维测量系统。介绍了双目视觉内部结构及测量构成，对测量的数据进行了比较与分析，应用手段包括：鱼眼畸变校正、双目标定、三维重建等。实验表明：系统测量结果存在一定波动，经多次测量后取平均值，其非常接近实际值。双目立体视觉的测量相对误差控制在2%以内，相比传统内窥镜具有明显的性能优势。

微型内窥镜；三维测量；双目视觉；鱼眼校正

引言

在重大装备科学实验及日常无损检测中，工业内窥镜具有广泛应用。重大装备为避免“维修二次损害”，常常需使用无损检测仪器对设备内部的裂纹、磨损面、颗粒等进行观察，但只能定性判断，无法进一步得到准确数据进行定量分析。

三维测量技术建立在立体图像基础上，解决了无法获得立体图像、就无法对图像进行三维测量的问题。杨东林等[1]介绍了一种基于双目立体视觉原理的三维工业内窥镜系统，但受制于镜头尺寸、电子硬件等因素，无法深入管道完成内部检测与测量；李少伟等[2]基于双目立体摄影测量原理设计了一种具有测量功能的工业内窥镜系统，所显示的测量长度误差在0.03 mm范围内，初步实现了立体测量，但其探头直径为40 mm，大大限制了其应用范围与领域。目前美国的韦林公司和日本的奥林巴斯公司（OLYMPUS）生产的三维测量内窥镜的孔径分别为6.2 mm和3.9 mm的镜头规格。工业内窥镜正朝着小口径、高亮度、高清晰度、轻质量等方向发展，而镜头尺寸的大小会受到关键检测设备的插入孔限制。

本文研发一款便携式微型三维测量内窥镜，其微型镜头尺寸可极大拓展产品使用范围，可预见产品将有较大发展空间。

1 双目视觉系统

三维测量功能的实现，目前已有三相位测量法、阴影测量法、立体测量法、比较测量法等[3]。本次系统设计方案采用立体测量法，即插入管前端内置两颗光学镜头（CCD），区别于单目视觉测量法。该光学镜头可满足微型孔径尺寸，但受到像素和视场角的限制，采集图像会存在清晰度不足、鱼眼效果等不利情况，因此系统软件需要进行必要的图像畸变校正及图像增强等算法设计。

1.1 双目视觉原理

双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台摄像机或者一台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。

图1 双目立体视觉系统

图1 为双目立体视觉系统示意图，分别以下标l、r标注左、右摄像机的相应参数。空间中一点A(X, Y, Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul, vl)和ar(ur, vr)。这两个像点是空间中同一个像点A的像，称为“共轭点”。已知这两点后，分别作它们与各自相机的光心Ol和Or的连线，即投影线a1O1和arOr，它们的交点即为空间中的对应像点A(X, Y, Z)。以上即是立体视觉的基本原理[4]。

1.2 三维测量系统搭建

本文提供的微型三维测量系统硬件结构主要有x86硬件平台、图像采集端、光源、镜头支架、插入管组成。选用的待测物为标准量块，长度规格为20.00 mm、10.00 mm、5.00 mm。镜头的焦距范围为：5～100 mm。根据不同的视场范围选择合适的测量距离，待测物距离镜头支架中心80 mm。

测量流程如图2所示，根据待测物的大小确定光学镜头和测量角度后，对三维测量系统进行内外参数的标定、模组镜头内外参数的摄像、图像同步采集，并循环读取采集到的图像。图像需要立体校正，并对光学镜头左右图像进行非线性畸变校正、立体校正、剪裁等一系列预处理，然后提取角点图像坐标，并进行双目标定。

在经过双目校正后，在进行测量时就需要对光学镜头左右图像进行操作，最终获取仅有水平视差的左右图像，并进行立体匹配。

图2 三维测量系统流程图

2 三维算法研究

2.1 测量系统标定

理想的镜头标定以透视投影原理和针孔模型为建模基础，但实际选用的镜头视场角为120°，存在较大畸变。因此本文采用考虑畸变的非线性模型作为摄像机标定的几何模型，它是基于牛海涛[5]所提出的棋盘格标定算法，图3所示为标定板。采用StereoCalibrate函数对双目视觉测量系统完成双目标定。标定板参数如下：方格，5 mm；方格阵列，10×7；图像面积，50×35 mm2；精度，1 μm。

图3 棋盘格标定板

2.2 图像预处理

从不同角度进行图像采集。实际采集的图像会存在噪声，并且初始采集的图像会有比较明显的鱼眼效果，因此在图像计算之前先要进行预处理。鱼眼校正采用Open CV软件中fsh eye函数完成[6]，并计算新投影点和旧投影点之间的误差。经计算：角点个数为54，左右镜头平均误差分别为0.034 632 6像素和0.035 493 8像素，总体平均误差小于1，表明鱼眼校正效果较好。对比图4(a)和4(c)、4(b)和4(d)，发现鱼眼效果明显减轻，这将有利于后续的双目标定和视差图获取。采用Find chess board corners函数完成标定板的角点提取，该角点作为每个方格的特征点，经过排序之后，每个视图的特征点将会准确匹配。

图4 采集原图与校正图

3 实际测量

为验证本文方法的有效性和精确度，采用标准量块作为实验对象。实验道具包括：三维测量系统一套、标准正多边形、游标卡尺、镜头支架、距离尺、光源、光度计、计算机及相应图像处理软件。将标准量块平放至实验平台上，采用镜头支架夹住双目镜头，并用距离尺测量镜头到量块表面的距离，量块的标准长度将采用游标卡尺进行测量，采用同一光源对试验台提供亮度，并用照度计测量实验照度。标定完毕后，每个标准量块进行20次重复实验，测量系统同步采集图像，并同步记录游标卡尺、照度计、距离尺的数值。计算标准量块最远两端的空间距离。表1和图5分别为标准量块的统计分析和实测结果。

表1 统计分析

图5 每个标准量块的20组实测数据

从表1和图5的数据还可以看出，在镜头焦距许可范围内，采用三维测量系统对不同的标准量块进行测量，线性度较好，平均相对误差小于2%，最大的测量偏差小于0.30 mm。但测量结果存在一定的结果波动，故对其误差产生的原因进行分析：

（1）角点提取误差。本文中所用提取函数的精度只到亚像素级，对后续计算有一定影响；

（2）镜头封装误差。镜头封装不可能达到理论要求水平，存在一定误差；

（3）相机标定误差。相机在标定过程中会涉及鱼眼校正等预处理过程，导致搭建的三维模型的理论矩阵存在变动，影响后续计算；

（4）人为因素。操作员每次对标准量块测量两端的选择，对测量结果有一定影响。

4 结论

本文基于双目视觉测量的原理提出了一种微型三维测量系统的研究，介绍了双目视觉测量的构成及内部结构，对过程数据进行了比较与分析，包括鱼眼畸变校正、双目标定、三维重建等。实验结果表明，测量相对误差控制在2%以内。

相对传统的内窥镜，本文开发的系统具有更为显著的性能优点。虽然多次测量的结果已经很接近实际值，但还是存在一定波动，后续有待进一步改进。

[1]杨东林, 卢栋, 冯大伟. 基于图像处理的三维工业内窥镜研究[J]. 仪器仪表学报, 2009, 30(6): 1285-1289.

[2]李少伟, 王晴, 黄桂平. 一种具有双目立体量测功能工业内窥镜的设计与系统集成[J]. 测绘工程, 2012, 21(1): 67-69.

[3]刘菲. 基于相位测量法的光学三维形貌测量研究[D]. 山东: 山东师范大学, 2008.

[4]郭俊锋, 刘鹏, 焦国华, 等. 三维测量工业内窥镜的双目光学系统[J]. 光学精密工程, 2014, 22(9): 2337-2344.

[5]牛海涛, 赵勋杰. 采用棋盘格模板的摄像机标定新方法[J]. 红外与激光工程, 2011, 40(1): 133-137.

[6]Bradski G R, Kaehler A. Learning OpenCV [J]. Oreilly Media, 2008.

Exploration on Micro-endoscope based on Binocular Stereovision Principle

LIU Xian-ming, CHEN Hong-yu, MA Tian-yue, SU Xin-jian, WANG Zhong-kai
(Shenzhen Yateks Optoelectronic Technology Co., Ltd., Shenzhen, Guangdong,518000, China)

In order to expand the function of traditional endoscope, a portable micro 3D measurement system is presented based on binocular stereovision measurement. The external and internal structure of binocular stereovision measurement is introduced, and its process data are compared and analyzed, in which the methods include fish-eye distortion correction, binocular calibration and 3D reconstruction. The experiments show that, there are somewhat fluctuations in the systematical measurement results, which can be very close to the actual value after averaging on repeated measurements. The relative error of binocular stereovision measurement is less than 2%, holding obvious advantages of performance compared with the traditional endoscope.

Micro-endoscope; 3D Measurement; Binocular Stereovision; Fish-eye Correction

Q436

A

2095-8412 (2016) 06-1173-04

10.14103/j.issn.2095-8412.2016.06.032

刘先名(1988-)，男，汉族，湖北洪湖人，硕士，中级。研究方向：设备检测、故障诊断。

E-mail: liuxianming456@qq.com