基于距离加权的分区域相机标定方法

2019-03-06凌寒羽彭彬彬

中国电子科学研究院学报 2019年1期

凌寒羽, 彭彬彬

(1. 海军航空大学，山东烟台 264001;2. 中国人民解放军92074部队，浙江宁波 315000)

0 引言

摄像机的成像模型[1]可以确定三维物体空间点到二维平面图像点的对应投影关系。一般情况下，摄像机模型中的参数需要提前进行实验计算得到，参数的确定过程称为摄像机标定。它是计算机视觉中一个非常重要的过程，是二维图像信息恢复三维目标信息的基础和关键步骤。摄像机标定是视觉研究的第一步，并且它的计算精度直接影响到最终三维重建的效果和性能。根据是否需要标定物可以分为两类:传统标定方法和自标定方法。

另一个解法是质点滤波（PF），即序贯蒙特卡罗方法，用一组加权质点近似后验分布（Doucet et al，2001）。当质点的数目趋于无穷时，由质点滤波得到的解也趋于最优解。关于质点滤波及其变种的文献很多（Liu and Chen，1998；Doucet et al，2001；Arulampalamet al，2002）。这个方法的基本过程简述如下做参考。

传统的摄像机标定方法[2]一般需要精度很高的标定参照物，利用高精度仪器测出的空间参考点坐标和对应的图像坐标求取相机参数。经典的传统标定方法包括Tsai两步标定法，直接线性变换方法(DLT)，透视变化矩阵方法等。此种方法精度很高，但是标定过程非常复杂常用于工业场合；相机自标定方法直接利用图像故有信息，在相机成像模型的基础上，通过图像与图像或者图像与空间点特殊的几何性质约束，求取相机参数[3]。自标定方法一般包括本质矩阵和基本矩阵方法，绝对二次曲线和外极线变换方法以及主动视觉方法。前两者受噪声和初值影响大，主动视觉方法需要摄像机做特定运动[1]，难以实现。自标定方法一般适用于现场标定，但是标定精度较差。

Zhang[4]提出一种介于传统标定法与自标定法之间的单平面棋盘格标定方法。仅使用一张打印出来的黑白棋盘格作为标定物，从不同角度拍摄采集至少三张平面标定板图像。运用成像模型计算相机参数，最大似然估计校正畸变误差，L-M迭代方法优化求解参数。该方法既解决了传统标定方法高精度标定参照物的缺点，同时与自标定方法相比，又提高了参数计算的精度，是目前实际应用最广的标定方法之一。很多学者对张氏标定法进行了改进：张浩鹏[5]提出了一种新的参考点标记方法，替代传统的棋盘模板；L Deng[6]提出了结合差分进化算法与粒子群优化算法，有效地标定摄像机参数，避免了局部最优解；申夏晶等[7]针对鱼眼镜头提出了一种大畸变棋盘格角点检测方法。现有的方法基本使用整幅图像进行标定。不同位置像点一般受到不同程度的畸变影响，若使用相同的相机参数修正，会影响标定的精度和稳定性。

鉴于此，本章提出一种分区标定的方法，首先确定图像中标定板所在区域；接着，按照图像中心点到目标点相等距离为原则划分多个图像区域，并且对各区域分别使用张正友标定计算方法求解参数并进行参数校正；最后使用形状误差最为判定最终结果的依据。

1 摄像机模型

在计算机视觉中，摄像机常用针孔成像模型，即线性摄像机模型，如图1所示。

图1 摄像机成像模型

求得所有相机参数后，张氏标定法使用了极大似然估计方法，并转化为Levenberg-Marquardt算法对参数计算初值进行迭代优化应对噪声影响问题，过程如下：

1.1 线性投影模型

R和t分别表示相机外参数。内参数是相机的固有属性，外参数表示同一空间点从世界坐标系转化为摄像机坐标系间的运动参数。pu、pn、pc和pw分别表示目标点在图像像素坐标系、虚拟成像坐标系、摄像机坐标系和世界坐标下下的坐标。fx和fy分别表示图像在u、v方向上的焦距；γ为倾斜因子，多数情况下值为0；cx、cy表示主点坐标；dx、dy表示在x1轴和y1轴上每一个像素的物理尺寸。

(1)

其中，s表示相应调节因子，A为相机内参数矩阵，

图2所示是目标点常用的的坐标转换示意图。除此之外，虚拟成像坐标是以焦距fn为Z轴，以虚拟平面上的图像物理坐标为X和Y轴的三维空间假象坐标，与摄像机坐标相差一个系数关系。目标点在各坐标系中有如下转换关系公式[8]：

图2 目标点坐标转换示意图

在同一像平面上，同一图像点在同一图片中像素坐标系和物理坐标系有如下对应关系。在视觉类坐标变换中，常使用点的齐次坐标方便计算。

(2)

1.2 非线性畸变模型

PPP从设立、建设、运营到移交的整个运行周期都涉及税收问题，完善的税收政策有助于落实税收法定原则，增强项目主体参与的积极性；有助于全面贯彻风险—收益匹配原则，增强项目收益测算的准确性；有助于提升社会治理能力，增强项目的经济效益和社会效益。因此，完善和优化PPP税收政策对于推进政府和社会资本合作具有重要作用。

图像误差主要由径向畸变引起。它产生原因来自透镜的形状，在部分透镜成像时，图像中远离主点特别是边缘的物体会产生较大弯曲，近似“枕形”或者“桶形”现象。一般情况下，主点坐标近似图像中心，它的畸变大小为0，距离主点相同距离下畸变大小近似相同。切向畸变的产生原因来自透镜本身和图像与透镜二者之间的非平行性。使得目标在投影时会产生一定的形状失真。

图3 图像径向畸变示意图

正常情况下，标定板会穿过图像主点坐标，且它在整幅图像中占比很大，如图4(a)所示。在特殊情况下，如标定过程自动化，无法确保每次拍摄的标定板图片达到最佳，标定板图像可能在整幅图像的占比较小，如图4(b)所示。或分布在图像一角未穿过图像主点坐标，如图4(c)所示。张正友标定计算参数的最低要求是：图片数量大于三，且每张图片至少能够提取到四个特征角点。根据此约束条件，结合相机畸变模型，可得到以下分区域标定步骤：

x′=x(1+k1r2+k2r4+k3r6+…)

(3)

(2) 将主点坐标至图像坐标最远点(一般取图像任意一角)二者距离dm作为图像分区界限[11]，

(4)

x″=x+[2p1y+p2(r2+2x2)]

(5)

y″=y+[2p2x+p1(r2+2y2)]

(6)

(7)

其中x′、y′、x″和y″表示校正后图像物理坐标系下的像点坐标，x、y表示像点的原始坐标位置，r为该点到图像成像中心的距离，ki(i=1,2,…n)表示径向参数，p1、p2表示切向参数。

2 张正友标定法

张正友标定法结合了传统相机标定和自标定的优势，将其标定平面设置为世界坐标系，并令zw=0，则有，

以上资料是根据各地均衡试验场地中入渗仪观测数据求得的，在有地形起伏、洼地和沟渠入渗的情况下，表中的数据可能偏小。

(8)

其中r1,r2,r3为旋转矩阵R的三个列向量。

标定板和图像之间的单应矩阵H包含摄像机的所有内部和外部参数，因此获取单应矩阵的大小后，则可以计算摄像机的所有必要参数。H包含8个未知数，至少需要8个方程，每个对应点可以提供两个计算方程，至少需要四个对应点。H可以表示为，

2017年，新版《患者十大安全目标》出炉之际，南大一附院其实已在很多方面走在前列：危急值信息平台搭建、PDA患者身份识别、院感监测系统、输血管理平台、不良事件上报系统，以及阳光医药监察平台等已趋成熟或已搭建完成。

(9)

其中λ代表相应尺度因子，此处它的值为λ=‖A-1h1‖=‖A-1h2‖。将(9)式展开，计算可得：

r1=λ-1A-1h1r2=λ-1A-1h2t=λ-1A-1h3

(10)

同时，根据旋转矩阵中任意两向量的正交性和等长性，可得公式，

糖尿病肾病(diabetic nephropathy，DN)是终末期肾病常见诱发因素，严重影响患者生命健康。糖尿病亦作为高血压的易患因素，而高血压状态是导致DN病情加重的主要因素，因此针对DN合并高血压患者需积极治疗，有效控制血压、延缓肾功能损伤[1]。研究选择该院于2015年4月—2018年4月间收治的62例老年2型DN合并高血压患者，分析硝苯地平控释片联合缬沙坦疗效，现报道如下。

(11)

(12)

令B=A-TA-1，将矩阵B展开，

得到矩阵B为对称矩阵，所以需要求得的未知数为6个。而一个拍摄角度下的单应矩阵H对应两个约束方程(11)(12)。6个未知数至少需要6个方程求解，故需要提供三个不同的单应矩阵，即摄像机要分别在三个不同的位置拍摄相片，紧接着联立(8)(11)(12)三式可求得矩阵B。最终，对B使用Cholesky分解可得到相机所有内参数的值[10]。

求得相机内参数后，可调用公式(10)计算相机部分外参数r1、r2和t，根据旋转矩阵的正交性可求得r3，

r3=r1×r2

(13)

模型中一般常用的欧式坐标系有：世界坐标系(Ow-xwywzw)、摄像机坐标系(Oc-xcyczc)、图像像素坐标系(Ou-uv)、图像物理坐标系(O1-x1y1)、虚拟成像坐标系(On-xnyn)。世界坐标系为空间任意基准坐标用来描述摄像机以及任意物体的位置；摄像机坐标系以摄像机光心为坐标原点，xc轴和yc轴分别平行于图像平面的长和宽，zc轴垂直于图像平面；图像像素坐标系以图像左上角为坐标原点，u和v分别表示该像素在图像数组中的行数与列数；图像物理坐标系以图像主点为原点，x1轴和y1轴分别平行于u和v；虚拟成像坐标系表示目标在焦距为fn的虚拟平面上的图像物理坐标系。很多研究人员在参数求解时，为了方便计算，常使用归一化平面(fn=1)，利用对应虚拟像点进行误差优化处理。图像像素坐标系以像素为单位，其余坐标系均以毫米为单位。

(14)

张正友标定法中仅使用径向畸变进行校正，公式可见(3)(4)，转化为像素坐标系可得如下形式：

(15)

(16)

(17)

3 分区标定原理

通常拍摄的照片，以枕形畸变为主。此种情况下，远离图像主点坐标的像点受到畸变影响程度更大，距主点相同距离下的像点畸变程度大致相同。实际获取到的图像中，标定板的位置分布有以下几种情况：

毕总说：“如今，中国市场竞争激烈，外资品牌占据大多数市场份额。面对这一情况，比亚迪叉车作为民族品牌，希望能够通过扩大市场占有率，让更多的企业认可国内品牌产品的优势。”

在小学阶段的教育体系中，语文是非常重要的一门学科，其开展的好坏与否，将对学生们语文能力、人文素养的形成产生直接的影响。至此，在实践教学中，为了促使有效教学的实现，并推动学生的全面、综合发展，教师就可以将小组合作学习这一模式应用进来，促使学生的探究能力、合作意识得以增强，将学科价值展现出来。由此可见，在现阶段，对该模式的应用路径加以探究，是尤为必要的。

(1) 标定板穿过图像主点坐标，且在整幅图像中占比很大；

在实际相机成像中，镜头透镜加工工艺技术的不足，会引入部分畸变误差。主要的两种畸变误差分别是径向畸变和切向畸变。

(2) 标定板穿过图像主点坐标，仅分布于图像中心区域较少位置；

(3) 标定板未穿过图像主点坐标，分布于图像四周，占比较小。

在实验测试和实际应用中，获取到的图像绝大多数属于情况1，但不排除标定板仅占据部分图像的少数情况。不同图像中标定板的位置分布、占比情况和每张图片中可提取到的平面角点坐标数量会直接影响到最终标定结果。以往的相机标定方法基本以整幅图像作为标定目标，而实际模型中，不同位置的像点会受到不同程度的径向畸变和切向畸变影响。畸变校正可以在一定程度上恢复图像的原始信息，不同的图像恢复效果不同，且需要提前知道校正系数。整幅图像标定方法将所有像点信息统一计算，忽略了不同畸变影响下相同特征像点的信息值。在畸变程度小和特征角点数量有限且较为集中的情况下可以发挥良好效果，但在其他情况可能会带来结果的精度偏离和不稳定性。同时，接近主点坐标的区域，通常图像特征点的稠密度较大。而根据畸变公式可知，主点坐标附近的图像点失真小于远离主点坐标的点。针对上述问题，本文提出的基于距离加权的分区域标定方法可以很好地解决这一问题。将远离主点的大畸变区域作为主要关注对象，尽可能地分配其更多的图像特征点，平衡各个区域内角点数量，使得最终计算更加科学有效。图4所示是上述三种情况下标定板的分布示意图。

图4 标定板不同情况位置示意图

针对此种问题，公式(3)(4)给出了径向畸变下的矫正公式，通过泰勒级数展开式进行矫正[9]。泰勒级数的前两个通常用于一般的图像校正过程，公式(5)(6)给出了径向畸变下的矫正公式，

(1) 将整幅图像作为标定目标，首先使用张正友的方法进行整幅图像的相机标定，计算摄像机主点的坐标(cx,cy)估计值。

电力营销工作开展过程中，通过对远程用电检查技术的应用，可以有效改善工作效率，但在应用过程中也存在设备与技术不统一的问题，因此电力部门应该重视对传统电力设备的更换工作，同时还应该及时对设备的信息进行收集，便于更好地进行共享。另一方面，电力部门应该对不同地区的经济因素进行综合考虑，同时对设备进行统一规划设计，保证设备与技术的匹配性，并对电力营销的具体模式进行有效调整，提高对电力信息的获取效率。

y′=y(1+k1r2+k2r4+k3r6+…)

(18)

其中(um,vm)表示图像像素坐标横纵坐标取到最大值的点。

(3) 以图像主点为中心，特征角点至主点距离为分界，形成N个圆环区域，区域1至区域N的环宽成线性增长(如图5所示)，可求得第i个区域的环宽di如下所示：

(19)

将所有图像特征角点按照上述距离约束进行区域划分和存储，计算不同拍摄图像中相同区域的角点数量。

图5 图像加权分区示意图

(4) 判断相机的n个拍摄视角和不同区域内提取到的m个特征角点数量是否达到张正友标定计算参数的最低要求，不满足条件的区域不进行单独参数计算，归并入上一区域进行整体运算，充分利用角点信息：n≥3,m≥4。

(5) 每个符合条件的区域特征角点分别进行张正友标定方法的计算，首先算出相机参数初值，随后进行迭代优化步骤，最终可得到N组不同的相机参数，对比计算结果[12]。

汪！汪！汪……车外右侧，突然蹿出一只狼狗来，足有半个牛犊那么大。轻灵的耳朵、黑黑的背，蹿起来有一米多高，爪子拍打过车窗玻璃，又有些不甘心地滑下。要不是铁链子拴着，狼狗敢上到车顶去。跟着狼狗，从右侧小区传达室里，竟然走出了一个身着僧人衣裳、身材魁梧、相貌凶恶的老男人。他好像瞎了一只眼，秃秃的脑壳，眉毛浓黑。走近了，才看清，是他的右眼皮耷拉得太低了，脖子上还挂着一串佛珠。狼狗看见主人，真是“心有灵犀一点通”啊！飞快地跑到墙角，蹲下身子，前爪蹬地，吐着舌头，呜呜！呜呜……地低吠着。

(6) 以相机光心、目标图像坐标和对应的三维坐标三点共线原则为基础，定义一种目标点空间最小二乘形状误差Si来验证改进法的计算精度，

Si=(xci-x1i×ti)2+(yci-y1i×ti)2+

(zci-f×ti)2,i=1,2,…n

(20)

根据相似三角原理，理想情况下xci,yci,zci取值为，

其中，k1=k2=k3。在实际应用中由于噪声和图像畸变影响系数大小k1≠k2≠k3，因此使用如下公式计算三个坐标轴方向上的平均系数值ti，

(21)

其中(xci,yci,zci)表示在第n幅图像中，空间点在摄像机坐标系下的坐标值，(x1i,y1i)表示对应的图像物理坐标值。计算各区域的目标点空间最小二乘形状误差，区域间误差取平均值可求得整幅图像的总误差：

(22)

4 相机标定实验

4.1 单区域相机标定实验

本文使用和张正友标定相同的实验环境，使用MATLAB2017作为仿真软件。将标定板三种情况下相机标定原图像各九张进行相机参数标定，图像分辨率大小分别为2816×1880 pixel、1072×712 pixel、640×480 pixel，如图6所示。情况1中各实验图像均占整幅图像的较大面积，不同视角图像中标定板旋转角度较大；情况2中个实验图像均穿过图像主点，处于图像中间位置，在整幅图像中占比较小，不同视角图像中标定板旋转角度较大；情况3中包含图6(a)和6(c)两种标定板位置的图片，不同视角图像中标定板旋转角度适中。