基于红外面阵传感器的图像拼接算法*
2015-03-26邹志远安博文
邹志远，安博文，曹 芳
(上海海事大学 信息工程学院，上海201306)
0 引 言
由于制冷型的红外面阵传感器价格昂贵，难以普及，在科研、工业、军事方面普遍采用非制冷型红外传感器。非制冷型传感器在工作一段时间后由于器件内部的热噪声加大而使获取的红外图像受到噪声污染［1］，这些噪声对于红外图像拼接产生了阻碍。
图像拼接中Harris 配准是一种基于图像局部自相关函数分析的方法，该方法对噪声光强、差异噪声等有极好的鲁棒性［2］。本文提出一种新的基于Harris 角点的拼接方法，保留了Harris 的强抗噪性，并提高红外图像的拼接效率。
1 Harris 角点检测
1.1 角点检测区域
传统Harris 角点算法搜索范围为整个图像，本文图像获取系统获取的640×480 红外序列图像经过相位相关法［3］进行位移量计算，统计结果表明:当前获取的图像可视为前一张图像在水平方向上的平移，且平移量Δx 在39 pixel波动，则相邻图像之间的重叠率为
相邻图像具有图1 的关系。
对于序列图像而言，相邻图像的相似性很大，实际中，一般选取序列图像的子集进行拼接，本文选取序列图像间隔为7，则选取后相邻图像的重叠率为64.41%。在拼接中，取参考图像右侧的64.41%，取输入图像左侧的64.41%区域进行角点检测。
1.2 自适应阈值选取
阈值T 在Harris 角点检测中起到了重要作用，目前传统算法中对阈值T的确定需要人为多次输入参数，自适应性差。针对这个问题，提出了一种自适应阈值选取方法。
图1 相邻图像几何关系Fig 1 Geometric relationship of adjacent image
首先对图像感兴趣区域进行角点检测［4］，检测过程中高斯模板大小为9×9，方差为2，得到图像像素的CRF 矩阵。CRF 的大小描述了像素点的特性，其中需要对参数k按经验值进行选取，其推荐范围为［0.04，0.06］，具有随机性。根据数学原理差值法可改为比值法，将CRF 响应函数改进为
其中，Δ 取10－6，防止分母为0 的情况。
文献［4］指出CRF 值在平坦区域是绝对值较小的正数，在边缘区域是绝对值较大的负数，在角点处是一个绝对值较大的正数，如式(3)
式中 a 相对于b 来说很小，且有a，b 均大于0。δ1，δ2为波动值，不同图像δ1，δ2不同。假设角点检测区域大小为M×N，其对应的CRF 矩阵也为M×N，对CRF 矩阵的每行和每列值求平均值，会得到M 个行均值，N 个列均值，如图2，其中圆点表示角点。
图2 响应函数矩阵Fig 2 Matrix of response function
对x 列和y 行来说，其上的角点数目多，所求得的均值要比x0列、y0行均值大，假设x 列和y 行上的角点为检测区域中具有最多角点的行列，则它们对应的均值大小要受角点处的CRF 值影响而偏向角点的CRF 值
假设x0列和y0行上的角点为检测图像上具有较少角点的行列，则其均值大小要近似于平坦区域的CRF 值
由式(4)，式(5)设计CRF 响应阈值T 的大小为
采用此T 作为阈值进行非极大值抑制。
2 改进的基于几何约束的RANSAC 算法
首先对图像f1，f2检测出的角点进行双向相似测度归一化互相关(normalized cross correlation，NCC)算法［5］，得式(7)
式中 A 与A'，B 与B'，C 与C'，D 与D'等元素为互相匹配的角点。
H 矩阵求解是图像拼接的核心环节，直接关系到拼接质量的好坏［6］。传统随机抽样一致性(random sampling consensus，RANSAC)算法的迭代时间取决于原始数据量和线内点所占比例，当线内点比例低时，算法效率随之变低［7］。针对这个问题，提出了一种几何约束的RANSAC 算法。
假设任取4 对匹配点为A 与A'，B 与B'，C 与C'，D 与D'。如果它们均为正确的匹配点的话，则它们应满足图3中的关系。
图3 正确配准的4 对匹配点Fig 3 Correctly matched four pairs of matching point
即A，B，C，D 四点在参考图像中构成的四边形的4 个角1，2，3，4 与A'，B'，C'，D'四点在输入图像中构成的四边形4 个角1，2，3，4 应相等。如果有1 对或以上的匹配点对没有正确匹配，则2 个四边形的4 个角不全相等，根据这个特性对RANSAC 算法进行改进。
首先在集合{A，B，C，D}或{A'，B'，C'，D'}任取两点，它们在当前图像的坐标为(x1，y1)，(x2，y2)，计算两点连线的斜率K，然后判断匹配点在两图中构成的四边形对应角度值是否一样，角度值计算按式(8)
角度值计算不取绝对值，取两条直线的方向角。实际应用中取一个阈值δ(本文为0.01，即0.573°)，如果4 对匹配点在两图像中构成的四边形满足
则计算相应的H 变换矩阵。其中，Ks，Kq表示当前θi对应边的斜率，4 个角之积不为0 的条件用来排除共线的情况出现。
3 实验结果与比较
成像分辨率为640×480，位深为14 位，噪声等效温差为50 mK。计算机内存为4 GB;CPU Intel(R)Core(TM)i5—2500;系统平台为32 位WinXP 系统;软件实施平台为Lab－VIEW 2012。
3.1 角点检测结果比较
对图4 中的4 组图像采用传统Harris 检测、本文算法检测，并对二种方法进行比较。传统Harris 检测中的CRF响应阈值由多次手动测定，本文算法采用提出的自适应阈值T，两种方法均对当前CRF 值的9×9 邻域进行非极大值抑制、均用7×7，方差为2 的高斯模板。角点粗匹配采用NCC 方法;角点细匹配采用改进的RANSAC 算法随机抽样方法［8］，最大迭代次数设为30。
图4 4 组红外图像Fig 4 Four groups of infrared images
针对以上4 组图像比较二种算法可知，本文算法根据图像空间特性减少搜索区域，比传统算法快20～51 ms，效率提升20%以上，此外搜索区域的减少，误匹配的角点对也减少，对于图像内容分布均匀的图像，误匹配对可以降低50%左右。综合表1～表4 可知，本文提出的自适应阈值T可以保留足够多的角点数目并获得准确的匹配点对。
表1 第1 组图像角点检测结果Tab 1 Corner point detection result of the 1st group image
表2 第2 组图像角点检测结果Tab 2 Corner piont detection result of the 2 nd group image
表3 第3 组图像角点检测结果Tab 3 Corner point detection result of the 3 rd group image
表4 第4 组图像角点检测结果Tab 4 Corner point detection result of the 4 th group image
3.2 RANSAC 比较
对本文算法检测出的Harris 角点进行NCC 粗匹配后，分别采用改进的RANSAC 方法［8］和本文改进的RANSAC方法进行角点细匹配，设置RANSAC 方法最大迭代次数为30。三种方法分别运行10 次后取平均值，结果如表5。
表5 角点匹配结果比较Tab 5 Matching result comparison of corner points
表5 可知，经过4θ 约束的RANSAC 算法可以降低迭代次数，减少计算量，迅速达到理想的内点数，算法效率提高了50%以上。
3.3 试验效果图像
图5 为实验图像配准步骤的效果图，算法检测出的误匹配点用直线连接。
4 结 论
图5 配准各步骤效果图Fig 5 Effect diagram of each step of registration
本文对基于Harris 的拼接算法进行改进，使得算法不受非制冷大面阵红外传感器产生的噪声影响。改进的算法缩小Harris角点检测范围，进而使角点检测的计算量减少，提高检测速度，同时降低误匹配，使红外图像角点检测效率提高了20%。根据图像中像素的Harris 角点响应函数值的特性改进的自适应筛选阈值，保存了合理的角点数目，并使角点检测具有自动性。改进的4θ 约束的RANSAC 算法保证算法精度的前提下，算法效率提高了50%。但是改进的自适应阈值还不能很好地避免角点聚簇现象，这需要在减少角点聚簇方面做进一步改进。
［1］ 李云红.基于红外热像仪的温度测量技术及其应用研究［D］.哈尔滨:哈尔滨工业大学，2010.
［2］ 樊志华，王春鸿，饶长辉，等.基于Harris 角点量与相位相关的亚像素级图像配准方法［J］.计算机应用研究，2011，28(2):788－790.
［3］ 赵 征，徐 涛，席鹏程.一种抵抗几何变换攻击的数字图像水印方法［J］.南京航天航空大学学报，2005，37(1):70－74.
［4］ 冯宇平.图像快速配准与自动拼接技术研究［D］.长春:中国科学院研究生院长春精密机械与物理研究所，2010.
［5］ 龚 平，刘相滨，周 鹏.一种改进的Harris 角点检测算法［J］.计算机工程与应用，2010，46(11):173－175.
［6］ 李会平.图像拼接技术研究与应用［D］.西安:西安科技大学，2010.
［7］ 张晓茹，肖 珂.基于角点匹配图像拼接方法的改进［J］.河北农业大学报，2008，31(4):155－158.
［8］ 王家宝，张亚非，陆建江，等.基于特征的航空视频序列拼接方法［J］.解放军理工大学学报，2012，12(2):160－164.
