基于双目视觉的三维重建关键技术专利概述

杜文俊 丁丽萍

摘要：基于双目视觉的三维重建技术是一种采用计算机视觉原理，从二维图像中重建出三维模型的方法。该方法以其设备操作简单、价格低廉、适应性强等优势，目前被广泛地研究和应用于人机交互、游戏、机器视觉、增强现实、视频监控、机器人、生物医学、汽车工业等多个领域。本文从三维模型重建方法的基本概念与分类出发，梳理了基于双目视觉的三维重建方法的技术分支，提取其中的热点技术进行了专利分析。

1 前言

我们所认识和生活的客观世界的空间是三维的，在很多应用领域我们需要对三维物体进行认知和分析，因此需要对物体的三维重建，即利用计算机或其它软硬件技术对物体建立适合计算机表达的数学模型，以便在计算机中对物体进行计算、操作和分析。在该领域中，基于双目视觉的三维重建技术是近年来的研究热点。

使用计算机技术对物体进行三维建模的方法主要分为三类：一、使用几何建模软件直接创建三维模型；二、使用三维激光扫描仪、结构光扫描仪等设备扫描物体，精确地捕获物体表面的三维几何信息，从而进行精度较高的三维建模；三、利用多台普通摄像机机构建一个立体视觉系统，往往采用两台摄像机机作为一组模拟人的双眼所看到的景物，基于透视投影原理通过两台摄像机拍摄的图像之间的视差，重建出物体的三维信息。

本综述主要分析的对象为第三类三维建模的方法，即基于双目视觉的三维重建方法。

2基于双目视觉的三维重建的方法流程

一个完整的基于双目视觉的三维重建方法主要包含图像获取、相机标定、特征提取、立体匹配和三维重构等五个主要步骤。

其中，相机标定的目的是通过相机所拍摄三维场景的图像，在一定的相机成像模型下，建立场景中物点的空间坐标系中与它在图像平面上对应像点之间的关系，进而确定相机内参数和外参数，为后续的三维重建打好基础。相机标定涉及的关键技术有：传统基于摄影测量学的相机标定法、基于主动视觉的相机标定法、相机自标定法。

立体匹配的实质就是计算双目视觉中两幅图像中同源像素点的对应问题，它是立体视觉技术的关键。鲁棒的立体匹配算法可以得到较为精确的图像视差计算结果，从而准确地恢复场景的三维信息，大大提高三维模型重建的质量。立体匹配涉及的关键技术有：基于局部的立体匹配和基于全局和半全局的立体匹配。

在整个基于双目视觉的三维重建方法的五个一级技术分支中，相机标定和立体匹配分别是硬件层面和软件层面的关键技术，两者被普遍认为是决定该方法技术效果的技术瓶颈。本文接下来重点介绍相机标定和立体匹配两项技术的下级技术分支，并对这两项技术进行有针对性的专利分析。

3关键技术专利分析

基于双目视觉的三维重建技术涉及到的技术点分布较广，包括拍摄硬件、计算机视觉、几何处理等，因此从整体上统计所有相关技术的专利数据意义不大。本节旨在重点统计和分析相机标定和立体匹配两项关键技术的专利数据。作者在专利检索系统S系统的DWPI、CNABS等专利库中使用“camera”、“calibration”、“stereo”、“matching”、“相机”、“标定”、“立体匹配”、“立体图像匹配”等关键词，并在检索结果的基础上进行统计分析。检索的截止日期为2016年6月4日。由于于未申请提前公开的发明专利申请通常在申请日之后18个月才公开，由此将导致2014年末至检索日期间的部分专利申请由于未公开而不在本次文献采集之列。

3.1 分类号统计

相机标定技术的相关分类号统计结果中，排名前5的分类号分别为：G06T7/00（703件）、G01B11/00（477件）、H04N17/00（456件）、H04N5/232（402件）和G06T1/00（360件）

通过分析分类号的具体含义可知，G06T7/00、G01B11/00、G06T1/00是与相机标定技术更贴近的分类号。因此，审查员在实际审查时，可以扩展这三个分类号，与关键进行结合检索与该技术相关的对比文件。

基于同样的方法，我们也可以知晓G06K 9/00、G06T7/00、G06T1/00、G06K 9/62是与立体匹配技术更相关的分类号。因此，审查员在实际审查时，可以应用这4个分类号快速检索到相关的对比文件。

可见，相机标定和立体匹配技术的分类号不但涉及计算机应用领域的G06分类号，也涉及图像处理的H04N分类号，两项技术的分类号还存在一定的交叉，需要审查员在检索时予以关注。

3.2全球申请趋势和申请国分布

自2001年以来，相机标定和立体匹配两项技术相关专利的全球申请量变化趋势的分析如下：尽管2014年至今的部分专利数据还未公开，不难发现两项技术的申请量逐渐保持着稳步上升的趋势。尽管关于拍摄设备参数和图像匹配技术的研究已经有一段不短的历史，但近年来两者在计算机立体视觉领域的热潮，又为两项技术的研究增加了新的研究动力，这与行业发展的热点和趋势无疑是吻合的。

两项技术在全球不同国家和地区的申请量分布如下：其中美国、中国、日本作为计算机视觉研究领域的第一集团，占据着全球申请量的巨大份额；而韩国和台湾也是其中不可忽视的力量，其申请量牢牢占据着第二集团的位置。考虑到美国、日本、韩国在该领域的技术实力，审查员在检索时势必要注重外文库的检索，同时台湾专利库对检索而言也是一个很好的补充。

3.3 国内外重要申请人分布

在国际层面，欧美日韩的知名企业依然保有其强大的研发实力。一方面，这与计算机视觉理论与相关技术的发展在欧美国家起步较早无不关系。另一方面，索尼、佳能、三星、松下等日韩企业，在拍摄设备的技术研究方便底蕴较强，很容易将其技术优势与计算机视觉技术相融合，从而早早地位于世界先进地位。

反观国内排名靠前的申请人，位居前列的基本为高等院校和科研院所。这说明，国内在双目立体视觉的相关研究上并没有落后，但在科技成果转化方面还处于较为空白的状态。國内企业申请分布较为零散，其中还包括诸多刚刚起步的中小型企业，进一步反映了国内市场还处于启蒙阶段，研发实力也还有所欠缺。

上述数据也提醒审查员在检索中文文献时，还要注重非专利库的检索，注意追踪高校申请人，不失为一种快速命中对比文件的思路。

4结语

本专利技术综述详细介绍了基于双目视觉的三维重建的详细流程，并详细介绍了该领域的技术分支。针对其中的热点技术相机标定和立体匹配技术，进行了专利数据统计和分析。本文有助于相关领域的审查员全面把握该领域的专利数据和发展现状，对该领域的专利审查工作具有一定的借鉴作用。

参考文献：

[1]童晶，基于深度相机的三维物体与人体扫描重建，浙江大学博士论文，2012年12月

作者简介：杜文俊、丁丽萍，等同第一作者