高性能标准CMOS传感器应用于3D视觉、感测和度量

Ha Lan DO THU 易博（译）

Teledyne e2v

0 引言

3D成像技术早在数十年前已经出现，但是民用化产品却是在2000年左右才推出市场，如主流电影企业发布利用高清摄影机拍摄的3D电影。从那时开始，这一应用不论在速度、精度和3D图像分辨率等方面都有飞跃进展，并且获得从消费性市场到机器视觉工业的广泛应用。随着工业4.0变革来临，面对诸如复杂的物件辨识和尺寸量度任务，以及人机交互所需的复杂互动，2D视觉在精度和距离测量方面均出现技术限制，市场对3D视觉的需求因而与日俱增。

3D视觉能提高机器人/机器系统在工业自动化应用的自主性和效率，提供2D视觉不能比拟的高精度质量检测、反向工程和物件度量等关键能力；另一方面，视觉系统导向机器人的应用正在增长中，这一技术需要3D视觉来实现更好的遥距导向、障碍物辨识和精确移动。

3D视觉也能保护需要大量人机互动的工厂工人，在系统级别预防和排除危险状况，通过监控系统点算工厂工人数目，并把工人和机器人或物件分辨出来[1]。

3D视觉能够实现更安全、性能更好和更高效的终端用户辅助系统，正在对社会带来影响力，已成为无人驾驶车辆的先进自动驾驶者辅助系统和人机合作机器人等应用的关键技术。

1 主流3D视觉成像技术

3D图像的生成有多种技术[2]，主流技术有：

（1）立体视觉： 使用两部相机从不同角度对准主体，并使用校准技术把相机和具体深度信息之间的像素信息对齐，类似于人类脑部及目测距离的工作；

（2）结构光线：把一个已知的光线图案投射到主体上，根据图案在主体上的扭曲状况计算深度信息；

（3）激光三角测量：通过将一部相机和一个激光光源配对，实现三维测量。系统根据激光光源和相机之间已知的角度偏距，以三角几何理论量度出激光线的几何抵销（数值与主体的高度成比例），这是一项基于扫描主体的技术；

（4）飞行时间：一个光源与一个图像传感器同步，根据发出脉冲光线和光线反射回馈到传感器的时间计算出距离。

以上几种技术各有优缺点，所以技术的适用程度取决于应用类型，其中距离范围和精度要求是重点。表1列出了相对不同条件的技术比较。

3D系统目前占工业自动化和仓库应用视觉系统的一小部分，越来越多基于3D立体视觉、结构光线或激光技术的3D系统正在引进中。这些系统有固定的工作距离，需要大量校准工作以实现特定的检测范围。而飞行距离系统则能解决这些问题，并从应用角度提供更高灵活性，不过图像分辨率仍然是大部分这类技术目前所面对的制肘。

Teledyne e2v用于3D成像的专用平台将支持最新的工业应用，包括视觉导引机器人、物流应用自动化无人车辆、工厂监控和安全、手持式扫描仪以及户外应用。

2 3D 视觉实现高速准确检测提高产能

越来越多的工厂进入自动化时代，以在提高产能和产品查验、库存的方方面面节省时间和成本（如图1所示）。要优化这些因素，拥有视觉系统的机器需要更高效地工作。三角测量技术正在这些应用中获得大量使用，鉴于3D图像要求高分辨率，因而需要非常高效的传感器[3]。

2019年，Teledyne e2v发布了能配合高速尺寸测量和查验技术挑战的标准传感器，以满足高速生产线的要求。这一快闪CMOS传感器系列很好地组合了一个4,096×1,024像素和一个2,048×1,024像素传感器，二者的帧率分别为1800 fps 和 1500 fps（8位），兼容标准光学格式（APS兼容和C-Mount），读出速度分别为61.4 Gbps和25.6 Gbps。

新型的传感器提供一系列片上功能：

●高达100 dB高动态范围（HDR）模式，实现对同一影像里的高反光表面和阴暗范围进行测量和查验；

●多重取景窗口模式，兼顾高测量速度和范围/分辨率；

●个别参数提供帧间“热”配置模式，有助于实现灵活性和对环境条件的实时适配 ；

●多种曝光触发模式能够完全配合生产线速度。优势：

表 1 3D 成像技术比较

●以2 K或4 K分辨率实现高速率，提高产能；

● Flash产品系列提供高性价比；

●允许对实时环境条件和生产线速度作出适应，实现高灵活性应用。

3 3D 视觉提高工厂自主性和效率

随着工厂和仓库自动化程度越来越高，车间出现人机密集工作，因而防止事故和提高安全度成为至关重要的任务。在日益多变的工作环境里，因为拥有实时3D信息和决策能力，以及能够在快速移动的场景中侦测出物件或人员，飞行时间（time of flight，ToF）系统成为理想的解决方案。

飞行时间技术可分为两大类：直接飞行时间和间接飞行时间[4]。直接飞行时间是指系统通过直接计算光线从物件反射的时间量度出距离；间接飞行时间则是系统通过计算光波发射到物件以及反射后返回光的相位差异而得出距离，从而建立3D图，其优缺点如图2所示。

Teledyne e2v提供采用订制化传感器的直接飞行时间系统，以及使用完整标准产品的间接飞行时间系统。

飞行时间传感器特点：

●高空间分辨率，实现大视场范围和高角度分辨率；

●快速实时无运动模糊3D测定，在全分辨率下实现超过30 fps深度图；

●提供近、中、远距离侦测和管理；

●能在任何环境条件下实现高可靠测距，具有在环境光条件下的高精度和强大功能，以及多系统工作。

4 飞行时间技术处理复杂环境工作

相较其他3D技术，飞行时间技术具有快速、简单、低成本，以及在中远距离提供出色的3D成像性能的特点。再者，飞行时间技术具有高灵活性，由于它无需按设定校准（如工厂校准），因而可以固定在活动机器人上。系统也可以适应各种工作设定，使得飞行时间系统能够很好地配合复杂的环境和工作条件。

图3是飞行时间技术在工厂或仓库应用的范例：

●量度箱子或包装的外形尺寸和体积：飞行时间成像系统能够量度箱子或包装的尺寸和体积，以便于有效装盘、集运（优化装箱和货车载荷）或提高生产线效率；

●用于智能高效仓存管理的货件识别：相较于2D传统成像处理系统，飞行时间成像系统能够以更短的时间检测货件或包装尺寸；

●抓取与放置：飞行时间系统检测和识别合适的物件进行抓取，并放置到合适的位置，相较使用2D传统成像处理系统，可实现更高准确性和更短时间。

与市场现有产品相比，Teledyne e2v去年发布的BoraTM传感器在需要对固定物件进行分析的应用方面具有独特的优势。这款传感器具有1.3 MP高分辨率，能够以2D和3D撷取具有宽广视角的大面积现场，实现高性价比的优化系统。Teledyne e2v所有飞行时间传感器均设计用于高灵活性应用，可适应不同的工作条件并提供具有深度图的实时3D影像撷取，并在全分辨率下以四相工作实现超过30 fps的高速度[5]。

BoraTM传感器的特点：

●创新10 μm 像素设计；

● 1,280×1,024像素空间分辨率；

●高灵敏度和独有的片上门控全局快门模式，实现最快42 ns门控时间。

飞行时间系统助力机器人在工厂环境以及其他无人操控应用下的安全工作（如图4所示），比其他3D技术具有更多的优势。

目前，导向系统大多使用传统激光雷达（Lidar）扫描和侦测物件，但已有越来越多使用如间接飞行时间等其他技术的解决方案。相较于传统激光雷达（Lidar）扫描仪，间接飞行时间系统能提供实时影像信息，并有快速响应时间和无运动模糊的特点，如表2所示。由于它们不含机械部件，因而性能强大、尺寸紧凑，并且具有更低功耗和更少计算的特点，从而实现低成本。

在上述的应用中，飞行时间系统能解决不少挑战。系统需要处理从10 m起的短、中、长距离测量，速度也要足够快，以避免产生瑕疵（目前大部分飞行时间解决方案均集中于最大5～6 m的短距离范围）。另外，系统有可能需要在不同光线变化的条件下工作，例如机器人在工厂或仓库到处移动工作，但不对区域内的其他机器人构成障碍。

2020年7月，Teledyne e2v发布了Hydra 3D传感器，Hydra 3D具有832×600像素分辨率，10 μm三内存节点像素，允许高3D性能水平，包括高深度分辨率、高速度和灵活工作条件，其功能及优势如图5所示。

表2 传统Lidar 与间接飞行时间比较

Hydra 3D的创新多内存节点像素能够提供重建3D图像所需的三个相位，有助于在快速移动场景中撷取无运动模糊的精准3D信息。三内存节点像素提供在单帧中建构3D图所需的多相位信息撷取和存储能力，无需像其他间接飞行时间技术般使用多帧技术。这一技术在快速移动场景应用避免任何运动模糊是非常强大的功能。这类似于2D视觉技术中全局快门和卷闸快门的差异。三内存节点像素能够以单个光脉冲撷取所有相位，实现光能优化使用。在图6的应用实例中，帧率保持不变，使得平均功耗大大减小，不过光能取决于高帧率或高精度（配合多重捕获）。

Hydra 3D传感器的其他优势包括配置灵活性和多重片上功能。例如强大的片上高动态范围（HDR）功能配合高帧率和灵活配置，允许用户对距离范围、物件反光度、帧率等进行权衡，以及面向环境光的强大效能，而用于多重飞行时间系统工作的独特片上功能则让异步系统同步工作而不互相干扰。

5 CCD 年代的时间飞行

时间飞行的影像处理是相较传统2D视觉系统更复杂的技术。它涉及光学和照明系统，取决于多个参数（如传感器或视场、工厂校准、专有传感器配置）以便于完全配合应用需求。我们经常把时间飞行传感器和CCD传感器比较，因为复杂的设定需要在系统级投放大量力量以集成传感器，应用设定的控制因而成为关键因素。

Teledyne e2v提供从CMOS影像传感器到订制相机模式等一系列技术解决方案，涵盖完整系统到系统集成支持。这包括了一个使用评估平台的参考设计、照明和光学评估、肉眼安全考虑、建模和仿真、算法和校准。

6 总结

随着工厂和物流仓库进入自动化年代，带动了高效无人操作工业系统的需求，特别是用于导向机器人和机器（用于物件辨识、导向、高速和精准度）的3D视觉技术。市场上存在多种3D技术，每种各有优缺点和配合技术，大部分取决于应用需求。所有的这些技术都需要具有精密功能的高效传感器。Teledyne e2v包括3D视觉的解决方案系列，以服务诸如工厂自动化、物流和测量。