基于振动点云补偿锻件尺寸在线测量系统研究

卞绍顺，单德彬，张彬，郭卜瑞，徐文臣，徐佳炜

技术创新

基于振动点云补偿锻件尺寸在线测量系统研究

卞绍顺1,2，单德彬1，张彬2，郭卜瑞1，徐文臣1，徐佳炜1

（1.哈尔滨工业大学 金属精密热加工国家级重点实验室，哈尔滨 150001；2.连云港杰瑞自动化有限公司，江苏 连云港 222006）

针对高温锻造生产线检测任务中机械振动造成锻件热态尺寸测量误差较大的问题，提出基于加速度传感器的振动点云补偿方法。振动点云补偿方法是在激光相机中内置加速度传感器获取振动信号，在检测出相机振动的加速度后，通过二次积分求解出相机在3个方向上的位移量，并通过旋转矩阵变换得到对应点的坐标值，从而对相机振动带来的点云偏差进行补偿和校正。在完成对点云偏差的修正之后，利用Halcon中的模板匹配算法对锻件点云进行匹配。搭建了具有加热、镦粗、预锻等工序的汽车轮毂机器人自动化锻造生产线，根据锻造工艺要求，使用所研制方法对高温锻件产品进行了关键尺寸的在线测量。经补偿后，锻件点云尺寸平均测量误差由±0.9 mm降低至±0.1 mm，标准差由0.52 mm降低至0.056 mm。采用二氧化硅气凝胶隔层降噪、增加防振结构件及隔热恒温等措施，使用蓝紫线激光3D相机，并通过基于加速度传感器的振动点云补偿算法，可以满足锻造自动化生产线的在线检测要求，能够提高锻造生产线高温锻件尺寸的检测精度、降低尺寸检测的不稳定性。

热态尺寸检测；点云振动补偿；模板匹配算法；锻造生产线；在线检测

自动化锻造生产线的锻件热态尺寸检测一直是行业难点[1-3]，由于锻造环境下的强烈振动，普通视觉对红热状态锻件的检测精度难以满足工艺检测需求，目前大多由人工采用标准检测工装或游标卡尺等物理接触方法进行测量[4-6]。随着测量技术的发展，基于机器视觉的非接触三维测量方法已成为对锻件进行表面三维数据获取的首选方法，并且结合工业机器人能够实现锻造自动生产线中的在线热态检测[7-9]。

目前，锻件三维测量设备主要有激光雷达、双目结构光相机和线激光3D相机[10-12]。激光雷达的优势是可在较远的距离进行测量，从而避免锻件附近高温、振动等恶劣环境影响，但所获得的数据存在稀疏、精度较差、测量视图局限等缺点[13]。刘玉松等[14]为了实现高效率的数字化测量，将Metrascan和激光雷达相融合，通过将激光雷达坐标系变成基准转换坐标系，提升了Metrascan扫描仪精度。潘鑫等[15]分析了待测距离、入射角、材料属性等因素对激光雷达测量精度的影响，通过信噪比的变化规律提高了复材型面的测量精度。双目结构光相机具有标定与激光器无关、可单独替换等优点。雷冲等[16]利用双目结构光相机对光学元件粗精磨表面进行了测量，大大缩短了加工过程。但由于双目结构光相机成本较高，且在场景缺乏特征时性能会下降，在应用上受到很大的局限。线激光3D相机测量装置通常由线激光器和相机组成，通过向被测物投影激光线条，单次测量获取一条线的三维数据，需要机构带动相机或工件移动，该测量装置具有结构简单、精度高、稳定性好等优点[17-19]。因此，采用线激光3D相机作为锻件点云的采集装置有助于实现锻件尺寸的现场快速检测。

然而，在锻造工厂的环境中，存在由锻压机工作产生的环境振动，冲击发生时，距锻压机一定距离的测量设备受到低频、大振幅振动的影响，并且振动衰减快[20-21]。由于锻造工厂锻压机众多，振动来源复杂，难以预测和防止，使得锻件尺寸在线精确检测难度较大[22-24]。因此，文中提出基于加速度传感器的锻件三维点云数据补偿算法，用于锻件点云数据的补偿校正，最后利用模板匹配算法对锻件点云进行匹配，达到了自动化锻造的在线热态检测要求。

1 算法设计

面向锻造环境下的锻件在线检测算法流程如图1所示，所提出的算法主要包括3个阶段：基于加速度传感器的锻件三维点云数据补偿；基于表面模板匹配的锻件检测；锻件尺寸测量。具体算法过程如下。

1）基于加速度传感器的锻件三维点云数据补偿：读取锻件点云数据，利用加速度传感器获取振动偏移量；将振动传感器坐标系下得到的偏移量变换到世界坐标系下；将世界坐标系下求得的点云偏移量写入对应的点云数据，进行补偿。

2）基于表面模板匹配的锻件检测：对锻件表面点云均匀采样；创建锻件全局模型描述；创建哈希表；选取检测参考点；相似性评估；最小二乘优化。

3）锻件尺寸测量：拟合3层平面；点云补偿；提取轮廓；拟合圆；多次多方位采样；得到测量结果。

1.1 基于加速度传感器的锻件三维点云数据补偿

锻造现场的振动来源主要是压机工作所带来的环境振动，自动化产线的压机按照稳定的节拍进行有节奏的动作，产生的振动信号趋向于稳态信号。本研究在激光相机中内置加速度传感器，获取锻造环境下的振动信号，由振动加速度进行频域二次积分求振动位移，通过标定确定世界坐标系，并构建临时坐标系，在检测出相机振动的加速度后，通过二次积分求解出相机在3个方向上的位移量，并通过旋转矩阵变换得到对应点的坐标值，从而对相机振动带来的点云偏差进行补偿，主要步骤如下。

式中：为采集数据量；、均为非负整数。

进而有

最后是对待测工件进行扫描，得到点云信息，并利用世界坐标系下的偏移量对点云进行补偿，找出振动时相机记录的帧所对应的点云数据，将WCS下的L、L、L写入对应的点云数据，进行补偿。

1.2 基于表面模板匹配的锻件检测

采用基于表面模板匹配的方法来进行锻件检测，主要包括锻件点云全局模型创建、锻件检测参考点选择、最小二乘法位姿优化等步骤。首先创建锻件全局模型描述，然后通过霍夫投票的方式获得锻件检测参考点，最后采用ICP算法对所选取的锻件检测参考点进行匹配并通过最小二乘法完成锻件位姿优化。

1.2.1 点对特征模型及存储方式

创建全局模型可以采用锻件的CAD模型，或者通过线激光3D相机采集标准锻件，并通过三维重构算法得到三维数据。由于锻造现场实际工况较为复杂，不同模具生产的锻件与CAD的锻件图有一定偏差，并考虑到生产中的模具磨损，往往需要在较稳定的现场来采集标准的锻件点云模型。考虑模板内存使用、算法执行时间及识别稳定性，使用固定数量（300～5 000）的点对物体表面进行均匀采样。

对全局模型的描述采用点对的模式，每个点对包含表面两点及其对应的法向量，法向量的提取方法是：某点周围的数据点拟合成一个平面，将该平面的法向量作为该点的法向量。

1.2.2 锻件检测参考点选择

图3 点对模型及特征值的存储方式

图4 锻件参考点投票过程

1.2.3 最小二乘法位姿优化

由于参考点选择受到采样精度的影响，投票计数获得的锻件位姿准确性是有限的。为保证精度，采用最小二乘法对锻件位姿进行优化，并在迭代最近点（ICP）算法的框架内进行。当已知初始位姿足够准确时，ICP算法可以对齐两个点云（模板点云和采集点云），算法包括两步：首先，针对第一片点云中的每个点，在第二片点云中确定出最近的点；然后，计算使得所有对应点之间距离平方和最小的位姿。

当位姿达到预设精度或最大迭代次数时，迭代过程将停止。图5为锻件点云补偿前后位姿对比图，可以看出，补偿后的锻件点云图更加完整。

图5 锻件点云补偿前后位姿对比

2 实验设置

实验是基于轮毂锻造自动化生产线进行的，整个产线如图6所示，包括中频炉、镦粗压机、初锻压机、终锻压机、冲孔机、切边机、检测台、下料输送机和10台机器人。为了满足轮毂锻件全方位、多尺寸的柔性定制化检测需求，采用机器人带动检测装置进行锻件的4次扫描检测流程，即先扫描上表面，然后左右两个侧面，最后通过另外一台机器人翻转工件，再扫描底部表面，图7是其中2次扫描的动作图片。

图6 轮毂锻造自动化生产线布置

图7 现场测试环境

由于锻造现场环境复杂多变，锻造设备工作时产生的振动是影响锻件检测精度的重要因素，除了在软件算法上对振动造成的点云数据偏差进行补偿校正外，还采用二氧化硅气凝胶隔层进行噪声屏蔽，并在硬件结构上采用锁紧螺母和防松垫片进行器件的固定安装，从而缓冲器件的振动。此外，金属锻件温度高，对外热辐射强烈，使得检测设备始终工作在高温高热的环境下，严重影响设备的使用性能。为保证设备能正常稳定运行，对检测设备采用以下几种措施进行高温防护，如图8所示，在装置外层加装金属薄板反射层，内层设置隔热夹层，在光学窗口外部安装热辐射滤光片，尽可能阻挡高温高热进入到检测装置内部；此外，采用半导体制冷、散热片及风扇使装置内部形成恒温，加快热对流，使得内部相机及激光器等器件产生的热量能尽快排出到装置外。

图8 检测装置振动及隔热的物理防护

轮毂锻件是汽车连接轮毂和车体的关键部件，为保证轮毂锻件的品质，主要测量尺寸如图9所示，可分为径向尺寸和轴向尺寸。由于坯料温度、压机速度等工艺参数的异常变化，常造成直径三套筒外径、芯轴外径偏离公差范围，所以这些尺寸是轮毂锻件检测的关键数据。

图9 轮毂锻件径向及轴向尺寸检测内容

3 实验结果分析

经过搭建的实验环境获得点云数据后，进行振动带来的点云补偿效果测试分析。图10为点云补偿前后的对比示意图，图中锻件正面指的是图9中轮毂锻件的上半部分，锻件反面指的是轮毂锻件的下半部分。图10a为产生振动时扫描得到的点云，可以明显看出，点云图像存在较多噪点和重影，振动对点云扫描结果产生了较大影响。图10b为经过振动传感器补偿得到的点云，可以看出，噪点和重影明显减少，有效抑制了锻造现场振动对检测扫描点云结果的影响。对于锻件的正面和反面，首先需要基于扫描的数据高度变化得到3层数据，并分别拟合3层平面，依据点到面的距离剔除噪点，并采用基于加速度传感器的锻件三维点云补偿方法对振动造成的点云误差进行修正。在锻件点云修正完成的基础上分别得到3层平面对应的锻件轮廓数据，并拟合圆，得到锻件尺寸信息。最后，计算不同平面之间的距离，多次多方位采样并求取平均值，作为最终检测得到的锻件尺寸值。

图11为锻件各扫描面点云测量关键步骤处理图。图11a—c分别为锻件正面、反面和侧面点云的测量关键步骤处理图，其中，第1行是基于扫描的数据高度变化获取的3层锻件点云原始数据；第2行是噪点剔除和点云补偿后得到的结果；第3行是进行边缘提取和圆形拟合后得到的结果；第4行是最终尺寸测量结果。

图10 点云补偿前后对比示意图

图11 锻件各扫描面点云测量关键步骤处理图

表1为锻件上表面直径3的多次测量结果，可以发现，补偿前测量数据波动较大，且有时和理论值出现很大偏差，对12次未补偿前的实验测量结果求得标准差为0.52。经过补偿后，测量数据波动明显降低，标准差仅为0.056，和理论值误差仅有±0.1 mm。由此可以看出，点云补偿对锻件尺寸的测量精度有很大的提升。表2为点云补偿后锻件各扫描面尺寸测量结果统计。由表2可知，锻件的各尺寸测量误差能够控制在±0.1 mm，满足轮毂锻件在线热态检测的工艺需求。

表1 直径3测量结果统计

Tab.1 Measurement results of diameter 3

表2 点云补偿后锻件各扫描面尺寸测量结果统计

Tab.2 Measurement results of each scanning surface of the forging after point cloud compensation

4 结论

通过在激光相机中增设相机防振模块，利用加速度传感器捕获相机水平移动过程中产生的振动信号，并通过坐标变换计算得到相机振动造成的点云偏移量，从而对其进行补偿，有效抑制了相机振动对锻件在线测量结果的影响。基于校正后的点云数据，尺寸平均测量误差由±0.9 mm降低至±0.1 mm，标准差由0.52 mm降低至0.056 mm，该检测实验结果表明，锻件点云经补偿后，能有效提高尺寸测量精度，从而降低人工检测的劳动强度，为锻造产线稳定可靠地运行提供了技术支撑。

[1] HAWRYLUK M, ZIEMBA J, SADOWSKI P. A Review of Current and New Measurement Techniques Used in Hot Die Forging Processes[J]. Measurement and Control, 2017, 50(3): 74-86.

[2] HAWRYLUK M, ZIEMBA J. Possibilities of Application Measurement Techniques in Hot Die Forging Processes[J]. Measurement, 2017, 110: 284-295.

[3] ZHANG Yu-cun, HAN Jun-xia, FU Xian-bin, et al. Measurement and Control Technology of the Size for Large Hot Forgings[J]. Measurement, 2014, 49: 52-59.

[4] 高浩波, 王保升, 左健民, 等. 大型环件热态几何参数在线检测方法综述[J]. 机械设计与制造工程, 2019, 48(1): 93-96.

GAO Hao-bo, WANG Bao-sheng, ZUO Jian-min, et al. A Review of Online Detection Method for Thermal Geometric Parameters of Large Rings[J]. Machine Design and Manufacturing Engineering, 2019, 48(1): 93-96.

[5] SHEN Jiu-li, XING Ting-ting, ZHANG Chuan-bao. Cavity Detection Method of Hot State Axle Forging Based on Laser Technology[J]. Optik, 2022, 257: 168782.

[6] DWORKIN S B, NYE T J. Image Processing for Machine Vision Measurement of Hot Formed Parts[J]. Journal of Materials Processing Technology, 2006, 174(1/2/3): 1-6.

[7] SHEN Jiu-li, XING Ting-ting. Detection Technology of Void Temperature Field Inside Hot Hull Forgings[J]. Journal of Coastal Research, 2020, 103(S1): 397.

[8] ZHANG Yu-cun, ZHANG Lei-qiang, FU Xian-bin. Detection Analysis of Interior Void for Hot Axial Forging Based on the Interior Temperature Field[J]. Applied Thermal Engineering, 2016, 93: 43-49.

[9] ZHANG Yu-cun, MIAO Shu, FU Xian-bin, et al. Online Measuring Method of Radial Section Line for Ring Forgings[J]. The International Journal of Advanced Manufacturing Technology, 2019, 101(9): 3035-3046.

[10] NELLUMS R O, HABBIT R D, HEYING M R, et al. 3D Scannerless LADAR for Orbiter Inspection[C]// Spaceborne Sensors III, SPIE Proceedings. Orlando (Kissimmee): FL. SPIE, 2006, 6220: 147-163.

[11] WU Zhi-chao, WEI Xiao-xin, SONG Li-mei, et al. Solution for Vision Occlusion Based on Binocular Line-Structured Light[J]. Optoelectronics Letters, 2021, 17(7): 432-437.

[12] LEE J, SHIN H, LEE S. Development of a Wide Area 3D Scanning System with a Rotating Line Laser[J]. Sensors (Basel, Switzerland), 2021, 21(11): 3885.

[13] 韩利亚. 热成形件在线自动化三维测量技术研究[D]. 武汉: 华中科技大学, 2019: 1-5.

HAN Li-ya. Research on Automated 3D Measurement for Online Inspection of Hot Forming Parts[D]. Wuhan: Huazhong University of Science and Technology, 2019: 1-5.

[14] 刘玉松, 王志海, 刘琦, 等. 基于Metrascan与激光雷达融合的飞机外形数字化测量方法研究[J]. 现代制造工程, 2019(2): 36-40, 47.

LIU Yu-song, WANG Zhi-hai, LIU Qi, et al. Research on Aircraft Profile Digital Measurement Based on Fusion of Metrascan and Laser Radar[J]. Modern Manufacturing Engineering, 2019(2): 36-40, 47.

[15] 潘鑫, 张俐, 何凯. 激光雷达复材型面测量精度分析方法[J]. 北京航空航天大学学报, 2020, 46(7): 1398-1404.

PAN Xin, ZHANG Li, HE Kai. Method of Accuracy Analysis for Composite Material Surface Measurement by Lidar[J]. Journal of Beijing University of Aeronautics and Astronautics, 2020, 46(7): 1398-1404.

[16] 雷冲, 刘元坤. 一种基于双目结构光的光学元件精磨表面面形测量方法[J]. 光学与光电技术, 2022, 20(1): 14-20.

LEI Chong, LIU Yuan-kun. A Method for Measuring the Surface Shape of Dynomizing Optical Element Based on Binocular Structured Light 3D Measurement[J]. Optics ＆ Optoelectronic Technology, 2022, 20(1): 14-20.

[17] 安宗权, 王匀. 基于线激光与模板匹配的工件表面平坦度测量[J]. 控制工程, 2018, 25(2): 341-345.

AN Zong-quan, WANG Yun. Surface Flatness Measurement of Workpiece Based on Line Laser and Template Matching[J]. Control Engineering of China, 2018, 25(2): 341-345.

[18] HAN Li-ya, CHENG Xu, LI Zhong-wei, et al. A Robot-Driven 3D Shape Measurement System for Automatic Quality Inspection of Thermal Objects on a Forging Production Line[J]. Sensors (Basel, Switzerland), 2018, 18(12): E4368.

[19] HE Jun, GAO Feng, WU Sheng-fu, et al. Measure Dimension of Rotating Large Hot Steel Shell Using Pulse Laser on PRRR Robot[J]. Measurement, 2012, 45(7): 1814-1823.

[20] 廖勇, 黄薇, 张瑞菊, 等. 2 050 mm热轧产线设备智能运维技术的应用[J]. 宝钢技术, 2019(6): 31-37.

LIAO Yong, HUANG Wei, ZHANG Rui-ju, et al. Application of Intelligent Operation and Maintenance Technology in 2 050 mm Hot Rolling Equipment[J]. Baosteel Technology, 2019(6): 31-37.

[21] 刘文广, 冯婷, 史青, 等. 锻造操作机行走系统液压冲击振动及定位控制[J]. 锻压技术, 2019, 44(12): 99-103, 121.

LIU Wen-guang, FENG Ting, SHI Qing, et al. Hydraulic Shock Vibration and Positioning Control for Forging Manipulator Walking System[J]. Forging ＆ Stamping Technology, 2019, 44(12): 99-103, 121.

[22] 滕昊, 韩军, 汪满新, 等. 基于振动特征的自动换刀装置到位精度状态诊断[J]. 组合机床与自动化加工技术, 2021(5): 86-91, 95.

TENG Hao, HAN Jun, WANG Man-xin, et al. State Diagnosis of Automatic Tool Changer Positioning Accuracy Based on Vibration Characteristics[J]. Modular Machine Tool ＆ Automatic Manufacturing Technique, 2021(5): 86-91, 95.

[23] WANG Q, He F. A Review of Developments in the Forging of Connecting Rods in China[J]. Journal of Materials Processing Technology, 2004, 151(1-3): 192-195.

[24] JI Yuan-long, SUN Shu-wen, LIU Zhi-feng, et al. Design and Development of Management and Control System for Intelligent Die Forging Production Line[C]// 2020 3rd World Conference on Mechanical Engineering and Intelligent Manufacturing (WCMEIM). Shanghai, China: IEEE, 2020: 230-233.

[25] TOMBARI F, DI STEFANO L. Object Recognition in 3D Scenes with Occlusions and Clutter by Hough Voting[C]//2010 Fourth Pacific-Rim Symposium on Image and Video Technology. Singapore: IEEE, 2010: 349-355.

Online Measuring System of Forging Dimension Based on Vibration Point Cloud Compensation

BIAN Shao-shun1,2, SHAN De-bin1, ZHANG Bin2, GUO Bu-rui1, XU Wen-chen1, XU Jia-wei1

(1.National Key Laboratory for Precision Hot Processing of Metals, Harbin Institute of Technology, Harbin 150001, China; 2.Jari Automation Co., Ltd., Jiangsu Lianyungang 222006, China)

The work aims to propose a vibration-point cloud-compensation method based on the acceleration sensor to solve the large forging thermal dimensional measuring error in detection task caused by the mechanical vibration in the high-temperature forging production line. First, the vibration signal was obtained through the built-in acceleration sensor in the laser camera. After the acceleration of the camera vibration was detected, the displacement of the camera in three directions was solved by secondary integration. Subsequently, the coordinate value of the corresponding point was obtained by the rotation matrix transformation so as to compensate and correct the point cloud deviation caused by the camera vibration. Finally, the forging point cloud was matched with the template matching algorithm in Halcon. The automatic forging production line of automobile wheel hub robot with heating, upsetting and preforging processes was built, and the key dimensions of high-temperature forging products were measured online with the developed method. After the forging point cloud was compensated, the average measurement error of dimensions was reduced from ±0.9 mm to ±0.1 mm, and the standard deviation was reduced from 0.52 mm to 0.056 mm. Through the vibration point cloud compensation method based on the acceleration sensor , as well as silica aerogel insulation, vibration structural parts, heat insulation and constant temperature, blue violet laser 3D camera and other measures, the online detection requirements of automatic forging production line can be met, the dimensional detection accuracy of high temperature forgings in the forging production line can be improved, and the instability of dimensional detection can be reduced.

thermal dimension detection; point cloud vibration compensation; template matching algorithm; forging production line; online detection

10.3969/j.issn.1674-6457.2023.01.023

TB92

A

1674-6457(2023)01-0190-09

2022–05–13

2022-05-13

国家重点研发计划（2018YFB1309100）

National Key Research and Development Program of China (2018YFB1309100)

卞绍顺（1985—），男，硕士，高级工程师，主要研究方向为智能化锻造。

BIAN Shao-shun (1985-), Male, Master, Senior engineer, Research focus: intelligent forging.

徐文臣（1976—），男，博士，教授，主要研究方向为精密塑性成形技术及智能化。

XU Wen-chen (1976-), Male, Doctor, Professor, Research focus: precision plastic forming technology and intelligence.

卞绍顺, 单德彬, 张彬, 等. 基于振动点云补偿锻件尺寸在线测量系统研究[J]. 精密成形工程, 2023, 15(1): 190-198.

BIAN Shao-shun, SHAN De-bin, Zhang Bin, et al. Online Measuring System of Forging Dimension Based on Vibration Point Cloud Compensation[J]. Journal of Netshape Forming Engineering, 2023, 15(1): 190-198.