带激光笔的机器人主动视觉手眼标定*

黄朝兴，陈丹，唐旭晟（.福州大学电气工程与自动化学院先进控制技术研究中心，福建福州35008；.福州大学机械工程及自动化学院，福建福州35008）

带激光笔的机器人主动视觉手眼标定*

黄朝兴1，陈丹1，唐旭晟2
（1.福州大学电气工程与自动化学院先进控制技术研究中心，福建福州350108；2.福州大学机械工程及自动化学院，福建福州350108）

以固高GRB-400机器人和摄像机组成手眼系统，在手眼关系旋转矩阵的标定方面，分析了基于主动视觉的标定方法。为实现手眼关系平移向量的标定，提出以固定于机械臂末端的激光笔来获取工件平台上特征点的基坐标，并结合已标定的旋转矩阵来标定平移向量。最后，从图像求取多个特征点之间的距离并与实际值进行误差比较，平面特征点间的长度测量误差在±0.8 mm之间，表明手眼标定精度较高，可满足机器人进行工件定位与自动抓取的要求。

机器人；手眼系统；主动视觉；激光笔；标定

0 引言

当今，机器人视觉系统以其精度高、成本效率高、连续性、灵活性等特点被广泛应用于电子原件装配、焊接工程、零配件尺寸检查等领域。手眼标定是机器视觉系统中的关键技术，手眼标定的精度将直接影响系统的定位精度。因此，为提高系统的定位精度，需要大量的实验来实现手眼标定，以减小最终误差。在手眼标定方面许多学者做了努力，并取得了一定的成果，如Ma[1]提出了主动视觉的方法，通过摄像机的正交平移运动，利用极点建立约束方程组，求解摄像机内参数及手眼关系；杨广林[2]等给出一种手眼标定方法，仅需场景中的两个特征点，通过控制摄像机做两次平移运动和一次旋转运动即可实现手眼标定。此外，针对一些机器人如SCARA机器人，其在做旋转运动时仅能绕z轴旋转，对于一些手眼标定方法该类机器人无法实现，如Shiu[3]和Tsai[4]的手眼标定方法均要求至少需要旋转轴不平行的两组运动，才能唯一确定手眼矩阵的各分量。本文以固高GRB-400机器人和摄像机组成的手眼系统为研究对象，采用基于主动视觉的手眼标定方法对手眼关系的旋转矩阵进行标定，借助于激光笔来获取工件平台上特征点的世界坐标，然后根据特征点的世界坐标和已标定的旋转矩阵来求取手眼关系的平移向量。

1 固高GRB-400机器人

四自由度GRB-400机器人是典型的SCARA机器人，具有3个旋转关节和1个移动关节，采用D-H法建立坐标系，如图1所示。从控制器中获取关节变量θ1、θ2、θ4、d3，由图1可求得各连杆的变换矩阵，从而得到机械臂末端的位姿参数：

图1 机器人D-H坐标系

2 手眼关系的标定

2.1 手眼系统中的坐标变换

手眼关系示意图如图2所示，Qw-xyz、Qh-xyz和Qcxyz分别表示机器人基坐标系、机械臂末端坐标系和摄像机坐标系，分别表示基坐标系与机械臂末端坐标系之间的旋转矩阵和平移向量，分别表示机械臂末端坐标系与摄像机坐标系之间的旋转矩阵和平移向量。设P为空间中的一点，Pw、Ph和Pc分别为点P在坐标系Qw-xyz、Qh-xyz和Qc-xyz中的坐标，则P在手眼系统中各坐标系之间的关系如下：

2.2 手眼关系中旋转矩阵的标定

在手眼系统中，当控制机械手做平移运动时，摄像机也随着机械手做平移运动。参考文献[1]给出了确定摄像机坐标系平移方向的方法。

图2 手眼关系示意图

整理上式得：

类似地，控制机械手沿不同方向做两次平移运动，设其平移向量分别为k b→2、k b→3，相应的摄像机平移向量分别为k a→2、k a→3（a→i、b→i均为单位向量，i=2，3），同样可推得：

将式（6）～（8）合成矩阵形式有：

由此可得手眼关系的旋转矩阵：

在实际标定过程中，可以只通过控制机械手沿相互正交的两个方向平移，然后采用施密特正交化方法对得到的两个摄像机平移向量进行正交化，第三个平移向量由前两项叉乘得出，即由此可求得正交的旋转矩阵Rhc。

2.3 手眼关系中平移向量的标定

手眼关系的平移向量是通过以固定于机械臂末端的激光笔来获取工件平台上特征点的基坐标，并结合已标定的旋转矩阵来标定的。

2.3.1 基于激光笔求工件平台上特征点的基坐标

基于激光笔求特征点基坐标的示意图如图3所示，工件平台与基坐标的z轴垂直（设工件平台在z轴的坐标位置已知），P为工件平台上位置固定的特征点，设其基坐标表示为，激光笔安装于机械臂末端，即Qh-xyz坐标系的A处，且使激光射线平行于Qh-xyz的z轴。可通过控制机械手上下移动观察激光射线是否打在工件平台上的同一点来判断激光射线是否平行于Qh-xyz的z轴，若不是则调整激光笔直到激光射线与Qh-xyz的z轴相平行。易知当激光射线与Qh-xyz的z轴相互平行时，激光射线上的点在Qh-xyz上具有相同的x、y轴坐标值且不随机械手的移动而改变，设分别为hxp、hyp。

图3 基于激光笔求特征点基坐标示意图

首先，通过调整机器人的四个关节状态使激光射线打在P点上（如图3（a）所示），设此时P点在Qh-xyz中的坐标为（wxp，wyp，wzp）T，从控制器中获取当前机器人的关节变量分别为θ11、θ21、d3、θ41，根据D-H法可求得机械臂末端的位姿参数易知旋转矩阵具有如式（2）的形式，设为：

接着，保持机械臂末端与工件平台的距离不变，即机器人的移动关节参数值仍为d3，改变机器人的其他三个旋转关节，且仍使激光射线打在P点上（如图3（b）所示），显然此时的P点在Qh-xyz中的坐标仍为（wxp，wyp，从控制器中获取当前机器人的关节变量分别为同理可求得且旋转矩阵具有

式（2）的形式：

由式（12）、（13）可解得：

在基坐标系下，对于工件平台上的特征点的z轴坐标值相等且为已知，因此只需求取x、y轴的坐标值。将求得的（hxp，hyp）T带入式（12）即可求得P点在基坐标系下的x、y轴的坐标值。为减小（hxp，hyp）T的误差，可采用对不同特征点重复多次实验求平均的方法。

2.3.2 平移向量的标定

根据手眼系统中的坐标变换关系，由式（3）、（4）可得：

整理上式，得：

根据小孔成像的线性模型有：

将上式代入式（16）得：

标定过程：控制机械手使工件平台上已知基坐标的特征点置于场景中，从控制器中获取当前机器人的关节变量求得从图像上获取特征点的图像像素坐标（u，v），zc可由参考文献[2]给出的方法求得M均已标定求出，则由式（19）即可求得手眼关系的平移向量通过重复多次实验求平均，可减少误差。

3 实验结果及分析

本文的手眼系统的硬件部分主要有：四自由度GRB-400机器人、机器人控制柜、控制计算机、CCD摄像头、图像采集卡及其他辅助设备。摄像机安置于机械臂手爪的旋转关节上，其采集的图像尺寸为2 048× 1 536。

3.1 手眼关系旋转矩阵的标定实验

控制机械手沿机械臂末端坐标系的Zh+（“+”表示坐标轴的正方向，“-”表示坐标轴的负方向）方向移动10 mm，根据移动前后图像特征对应点求取摄像机的平移向量k a→1，再控制机械手沿机械臂末端坐标系的Yh+方向移动10 mm，同样可求得摄像机的平移向量k a→2，利用Schmidt正交化，令同时利用机械手平移的方向向量由式（10）求得手眼关系的旋转矩阵同理控制机械手沿机械臂末端坐标系的Zh-、Yh+、Zh+、Yh-、Zh-、Yh-方向移动10 mm，每两次移动就可确定一个旋转矩阵的多次实验结果数据如表1所示，其中最大偏差为旋转矩阵的计算值与平均值之间的偏差矩阵中的最大值。从表1可看出旋转矩阵的偏差是稳定的，取平均值作为标定结果。即：

表1 手眼关系旋转矩阵实验结果

3.2 手眼关系平移向量的标定实验

在求平移向量之前，需通过激光笔来获取工件平台上特征点的基坐标，因此先对激光笔在机械臂末端坐标系x、y轴的坐标位置进行标定。通过多次标定得到的数据结果如表2所示，其中偏差为的实验计算值与平均值之间的差值。

表2 （hxp，hyp）T的标定结果

在求得hxp、hyp后，控制机器人使激光射线打在工件平台上基坐标待求的特征点P上，从控制器中获取当前机器人的关节变量求得机械臂末端的位姿参数，由式（12）即可求得P点的基坐标。

接着对手眼关系平移向量进行标定：控制机械手使工件平台上基坐标已知的4个特征点置于场景中，从控制器中获取当前机器人的关节变量求得从图像上获取这些特征点的图像像素坐标，这些特征点的zc值按参考文献[2]的方法另外求取，均已知，由式（19）即可求得手眼关系的平移向量平移向量的标定结果数据如表3所示，其中最大偏差为平移向量的计算值与平均值之间的偏差向量中的最大值。

表3 手眼关系平移向量的标定结果

由表3可看出，平移向量的最大偏差小于0.5 mm，取平均值为其标定结果。即：

3.3 标定结果测试

选取工件平台上的4个点作为测试点，且将特征点置于不同的场景中，如图4所示，通过求取特征点的基坐标以求得这4个特征点两两之间的距离，实验结果数据如表4所示，其中实际值为由游标卡尺直接测量所得特征点之间的间距。

图4 不同场景中的特征点图像

由表4可得不同场景中特征点间距计算值与实际值的误差曲线，如图5所示。从图5可以看出，特征点间距计算值与实际值的误差在±0.8 mm之间，说明所标定的手眼关系的旋转矩阵和平移向量精度较高，可满足机器人的工件定位与自动抓取的要求。

表4 不同场景中特征点间距的计算值与实际值

表5列出了本文方法和其他文献方法的手眼标定精度。从表5可以看出，参考文献[5]的标定精度最高，达到了0.5 mm，但其标定过程要求机器人的外臂坐标系到机器人基坐标系的旋转矩阵以及末端执行器的高度保持不变，具有一定的局限性。而参考文献[1]和参考文献[6]的手眼标定方法在求解平移向量时均需要机器人做旋转运动，并且不能仅仅只绕某一轴旋转，若仅绕某一轴旋转将无法求出平移向量。在标定精度方面，参考文献[6]的标定精度与本文方法相当，而参考文献[1]和参考文献[5]的标定精度均低于本文方法。

图5 不同场景中特征点间距的误差曲线图

表5 几种方法的手眼标定精度

4 结论

本文提出了通过固定在机械臂末端的激光笔来获取工件平台上特征点的基坐标，以此来标定手眼关系的平移向量；通过场景中的两个特征点，通过精确控制机械臂做2次特定的平移运动即可标定出手眼关系的旋转矩阵。实验结果表明，本文方法的标定精度较高（±0.8 mm），可满足一般机器人工件自动抓取、跟踪控制等作业的使用要求。此外，本文提出的方法对于平移向量的标定，只需要求机器人末端手臂垂直于工件平台，并使固定在该臂上的激光笔的射线平行于该臂坐标系的z轴，这对于大多数的机器人都是易于实现的，因此本文的方法精度高，适用范围广。

[1]MA S D．A self-calibration technique for active vision systems[J]．IEEE Transactionsons on Robotics and Automation，1996，12（1）：114-120．

[2]杨广林，孔令富，王洁.一种新的机器人手眼关系标定方法[J].机器人，2006，28（4）：400-405.

[3]SHIU Y C，AHMAD S.Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX=XB[J].IEEEE Transactions on Robotics& Automation，1989，5（1）：16-29.

[4]TSAI R Y，LENZ R K.A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEEE Transactions on Robotics&Automation，1989，5（3）：345-358.

[5]戚芳，席锋.简便高精度的机器人手眼视觉标定方法[J].传感器与微系统，2006，25（1）：27-29.

[6]张黎烁，赵志梅.基于主动视觉的结构光手眼系统自标定方法[J].科学技术与工程，2014，14（9）：202-206.

ARM携手贵州大学共建大数据创新与人才培养基地培养明日大数据人才，打造可持续“云上贵州”

2015年8月21日，ARM®宣布与贵州大学合作建立“贵州大学—ARM创新与人才培养基地”，推动当地大数据教育发展，为打造长期可持续发展的“云上贵州”培养大数据人才。

通过该人才培养基地的建立，ARM将协同其大学计划生态伙伴一起为贵州大学提供基于ARM的硬件及软件系统套件，以及行业最新的专业级平台和工具等服务，使得学生能够掌握大数据领域的前沿技术。同时，ARM还将支持学校公共基础课程教材改革，并持续提供多元化、高质量、更广泛的公开课程资料，覆盖ARM mbedTM嵌入式系统课程与实验、移动互联开发课程与实验、微服务器实践课题、智能硬件实践课题及Linux操作系统实训。并支持该创新与人才培养基地的各类学生竞赛、创客、创业等活动。

ARM全球执行副总裁兼大中华区总裁吴雄昂表示：“ARM致力于在中国产学结合，打造开放社区式创新生态系统。2014年国内合作伙伴基于ARM架构的中国芯出货量超过15亿片。贵州目前以发展大数据产业为中心，从各个产业环节推动创新，而ARM低功耗、高性能且具备可扩展性的处理器及相关技术能有效支持大数据市场的运营需求。与贵州大学的合作以核心课程合作为入口，是ARM大学计划在中国开展以来的示范项目，促进产学研相结合，为贵州大数据教育与产业的可持续发展做出贡献。”

ARM凭借其在全球先进数字产品的技术核心地位，积极开展大学计划，鼓励将ARM处理器用作教育实验和大学课程的基础，并联合行业合作伙伴为工程领域的高校学生提供基于各自专业技术领域的高质量教学内容。此次建立的“贵州大学—ARM创新与人才培养基地”作为ARM大学计划在中国发展的重要实践，不仅将有助于促进贵州大数据人才培养，还将帮助大学教育体系应对逐步升高的行业需求，加快优质教学资源的共享，推进教学改革，促进大数据教育发展。

（ARM供稿）

Robotic hand-eye calibration based on active vision w ith laser pointer

Huang Chaoxing1，Chen Dan1，Tang Xusheng2
（1.Research Center of Advanced Control Technology，College of Electrical Engineering and Automation，Fuzhou University，Fouzhou 350108，China；2.School of Mechanical Engineering and Automation，Fuzhou University，Fouzhou 350108，China）

In terms of the rotation matrix calibration of the hand-eye relation，the calibration method based on active vision for eye-in-hand system which is consisted of Googol GRB-400 robot and camera is analyzed.The world coordinates of the feature point on the workpiece platform are obtained by laser pointer mounted on the mechanical arm which is proposed for the calibration of translation vector of the hand-eye relation combined with the calibrated rotation matrix.Finally，the result can be get that the measurement error range of the lengths between the plane feature points is±0.8 mm，which indicates the hand-eye calibration precision is high，through calculating the distances between multiple feature points from the image and comparing the error with the actual values，and it can meet the requirements of workpiece positioning and automatic grabbing for robot.

robot；eye-in-hand system；active vision；laser pointer；calibration

TP24

A

1674-7720（2015）17-0070-05

黄朝兴，陈丹，唐旭晟.带激光笔的机器人主动视觉手眼标定[J].微型机与应用，2015，34（17）：70-74.

2015-04-05）

黄朝兴（1990-），男，硕士研究生，主要研究方向：机器视觉。

陈丹（1977-），女，博士，副教授，主要研究方向：网络机器人控制技术，预测控制，智能控制以及机器人视觉。

唐旭晟（1973-），男，博士，副研究员，主要研究方向：机器视觉，图像处理等。

国家自然科学基金资助项目（61174051）；福建省自然科学基金项目（2013J01226）