机器视觉基础实验平台设计

吴思东 袁建英 刘甲甲 许林 马忠丽 蒋涛

摘 要：图像处理与机器视觉是自动化、机器人等相关专业一个重要的内容，为了便于学生掌握视觉传感器工作原理特性、基础机器视觉理论及实践应用，自制了机器视觉基础实验平台。该实验平台包含硬件平台和软件平台，硬件平台视觉传感器采用两台大恒MARS88013GMP面阵相机，软件平台可实现双台相机驱动、相机设置、图像采集、读入图像、图像滤波、边缘检测、分割、双目相机标定等功能。实验平台对每个功能模块提供扩展接口，便于学生进行二次开发。

关键词：机器视觉；实验平台；扩展模块；视觉传感器；QT

机器视觉是模式识别、人工智能领域重要研究内容之一，目的是利用机器实现检测、测量、识别和判断等功能，其主要研究内容是通过视觉传感器设备采集目标图像数据，经过视觉处理模块，得到目标特定信息（如轮廓、距离、类别等），近年来受到广泛应用。目前机器视觉相关企业已经开发出非常成熟的产品，但其产品多为综合性功能产品，不利于刚入门学生学习，而针对高校的相关实验设备、实验平台还相对较少［1］。教师在授课时只能讲解相关理论知识，或者展示相关实验素材，学生不能深入了解相关知识和工作原理。为了使学生对机器视觉相关基础知识有更深入地理解和认识，设计了机器视觉基础实验平台，方便学生进行相关学习和研究。另外，平台还提供二次开发接口供算法优化等研究，便于学生将理论与实践相结合，加深对机器视觉知识的理解。

1 机器视觉平台总体设计

机器视觉实验平台是基础性实验平台，和《图像处理与机器视觉》类课程中机器视觉硬件、图像处理基础、双目立体视觉等理论配合使用［2］。目的是让学生深入理解视觉传感器工作原理和不同算法功能和作用，构建能实现综合机器视觉功能的系統。本平台由硬件和软件两部分组成。实验平台总体设计如图1所示。

2 硬件平台设计

2.1 相机及镜头模块

相机和镜头构成机器视觉图像采集模块，平台相机为大恒MARS88013GMP，如图2所示。为理解掌握镜头在成像方面的差异实验平台选配3套不同焦距镜头（8mm：VS0814H1，12mm：HN122620MC1/1X，35mm：HN352220MC1/1X），如图3所示。

2.2 相机固定支架

相机支架包含相机固定板和转动云台两部分，如图4所示，双目相机搭载固定支架上可调整相机基线、光轴夹角、俯仰角、相机高度。

2.3 其他硬件

其他硬件还包括标定板、计算机、开关电源、交换机等。标定板包含圆形和棋盘格标定板各一件；开关电源将220V转12V相机工作电压；交换机实现多相机连接和驱动。

3 软件平台设计

软件平台采用QT开发界面，编程语言采用C++，功能可分为三部分：相机操作、图像操作、双目标定。可实现对机器视觉基础实验内容的处理和结果展示，利于学生掌握相应操作原理和参数意义。

软件平台主界面如图5所示，主界面包含相机显示、采集或外部读入图像窗口，可同时显示图像操作前后的图像，标定区域包含相机标定操作、标定过程和标定结果显示。主界面菜单栏包含文件操作、相机操作、图像操作模块，如图6所示。

3.1 文件操作模块

文件操作模块主要包含图像文件读入和保存功能。

3.2 相机操作模块

相机操作模块有相机曝光、白平衡、增益等设置功能。由于相机镜头成像原理影响，相机采集图像的边界区域亮度与中心区域亮度存在差异，因此还设计有相机平场校正功能。

3.3 图像操作模块

图像操作模块是软件平台主要功能模块，包含图像点操作、图像滤波、形态学操作、边缘提取、图像分割等功能内容。可直接对相机采集数据进行操作，也可读入图像进行操作。若打开不止1台相机，则只采集左相机完成相应图像操作功能。

3.4 双目相机标定模块

双目相机标定方法采用张正友提出的标定法［3］。可根据所使用标定板类型选择相应方法，进行特征提取和检测，完成多次标定板采集和检测后，进行标定计算，求解出双目相机标定的内外参数和相机径向、切向的畸变系数，在标定过程展示窗口输出，标定精度也同时在标定过程窗口输出［4］。

为了兼顾机器视觉单相机处理和双目相机标定算法，软件平台在打开相机时可根据实际连接相机数（最大支持2台相机）进行相机数选择。

3.5 实验平台可开发实验

基于该设计的机器视觉基础实验平台，可开发的实验如表2所示。

4 平台开发接口

平台采用开发源代码，在保证原有设计框架基础上，学生可根据所学知识，通过预留的软件接口进行方法验证和二次开发。

相机驱动。本平台只设计了针对大恒图像火星系列GigE接口的驱动程序，学生可利用该模块，学习不同类型相机、不同数据接口的相机驱动方法。

图像操作。本平台实验包含部分机器视觉基础算法，通过OpenCV相关函数实现，学生可观察对应算法的相关参数设置带来的效果。另外，学生可利用对应模块，在学习和掌握相关算法原理后，实现相应算法，验证算法正确性。图7（a）为双边滤波按钮设计界面，当点击双边滤波按钮触发对应按钮点击命令，并执行on_action_Bi_triggered（）代码，如图7（b）所示，该部分代码包含双边滤波参数设置、双边滤波算法及结果显示部分，其中核心双边滤波算法为方框内代码，双边滤波结果如图7（c）所示，学生可对函数重写实现相应算法，并比较分析，验证算法正确性。此外，本平台的开源特性也方便老师和学生基于该平台进行二次开发，增加如立体匹配、三维重建等功能。

（a）双边滤波按钮设计界面

（b）双边滤波操作执行代码

（c）双边滤波效果

图7 实验平台二次开发功能

结语

机器视觉基础实验平台实现了部分机器视觉课程基础操作算法，有利于学生在统一平台快速理解和观察每个操作以及不同参数设置对图像的影响。平台的开发接口可供学生对不同的操作进行实现和验证分析，促使学生进一步学习和掌握相关操作算法。平台也可供学生进一步二次开发和设计更丰富的实验功能，对学生理解和掌握机器视觉相关算法和原理具有重要的价值。

参考文献：

［1］陆安琴，秦婵婵，胡圣波，等.基于PyQt5的数字图像处理实验平台设计［J］.电子元器件与信息技术，2021，5（2）：158161.

［2］许林，袁建英，吴思东，等.“机器视觉及应用”课程双语教学模式探索［J］.西部素质教育，2022，8（05）：1315.

［3］Zhang，Z.A Flexible New Technique for Camera Calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22：13301334.

［4］袁建英，吴思东，刘甲甲，等.双目三维重建实验平台设计［J］.西部素质教育，2020，6（11）：158159+163.

项目基金：本文系四川省高等教育人才培养质量和教学改革项目《引入竞赛知识元素的机器人工程专业科技创新实践体系构建》（项目编号：JG20211006），成都信息工程大学本科生教学改革工程项目“《机器视觉及应用》教学方法研究与实践”（编号：JYJG2022049）、“应用型示范机器人工程本科专业建设与实践”（编号：JYJG2021005）、“学科竞赛驱动、科研引领的机器人工程专业科技创新实践体系构建”（编号：JYJG2022133）、“《智能控制》教学方法的研究与实践探索”（编号：JYJG2021044）

作者简介：吴思东（1989— ），男，汉族，四川南充人，博士，讲师，研究方向：计算机视觉；袁建英（1982— ），女，汉族，四川眉山人，博士，副教授，研究方向：机器视觉；许林（1985— ），男，汉族，四川广元人，博士，讲师，研究方向：机器视觉；刘甲甲（1983— ），男，汉族，安徽淮北人，博士，讲师，研究方向：机器视觉与工业智能化；马忠丽（1974— ），女，满族，四川成都人，博士，教授，研究方向：圖像处理、虚拟仿真；蒋涛（1975— ），男，汉族，四川绵阳人，博士，教授，研究方向：智能机器人技术。