基于机器视觉的光性智能检定系统设计与实现

宋 鹰， SONG Sean

(1. 中国石油大学(华东) 地球科学与技术学院，山东 青岛 266580； 2. 新西兰 坎特伯雷大学 工学院，克赖斯特彻奇 8011)

0 引 言

物质的化学成分及内部结构决定了其光学性质[1]，因此光学性质是物质最稳定的性质之一[2]。在各类光学实验仪器中，折光仪既可以对介质折光率进行定量测量，又可以对其变化规律进行定性观察描述，为识别介质种类提供关键性证据[3-4]。而且折光仪以光的全反射为基本原理，结构简单、成本低廉，是各高校及地球科学、材料科学、食品科学类实验室必备仪器之一。然而，传统的折光率检定实验具有步骤繁琐、效率低等不足，检定结果准确性很大程度上依赖操作者的经验，而且操作时人体直接接触剧毒折射液，对实验人员和环境造成严重威胁。

机器视觉是人工智能技术的一个分支，它是通过机器代替人眼来获取图像信号，并对信号进行运算从而做出判断[5]。近年来，机器视觉技术已被用于指针式和数字式仪表的自动检定之中，提高了自动化程度和工作效率。然而，利用机器视觉技术对光学类仪表进行智能检定的研究尚处于起步阶段。

本文基于机器视觉技术，深度融合光机电一体化系统[6]，研发了一种具备自动观测、自动识别功能的智能光性检定系统，该系统简化了光性检定的实验流程，降低了人为误差和随机误差。

1 光性测定的原理和方法

1.1 原 理

在不同的介质中，光线(光波)具有不同的传播特征。在光密介质，例如水中，光波传播速度慢，折光率n1大；相反，在光疏介质，例如空气中，光线的传播速度快，折光率n2小。当光线从光密介质射入光疏介质时，入射角θ1小于折射角θ2，表现为折射光线相对远离法线，靠近两介质的分界线。这样，当入射角逐渐增大到某一角度θc时，θ1=θc，即产生一个与法线垂直的90°折射角，即θ2=90°，此时所有折射光线都会沿着两种介质之间的分界面通过，此时的入射角称为临界角θc。当入射角大于临界角时，入射光不再发生折射，而是全部反射回到光密介质之中，这种现象称为光的全反射[7](见图1)。

图1 光的全反射原理示意图

假设光密介质的折光率为n1，光疏介质的折光率为n2(n1>n2)，临界角为θc。如果n1已知，只需测出θc，即可求出n2[8]，即：

n2/n1=sinθc/sin 90°，n2=n1·sinθc

(1)

折光仪正是根据光的全反射原理设计而成的。具体来说，用已知的高折光率铅玻璃(n1=1.86～1.96)作为棱镜(光密介质)，当入射角小于临界角时，光源发射的光线经过棱镜发生折射进入待测光疏介质，因此棱镜中的反射区为暗区；当入射角大于临界角时，入射到棱镜的光线发生全反射，不再折射进入待测介质中，而是全部反射回棱镜的反射区之中，反射区为亮区。因此，在目镜中观察到亮暗交界的阴影边界所对应的数值即为折光率(见图2)。

图2 棱镜式折光仪原理及光路示意图

1.2 实验方法

进行折光率测定实验时，需在折光仪铅玻璃表面滴少许折射液作为光学接触液，再将待测样品平放在铅玻璃上，实现待测样品、折射液、铅玻璃之间的光学接触关系。之后手动旋转样品1周，同时从目镜中观测折光率、双折光率及阴影边界的变化特征[3]。

根据待测介质光性特征的不同，会出现以下3种情况：① 视域内只有一条稳定的阴影边界，其对应的数值即为折光率；② 在样品旋转过程中，视域内出现两条阴影边界，一条边界稳定，另一条边界跳动，表明介质为一轴晶晶体；③ 如果两条阴影边界在旋转中都发生了上下跳动，则表明待测介质为二轴晶晶体，最大折光率和最小折光率的差值，即为介质的双折光率。

1.3 存在的问题

首先，操作时随着样品旋转，目镜中阴影边界也同时发生快速跳动，观测人员很难记录折光率的准确数值和变化特征；其次，光线从光源至目镜途径多组透镜和棱镜，图像发生畸变，且目镜窗口狭小，图像难于观测；再次，由于开放式的操作环境和手动旋转样品，环境光线和手指都会对光路造成严重的干扰；最后，常用的折射液如二碘甲烷、溴代萘、硫化砷等都具有极强的腐蚀性和毒性，对实验人员有极大危害，也会污染环境。

2 系统设计

2.1 设计目标

本系统将光、机、电、人工智能等技术深度融合，实现自动加注折射液、定量旋转样品、远程图像采集等功能，通过机器视觉算法分析折光率数值和变化特征，再利用云计算和智能认知技术将测量结果与大数据对比，准确识别介质种类。

2.2 硬件设计

本系统的硬件部分由底座模块、折光仪模块、样品旋转模块、加液模块、视频采集模块、识别分析模块和总控模块七大模块组成(见图3、4)，分别实现系统安装固定、折光率测定、定量旋转、折射液加注、图像采集、图像识别、系统控制等不同的功能。

底座模块用来安装折光仪模块和样品旋转模块。底座与样品旋转装置支架间采用销轴连接，可以方便地将样品旋转模块由工作模式的垂直位置旋转90°至待机模式的水平位置，便于手动操作或清洗、维护。

折光仪模块由光源、铅玻璃棱镜、透镜组、棱镜标尺、透镜标尺、反光镜、目镜透镜和高清图像采集探头组成。为了降低透镜边缘图像畸变效应，在铅玻璃棱镜的反射端增加了扇形棱镜标尺。

样品旋转模块由样品旋转装置支架、支撑筒、旋转筒、步进电动机、小齿轮、大齿轮组成。支撑筒与样品旋转装置支架固定在一起，两端装有滑动轴承，用以支撑旋转筒。小齿轮安装在步进电动机输出轴上，大齿轮安装在旋转筒上。当步进电动机旋转时，小齿轮(z1)驱动大齿轮(z2)旋转，进而带动旋转筒旋转。为了达到定量旋转的目的，本装置选用步距角为1.8°的步进电动机(200脉冲/圈)，并且取传动比i=z2/z1=7.2。当步进电动机每接收一个脉冲信号转动1.8°时，旋转筒可带动待测样品转动0.25°。样品旋转筒下部安装有密封皮碗，可以屏蔽环境光线的干扰，并且阻止折射液挥发。样品压紧筒为一独立装置，使用时插入旋转筒内部，由锁紧螺钉固定。筒内安装有压紧弹簧，确保有合适的压紧力，压紧力的大小可以通过旋转压紧力调节杆来调节。压紧弹簧底端装有软橡胶垫与样品接触，确保样品被牢固地压紧在棱镜表面。

加液模块由加液器和加液管组成，加液器固定于旋转筒之上，加液管由抗腐蚀的特种橡胶材料制成，一端连接加液器，另一端通过斜孔进入筒内壁至待测样品附近。使用时打开加液器上的阀门，折射液通过加液管注入棱镜与样品之间的空隙。

视频采集模块包括3组高清视频采集探头、目镜密闭罩、显示器及相应的视频采集控制器。两组摄像头安装于折光仪内部，分别用于采集铅玻璃棱镜标尺和透镜标尺的视频信息；另一组摄像头安装于目镜密闭罩内，并套在折光仪的目镜观测孔上，用来采集目镜内的视频信息。上述多组摄像头可同时采集光路中不同位置的视频信息，减少了透镜图像畸变的影响，还可以相互校正，获得清晰的阴影边界图像。

识别分析模块由机器视觉自动化检测软件和数据库组成。数据库则包括本地计算机和远程云端服务器中的光性数据库组成。将摄像头采集的视频信息通过机器视觉自动化检测软件识别、分析数值的大小及变化规律，并将识别结果同数据库中保存的信息进行对比，达到智能检测介质光性特征的目的。

总控模块由本地计算机及操作软件组成，与样品旋转模块、视频采集和观测模块、识别分析模块相连。可以控制样品旋转方式，采集、观察、分析和存储测试结果，并且打印测试报告。

2.3 机器视觉软件设计

机器视觉软件及算法设计是光性智能检定系统的核心技术[9]，即如何准确识别摄像头所采集到的光学阴影边界并转换成折光率数值。本系统所用软件基于Python语言编写[10]，应用OpenCV库[11-12]所提供的图像采集API函数(见表1)。主要包括图像采集、对比度增强、颜色聚类、边界确定、刻度识别5个步骤。

(1) 从3个摄像头所采集的图像中截取明暗显示的部分(见图5(a))。其中，VideoCapture的参数i是要使用的摄像头索引(见表1)，由于本文提取了3个摄像头的图像，因此将i取值为0、1、2分别抓取一张图片，共计3张图片。在采集图片后，运行刻度识别(readScale)函数，从(X,Y)的位置开始截取宽为W高为H的部分，即截取图像中明暗显示的部分。

(2) 图像对比度增强。利用限制对比度的自适应直方图均衡算法(见表1)，即CLAHE(Contrast Limited Adaptive Histogram Equalization)算法[13-15]调整图像对比度，使图像的明亮区和暗区的对比更明显(见图5(b))。

(3) 颜色聚类分析。K均值(K-Means)算法是一种无监督的聚类学习算法(K-Means Clustering)[16-17]，在本系统中，该算法将折光仪目镜图像数据分割和量化成3个独立的簇(k=3)(见表1)，即图像只包含3种颜色，如图5(c)所示的黄、暗红、黑3种颜色。

表1 光性智能检定系统程序源代码

(4) 确定阴影边界。在量化为3种颜色的图像中找到每两种颜色之间的边界。从上到下扫描该图像，扫描窗口的宽度为图像宽度，高度为3个像素，当发现扫描窗口内包含两种颜色，且两种颜色的像素数相差不大时，这个扫描窗口的高度位置就是两种颜色的边界。

(5) 光学刻度转换与识别。将扫描窗口区域在图像上的高度位置，换算成光学标尺的刻度值即可得一组折光率数值。3个摄像头分别平行采集和测定>1 000组折光率数值，取每个摄像头平行测定结果的算数平均值作为该摄像头的测定结果。之后将3个摄像头的测定结果再次取平均值，作为待测样品的折光率检测结果。

2.4 系统工作模式

本系统有4种工作模式，如表2和图3所示。

表2 光性智能检定系统的4种工作模式

(a) 摄像头采集的原始图像(b) 对比度增强后的图像(c) 颜色聚类后的图像

图5 图像处理与识别过程

模式1(T模式) 该模式操作方式与传统折光率检测方法一致，适用于示范教学。

模式2(SA模式) 该模式为半自动和离线工作模式。本模式用系统内置的加液器加注折射液，并自动旋转样品和采集视频信息，通过显示器观测检测结果，并人为判定待测矿物的种类。

模式3(A模式) 该模式为全自动工作模式，需要通过互联网连接远程云端服务器，并将检测结果与服务器存储的大数据进行对比，智能判别介质种类。

模式4(R模式) 该模式为研究工作模式。本模式特点是通过计算机发出脉冲信号精确控制样品旋转角度并进行视频采集，确定介质光轴方向，以便进行精细的定向加工。

3 光性智能检测系统的特点

(1) 观测过程简单快捷。操作过程无需从目镜观测和读数，测试结果由软件自动判别，不需人为干预，不依赖操作者经验。

(2) 观测结果准确可靠。本系统屏蔽外来光线干扰，消除了图像畸变，并且通过多通道数据采集、对比度增强、K均值聚类分析、大数据等技术手段，减少了测量误差，提高了测试结果的准确性。

(3) 仪器操作安全环保。本系统自动加注折射液，实验人员不直接接触药剂，且样品内置于橡皮碗之内，减少了折射液的挥发。

(4) 工作模式灵活丰富。本系统内置4种工作模式，可以同时满足不同使用者从教学示范、样品快速鉴别、晶体定向加工等多种需求。

(5) 软件适用性强。基于K-Means和CLAHE算法所编写的图像智能识别软件，可以广泛适用于其他光学仪表读数的智能识别。

4 应用结果校验

为了验证本系统的测试精度和工作效率，由1位初学者和1位专业实验员分别使用不同工作模式对3种固体样品进行了光性检定，通过操作用时和测试结果的差异，对本系统的准确性和效率进行评估，校验结果见表3。

表3 系统应用结果校验数据表

总体来说，模式3工作效率最高，无论实验员还是初学者都可以在15～20 s内得到精准的测试结果，平行测定结果的绝对差值<0.000 2，满足国标GB/T6488—2016、GB/T 614—2016对折光率测试精度的要求，表明本系统具有良好测试精度和很高的工作效率。其中，模式4测试准确度最高，绝对差值<0.000 15，可以得到非常准确的折光率数值。测试人员的熟练程度是影响测试结果的另一个重要因素。在不同模式下，专业实验员都得到比较精准的测试结果，但初学者的精确度和工作效率差异较大：模式1的精度最差，效率最低；模式4虽然效率较低，但工作精度相对较高，比较适合初学者。

5 结 语

本文以机器视觉为基础，深度融合光机电一体化技术，研发了一种具备自动观测、自动识别功能的光性智能检定系统，该系统可以准确检定光学仪表读数，提高测试精度和工作效率，并且保护实验人员的身体健康。该系统有4种工作模式，可以分别满足从教学示范到光性研究、晶体定向加工等不同的需求，可以广泛应用在各类专业实验室和教学实验室中。