基于全视域GA-SVR模型的鱼类行为双目视觉观测系统标定

刘世晶，唐 荣，周海燕，刘兴国，陈 军，王 帅



基于全视域GA-SVR模型的鱼类行为双目视觉观测系统标定

刘世晶1,2，唐 荣1,2，周海燕1，刘兴国1,2，陈 军1,2※，王 帅1

（1. 中国水产科学研究院渔业机械仪器研究所，上海 200092；2. 农业部渔业装备与工程技术重点实验室，上海 200092）

针对大视场水下环境鱼类行为视觉观测系统较难准确标定的问题，该文以双目立体测量系统为例，提出一种基于全视域GA-SVR（genetic algorithm-support vector regression）模型的鱼类行为三维观测系统标定方法。该方法选用具有圆点靶标的方形标定板为标定工具，通过设计具备前后左右移动能力的简易滑动轨道，实现了标定板的全视域空间定位。然后利用HALCON算子获取标定板靶点二维坐标，联立标定板空间位置，构建训练样本集。选取SVR模型对样本集进行训练，对比不同的寻优算法对支持向量回归模型的参数组合寻优结果，选用最优参数分别建立，，轴标定模型。试验结果表明，利用遗传算法进行参数寻优构建的标定模型，其、轴测量均方误差分别为0.959、0.893和4.381 mm，互相关系数分别为0.999 988，0.999 998和0.998 356，优于差分进化算法和粒子群算法参数寻优的标定结果。与传统标定方法比较，该方法单点测量均方误差为1.861 mm，距离测量均方误差为0.706 mm，均低于空气中标定方法（单点均方误差27.75 mm；距离均方误差10.188 mm）和水下测量标定方法（单点均方误差8.215 mm；距离均方误差2.832 mm）的标定结果，有效的提高了鱼类行为视觉观测系统的定位精度。该研究可为鱼类行为量化方法研究和优化提供理论支持和技术参考。

测量；系统；标定；鱼类行为；全视域；视觉系统；模型

0 引 言

鱼类运动轨迹是鱼类行为研究的重要内容，其研究结果能够为鱼类行为量化和分析提供有效的数据支撑[1-2]。目前，观测鱼类运动轨迹常用的手段包括人工、机器视觉和电子标签等方法。其中，机器视觉技术因其非接触、高精度、可量化等优点，已被广泛应用到鱼类运动轨迹测量中[3]。

对鱼类运动轨迹进行量化，视觉测量系统需具备空间定位能力，而对测量系统进行标定是实现相机空间定位的有效途径。目前常用的视觉观测技术包括单目、双目和多目视觉（三个及以上相机）技术，其中单目视觉观测[4]方法主要是利用单个相机对鱼类行为进行观测，适用于水面较低的空间二维观测场景，受本身技术特点限制不能实现鱼类运动的空间三维观测。为了解决这个问题，Laurel等[5]提出了一种结合鱼类投影定位稀疏三维标定方法，徐盼麟等[6-8]提出了一种结合镜面反射的鱼类三维标定定位方法，上述方法需要利用投影或平面镜等方法辅助定位，相机标定复杂、定位精度低，只能适用于特定实验室工况环境。多目视觉技术主要是利用多个相机从不同角度观测鱼类行为。该方法主要是通过建立多个双目相机之间三维几何约束，实现运动准确测量，因此其核心标定方法还是双目视觉标定方法。例如，Santana等[9]沿5～200 m的不同深度安装多组双目视觉系统，构建立体视频观测系统，检测鱼群运动模式和行动规律；Bond等[10]利用多组双目视觉系统构建立体观测网络，监测连片海底管网附近鱼群活动，为研究鱼群和海底基础设施相互影响提供影像资料支持。双目视觉技术是目前最常用的三维观测技术，已被广泛应用在实际生产中的多个领域。在鱼类运动轨迹测量研究方面，Viscido等[11]提出一种分散式双目视觉观测系统，通过布置在鱼缸两边的相机观测鱼类运动行为，实现了鱼类运动轨迹测量，但是由于相机位置分散，较难构建两个相机间有效重叠视域，无法精准标定相机，只能利用2幅二维图像相关性近似构建空间三维关系，导致测量精度较低，无法准确判断鱼类位置；李林波等[12]提出一种结合双目视觉技术和高斯背景建模方法的水下鱼类行为观测系统，实现了对水下环境中的鱼类的定位跟踪，但是此方法采用传统的张氏标定方法[13]，没有考虑水体和玻璃折射对测量精度的影响，降低了系统的观测精度。

目前，现有测量方法虽然都能够实现鱼类行为测量，但是由于相机标定过程没有考虑水下摄像镜头畸变、多层平面折射几何以及观测角度影响，仅能近似定位目标鱼类位置。为了提升观测系统的标定精度，徐杰等[14]提出一种图像转换方法，将水下图像转化成空气中图像进行相机近似标定，张文明等[15]、张强等[16]深入讨论多种光路转化模型，上述方法都对玻璃折射问题进行了近似，忽略了玻璃折射的影响，适用于观测距离远大于玻璃厚度的工况环境，限制了算法的应用场景。利用机器学习方法对相机进行间接标定是近年来的研究热点[17]，延和等[18-20]利用BP神经网络，通过构建二维成像平面与空间三维坐标之间的映射关系，实现相机的间接标定。刘胜等[21-22]将SVM算法引入相机标定，有效提高了算法的训练速度和标定精度。上述基于机器学习的相机间接标定方法，为解决大视场、复杂工况环境的相机标定提供了可行性思路，但是相关研究还是集中于传统的空气标定环境，且应用的标定器材构造复杂，不适用于水下标定环境。

综上所述，目前针对鱼类行为研究，常见的空气中标定方法，没有考虑光线折射、镜头畸变等影响，观测精度较低；而现有水下视频标定技术标定过程较为复杂，且受空气湿度、工况环境等限制不适于搭建高精度标定系统。为了解决这个问题，本文提出一种基于全视域和遗传优化支持向量回归（genetic algorithm-support vector regression，GA-SVR）的鱼类行为双目观测系统标定方法。该方法通过设计具备前后左右移动能力的定位轨道，建立靶标点三维空间坐标与图像二维平面坐标对应关系，以期降低全视域水下标定点三维坐标采样难度。同时，将遗传优化算法和支持向量回归算法结合，构造基于二维图像坐标的水下空间三维坐标预测模型，以期提高鱼类行为视觉观测系统的标定精度。最后，通过和不同寻优模型以及标定算法进行比较，验证模型的准确性。

1 材料与方法

1.1 试验装置

本文设计了如图1所示试验系统，该系统由玻璃鱼缸和水上双目视觉系统组成。其中玻璃鱼缸（长度：1 500 mm，宽度：1 000 mm，高度：1 000 mm）采用高透玻璃制造，玻璃厚度9 mm，工作水深800 mm。双目视觉系统由2个大广角相机组成，焦距6 mm，采样距离850～900 mm。相机采用支架安装，支架固定在鱼缸顶部，可上下左右调整相机位姿。采用非平行双目视觉模型[14]模拟常见的双目观测系统相机安装方式，选择鱼缸长边作为观测平面。此外，为了降低背景噪声干扰，模拟自然水体成像条件，鱼缸其余三面使用黑布遮挡，降低镜面反射影响。

本文设计的试验系统主要用于实验室环境下的鱼类行为观测，但是针对视觉观测系统标定技术研究，系统光路传输原理与自然条件中水上和水下观测时一致，能够满足标定试验测试要求。

1.双目相机 2.相机支架 3.匀光光源 4.鱼缸 5.黑布 6.标定板

HALCON是一套工业级的机器视觉软件，具有丰富的标准算子库，是一种常用的机器视觉集成开发环境[23]。本试验中标定板采用HALCON推出的圆点标定板（如图 1所示），该标定板有49个均匀排列靶点，靶点直径35.5 mm，中心距70 mm，标定板大小为600 mm×600 mm。

1.2 双目系统全视域采样方法

在鱼类行为观测系统中，鱼类在水缸中游动具有不确定性，游动区域覆盖整个水缸空间。由于试验水缸玻璃厚度较大，通过玻璃后光线的径向偏移已经明显改变了光线的方向，因此标定板取样必须尽量涵盖整个观测空间，对鱼类运动区域进行整体采样，建立完备的样本集，有利于提高间接标定下模型的空间适应性。

为了实现整个鱼缸空间标定过程的快速取样，设计了一种移动采样装置（如图2所示），该装置由定位轨道、移动机构和挂接件组成。其中：1）定位轨道内径尺寸为1 300×900 mm，轨道上下厚度为20 mm，单边宽度为50 mm，轨道长轴离鱼缸内壁间距为41 mm，短轴离鱼缸内壁间距为16 mm。采用挂接方式安装在水缸内部，上平面与鱼缸顶部近似等高；2）移动杆长度为1 320 mm，上下厚度为20 mm，宽度为20 mm，通过卡槽固定在定位轨道上；3）沿轨道短轴方向，从短轴起始位置每隔50 mm加工一个卡槽（长度：10 mm，宽度：20 mm，深度：10 mm），共加工17对卡槽；4）沿轨道长轴方向，在移动杆上从长轴起始位置每隔400 mm加工一对卡槽（长度：20 mm，宽度：20 mm，深度：10 mm），每对卡槽间隔550 mm，与移动机构挂臂等宽，共加工3对卡槽；5）移动机构高900 mm，宽550 mm，通过卡槽固定在移动杆上，标定板固定在如图1所示移动机构底端；6）整个移动采样装置采用高精度数控机床加工，加工精度为±0.05 mm，卡槽安装精度为±0.1 mm。相机标定时，将标定板固定在移动杆上（如图1所示），根据卡槽位置分别沿长轴方向移动标定板以及沿短轴方向移动移动杆，并在每个卡槽位置拍摄样本图像，使采集标定板图像能够覆盖整个鱼缸空间，实现全视域采样。

针对大视场全视域采样，HALCON推出的工业级圆点标定板靶标中心距达到70 mm，以此为参照并考虑适当增加样本数量，本文设定移动杆短轴采样距离为50 mm；综合考虑标定板大小和移动机构平移距离，当移动机构沿移动杆平移3次时，样本图像已基本覆盖整个长轴平面，能够保证长轴方向采样范围，因此设定长轴采样距离为400 mm。根据设备尺寸大小，沿短轴方向共设有17对卡槽，其中利用前16对卡槽获取的样本图像用于构建训练集和测试集，最后1对卡槽获取的样本图像用于构建遗传寻优算法的评价样本。此外，为了开展后续鱼类行为观测试验，将在第17卡槽位置后方安放隔水板以便放置水处理填料，因此将第17对卡槽设定为评价样本不会影响后续鱼类行为观测定位效果。

1.定位轨道 2.移动机构 3.卡槽对 4.移动杆 5.挂接件 6.长轴起始位置 7.短轴起始位置

1.3 SVR水下双目系统标定模型

在水下成像过程中，受光线传输介质变化影响，发生折射现象，改变了光线传输路径，针孔成像模型不再适用。水下非平行双目视觉系统成像原理如图3所示，左右像平面坐标系分别用，表示，世界坐标系用OXYZ表示。

注：OUV为左像平面坐标系；O′U′V′为右像平面坐标系；OwXwYwZw为世界坐标系；f为焦距；OXYZ为左像平面世界坐标系。

设标定板某靶点1在世界坐标系下的坐标为(1,1,1)，在像平面成像坐标分别为1(1,1)和1(1,1)，提取图像中标定板上所有靶点位置，可得容量为的靶点图像坐标样本集={(A,A′)}，=1, 2, …。已知标定板靶点相对位置和移动距离，可计算得到所有靶点对应的空间坐标样本集={(P)}，=1, 2, …。联立图像样本集和空间坐标样本集可得到训练样本集={(,)}= {(I,I′)}，其中I=(A,A′)，I′=(P)，=1, 2, …。针对每个坐标轴，分别建立基于训练样本集的ε-SVR回归模型[22]，共建立3个标定模型，其逻辑表达式为:

式中(∙)为非线性映射算子，、分别为超平面法向量和常数项，为回归参数，为惩罚因子，、ξ分别为正负方向松弛变量，s.t.为限制条件。利用最优化方法的对偶原理得到-SVR模型估计的表达式为

式中为核参数，控制函数的径向作用范围。

1.4 遗传算法优化SVR模型参数

遗传算法作为一种实用、高效、鲁棒性强的优化技术应用广泛[24-27]，本文采用遗传算法优化选择SVR参数。针对水下双目相机标定试验，作为训练样本靶标点相互之间既有关联性又有独立性，且训练样本近似涵盖了整个有效视域空间，每一个样本都与训练结果紧密关联，因此传统的基于交叉验证适应度函数不能满足评价要求[28-29]，因此本文在参数寻优过程中增加3个固定位置标定板作为评价样本，利用评价样本均方误差（mean square error）MSE作为适应度函数来对SVR系数进行修订。

针对采用径向基核函数的SVR算法，影响测量精度主要模型参数包括惩罚因子和核函数参数，则优化算法步骤如下：

1）初始化种群：构建一定数量的初始种群，选择实数法对染色进行编码；

2）选择操作：本文选择轮盘赌方法，充分利用适应度函数进行选择操作；

3）交叉操作：由于本文中每个训练样本点都具有较强的独立性，惩罚因子可能在较大参数区间取值，因此采用均匀实数方法作为交叉算子进行两组基因之间的交叉组合，以提高算法的收敛速度。

4）变异操作：针对双目标定过程，由于样本点分布均匀，且在一个坐标轴方向具有较强重叠度，当核函数参数选择过大时，容易出现过拟合现象，因此本文选择较小的变异算子[0.0001，0.01]区间进行变异操作，以维持样本的多样性。

当达到最大迭代次数时，输出最优参数组合。本文对3个标定模型均采用上述遗传算法优化-SVR模型参数。

2 结果分析

2.1 双目标定试验方案设计

仿真试验是使用Halcon 和Matlab R2012b联合编程实现的，其中数据集为采集的标定板靶标像素坐标和空间位置。采样过程如下：

1）安装双目视觉设备和标定板移动装置，调整双目相机位置，使水缸能够完整成像，设备布置如图1所示；

2）将移动杆放置到图2所示短轴起始位置卡槽、移动机构放置到移动杆上长轴起始位置卡槽，以此位置作为采样起点，并设定标定板左下角靶点为世界坐标系原点，拍摄第1帧图像；

3）沿长轴方向根据卡槽位置顺序平移移动机构2次，移动距离400 mm，分别拍摄第2～3帧图像；

4）保持移动机构位置，沿短轴方向平移移动杆50 mm，放置到定位轨道下一个卡槽位置，拍摄第4帧图像；

5）逆向顺序平移移动机构2次，移动距离400 mm，拍摄第5～6帧图像；

部分医学人员认为临床路径减少了自主权，限制了临床思维和创新能力。临床路径是为特定病种的通常情况设计的，考虑到心血管外科疾病已经将不稳定性心绞痛、室间隔缺损、主动脉瓣关闭不全等纳入单病种，但心血管外科还有很多疾病，存在复杂性和个体差异，允许有变异或退出路径，因此在实施临床路径时要引导住院医师善于发现问题、分析变异并及时处理。

6）保持移动机构位置，沿短轴方向平移移动杆50 mm，重复步骤2）～5），直到最后一个卡槽位置停止，完成全视域采样。

根据设备安装布局和标定板尺寸，本次试验设定标定板从左到右可移动距离上限为1 200 mm，移动杆从前到后可移动距离上限为850 mm；完成上述采样过程，样本库将有51对102张图像，选择其中的前47对作为训练集，第48对作为测试集，后3对作为评价样本。由于每张图片有49个靶标点，则前47对图像中共有2 303靶标点作为训练集，第48对图像共有49个靶标点作为测试集，后3对图像共有147个靶标点作为评价样本。

针对全视域标定过程，靶标样本应涵盖整个观测空间，为了保证训练过程的收敛性，需尽量增加训练样本数量，因此，本文选择47对样本作为训练集。由于采样点之间存在一定关联性，边缘采样位置由于关联样本较少，导致边缘位置预测结果精度下降的概率增大，因此本文选择边缘的第48对样本作为测试集，用于验证本文算法的有效性。

此外，为了验证本文方法在参数寻优和降低标定误差方面的有效性，分别采用不同寻优算法和不同标定算法进行对比试验。

2.2 标定结果分析

标定板位置信息通过find_caltab()算子获取，获得标定板位置后，利用算子find_marks_and_pose() 对区域中的圆进行分割，找到圆的个数、周长、坐标位置等应该和标定板描述文件中的一致靶标点[22]。通过上述算子运算可以得到靶标点的像素坐标(U，V，′，′)。本文设定世界坐标系X轴与鱼缸长轴平行、Y轴垂直于鱼缸底部、Z轴与鱼缸短轴平行、原点为标定板起始位置右下靶标点，联立标定板移动距离和靶标点空间分布可得到靶标点的世界坐标系坐标(X，Y，Z)。共有效采集2 352个靶标点。

使用遗传算法对3个坐标系训练集参数进行优化，综合考虑算法运行速度和不同标定模型适应度函数的收敛性，3组寻优样本种群规模和进化代数统一选择为60和200。参数和的搜索范围分别为[1 000，10 000]、[0.000 001，0.000 1]。当迭代达到最大次数后，输出最优组合，得到优化后的模型参数如表1所示。

表1 训练模型优化参数

利用遗传算法确定的参数，分别构建3个坐标系的SVR训练模型，预测世界坐标系中的3个参数，预测结果如表2所示。其中，靶标点包含左、右图像像素坐标和世界坐标等信息，图像坐标值的单位为像素，即靶点在图像中的像素坐标。误差评价采用轴向误差评价和单点误差评价相结合的方法，轴向误差评价采用MSE（均方根误差）函数，单点误差评价采用MSE函数，函数模型如下

式中x、y、z为测量点实际空间坐标，x′、y′、z′为测量点模型预测数据，d为所有测量点在X、Y或Z轴实际空间坐标，d′为所有测量点在X、Y或Z轴模型预测数据。此外，由于m测量精度已经是一个非常好的测量精度，而基于训练模型的预测值不受实际测量精度影响，预测值可以到无限位数，因此为了保证评价精度的有效性，精度误差设定为小数点后3位。

比较3个轴向输出模型的预测结果，发现X，Y轴预测精度相差不大，Z轴预测精度较低，均方误差超过2 mm，最大误差为3.422 mm，这主要是由于在世界坐标系建立过程中，将Z轴方向确定为移动杆运动方向，由于运动最小距离为50 mm，采样间隔较大，导致训练样本量不能涵盖所有运动空间，降低了标定精度。单点的均方误差为1.887 mm，与Z轴测量误差接近，高于X，Y轴测量误差。

2.3 对比分析

2.3.1 不同寻优方法标定结果分析

利用SVR算法进行训练，选择不同参数建立的预测模型，测量准确度存在差异。本文采用径向基核函数进行回归训练，影响测量精度主要模型参数包括惩罚因子，核函数参数。为了比较本文算法的有效性，利用差分进化算法（differential evolution algorithm，DE）、粒子群算法（particle swarm optimization，PSO）以及遗传算法进行参数寻优，分别建立标定模型，以均方根误差、单点误差和互相关系数（式（6））作为评价指标对测试集获得的预测结果进行对比分析，对比结果如图4和表3所示。

表2 训练集标定结果

式中CC(∙)为互相关系数函数，cov(∙)为协方差算子，d为所有测量点在X、Y或Z轴实际空间坐标，d′为所有测量点在X、Y或Z轴模型预测数据，、为样本均值，和′分别为实际空间和预测数据的样本向量。

从图4中可以看出，由遗传算法确定的惩罚因子，核函数参数在测试集各坐标轴预测中误差小，计算得到的世界坐标误差同样较小。比较表3中各寻优算法，本文采用遗传算法进行参数寻优构建的标定模型在均方误差和互相关性方面表现更好。这主要是由于粒子群算法对权值选择以及样本选择较为敏感，而本文方法受采样条件限制，训练样本量较小，导致算法收敛性较差。差分预测算法由于对噪声比较敏感，对于本文测量环境，受设备加工误差影响，定义的实际世界坐标存在随机误差噪声，影响了差分算法的寻优精度。本文采用引入交叉验证机制的遗传算法，提高了算法对于噪声的鲁棒性，此外，由于相机标定从根本上说是一个线性问题，数据不存在较大维度，因此遗传算法在此过程中具有良好的寻优表现。

图4 不同寻优算法标定下测试集误差

Fig 4 Calibration error of test sets with different optimization algorithms

表3 误差分析

2.3.2 传统标定方法与本文方法比较

本文选取常用的鱼类行为观测空气中标定方法[30]和水下测量标定方法[31]与本文方法进行比较。针对空气标定方法，首先使用同型号相机搭建一套双目视觉系统，相机间距和拍摄角度与本文试验系统近似。针对水下标定方法，仍然采用本文的双目系统进行采样，并分别采用游标卡尺和插针法确定玻璃厚度和折射率。其中玻璃厚度为9.08 mm，玻璃折射率为1.58，水体折射率为1.34。试验时：1）按照文献[30]和[31]标定要求分别在空气中和鱼缸内采集圆点标定板样本，采样范围与鱼缸内部空间大小一致；2）利用本文中的HALCON算子分别提取2组相机中的图像二维坐标，统一像素点提取精度；3）采用文献[30]和[31]中的标定方法，分别标定2组双目系统；4）利用2组标定完成的相机拍摄移动采样装置起始位置处的靶标图像，分别计算图像左下角靶标点空间坐标，然后以此点为世界坐标系原点，通过坐标系平移和旋转，将2组双目测量系统定义世界坐标系与本文初始定义的世界坐标系重合。在统一世界坐标系下以本文测试集样本为试验对象开展对比试验，试验结果如图5所示，其中图5a为靶标点单点误差，图5b为标定板2个靶标点预测值与实际值之间的距离误差。

图5 三种标定方法比较

从图5中可以看出，采用本文标定方法在单点测量和距离测量2个方面标定误差都最小，采用空气中标定方法标定误差最大，其中空气中标定方法在单点测量方面最大误差超过5 cm，已经严重影响下一步行为分析效果。采用水下测量标定方法，单点测量结果明显优于空气中标定方法。从图5b可以看出，空气中标定方法和水下测量标定方法两点距离测量误差明显小于单点测量误差，分别为10.188 mm和2.832 mm，水下测量标定方法距离测量误差略高于本文方法。对比分析不同标定方法测量结果，空气中标定方法由于没有考虑玻璃和水体折射，在空间位置上测量偏差较大，但是由于光线传输线性特性，在测量2点距离时由于折射方向存在互相抵消现象，降低了2点之间的距离测量误差；水下测量标定方法，综合考虑了玻璃厚度与光线折射的影响具有较好的测量精度，但是受玻璃加工工艺、水体浑浊度变化以及大视场镜头畸变等相互影响，很难准确确定标定过程中的定量参数，导致存在较大定位测量误差，但是由于标定过程类似于一个线性求解过程，降低了测距误差。本文方法采用SVR算法对相机进行标定，能够有效降低随机误差对测量精度的影响，采用全视域大样本量训练标定模型，提高了算法对镜头畸变、折射率变化的适应性，提高了算法的鲁棒性，测距误差为0.706 mm。

3 讨 论

1）在鱼类行为分析研究中，准确定位和量化鱼类行为是开展行为分析的基础，本试验针对鱼类行为视觉观测系统开展了标定技术研究，受设备加工精度影响，存在一定的标定误差，但是针对鱼类运动行为分析，毫米级误差在本质上不影响鱼类行为量化精度，属于可容忍误差范围。此外，受水体和透光介质折射影响，传统的针孔成像原理不能适用于水下成像环境，本文提出的标定方法，可有效降低光线折射、镜头畸变对标定精度的影响，提高标定算法的普适程度，降低标定过程对复杂精密设备的依赖程度，降低标定算法复杂度。

2）复杂环境相机标定不可避免地存在算法适应性问题，针对水下标定场景，影响光线线性传输的主要因素是水体浊度和透光介质密度，传统的水下标定方法主要依赖人工方法测量光线传输介质的折射率，当水体分层较多时，很难准确测量相关参数。为了降低标定过程的复杂程度，本文设计了一种轨道式标定板定位方法，该方法通过定位标定板相对位置实现相机标定，无需考虑轨道的安装精度。在实际工况环境下，只需定制一个简易化移动装置，既能满足标定过程采样要求。

3）鱼类的游泳行为是一个空间性行为，针对鱼类行为研究，单一双目相机很难满足运动全景测量要求，特别是当目标对象垂直于双目系统基线移动时，双目相机无法直接定位目标位置。本文以双目相机为例，开展标定方法研究，提出的标定原理能够满足全景观测多目相机标定要求，但是当相机数量较多时，单一的轨道式定位方法将不能满足标定要求，因此如何利用相机之间相对位置关系及空间特定参照物简化多目相机标定过程，将是下一步全景行为观测需要开展的重要工作。此外，基于单目技术的深度信息测量已经成为国内外研究热点[32]，如果能用单个相机获取鱼类运动轨迹，将大大降低多维观测的系统复杂程度，因此如何利用单目相机进行毫米级精准测距[33]，将是本研究另一个工作重点。

4）本文采用的全视域GA-SVR标定方法，针对水下行为观测环境，在提高标定精度，降低标定复杂度、提升方法适用度等方面具有一定优势，但是针对流动水体，由于水体折射率不断变化，单一正向的标定测量方法不能满足鱼类行为观测的需要，因此如何利用水下地形特点或固定标志物对标定参数进行实时修正，是本研究下一步需要开展的主要工作。

4 结 论

针对鱼类行为观测研究中相机无标定或较难标定的情况，提出了一种基于全视域GA-SVR鱼类视觉观测系统标定方法，试验结果表明：

1）该方法在水下观测环境中具有较好的单点测量精度和距离测量精度，在49个测试样本中，单点测量精度均方误差为1.861 mm，距离测量误差为0.706 mm，相比于传统的空气中标定方法（单点均方误差27.75 mm；距离均方误差10.188 mm）和水下测量标定方法（单点均方误差8.215 mm；距离均方误差2.832 mm），有效提升了鱼类行为观测中双目测量系统的标定精度；

2）该方法使用卡槽式运动轨道定位训练样本，降低了采样过程对高精度设备的依赖程度，简化了采样过程，增强了标定算法的广适性；

3）本文采用引入交叉验证机制的遗传算法对模型参数进行寻优，提高了算法对随机噪声的鲁棒性，降低了设备加工误差对标定精度的影响；利用大样本量训练标定模型, 提高了算法对镜头畸变、折射率变化的适应性。

受采样间隔限制，相机测量误差还是超过1 mm，下一步研究将尝试通过采样轨道自动化升级，增加训练样本数量和覆盖范围，提升标定模型精度。

[1] Kuroda Toshikazu. A system for the real-time tracking of operant behavior as an application of 3D camera[J]. Journal of the Experimental Analysis of Behavior, 2018, 110(3): 1－23.

[2] 周应祺，王军，钱卫国，等. 鱼类集群行为的研究进展[J]. 上海海洋大学学报，2013，22(5)：734－743. Zhou Yingqi, Wang Jun, Qian Weiguo, et al. Review of fish schooling behavior study[J]. Journal of Shanghai Ocean University, 2013, 22(5): 734－743. (in Chinese with English abstract)

[3] 刘世晶，王帅，陈军，等. 基于改进主成分分析和AdaBoost算法的运动虾苗识别方法[J]. 农业工程学报，2017，33(1)：212－218. Liu Shijing, Wang Shuai, Chen Jun, et al. Moving larval shrimps recognition based on improved principal component analysis and AdaBoost[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 212－218. (in Chinese with English abstract)

[4] Matthew D Campbell, Joseph Salisbury, Ryan Caillouet, et al. Camera field-of-view and fish abundance estimation: A comparison of individual-based model output and empirical data[J]. Journal of Experimental Marine Biology and Ecology, 2018, 501: 46－53.

[5] Laurel B J, Laurel C J, Brown J A, et al. A new technique to gather 3-D spatial information using a single camera[J]. Journal of Fish Biology, 2005, 66(2): 429－441.

[6] 徐盼麟，韩军，童剑锋. 基于单摄像机视频的鱼类三维自动跟踪方法初探[J]. 水产学报，2012，36(4)：623－628. Xu Panlin, Han Jun, Tong Jianfeng. Preliminary studies on an automated 3D fish tracking method based on a single video camera[J]. Journal of Fisheries of China, 2012, 36(4): 623－628. (in Chinese with English abstract)

[7] Gilbert A, Bonifasius P S, Stevhen J, et al. A simple setup to serform 3D locomotion tracking in zebrafish by using a single camera[J]. Inventions, 2018, 3(1): 11－14

[8] Mao J F, Xiao G, Sheng W G, et al. A 3D occlusion tracking model of the underwater fish targets[C]//IEEE International Conference on Electro/information Technology, 2015: 82－86.

[9] Santana Garcon J, Newman S J, Harvey E S. Development and validation of a mid-water baited stereo-video technique for investigating pelagic fish assemblages[J]. Journal of Experimental Marine Biology and Ecology, 2014, 452: 82－90.

[10] Bond T, Partridge J C, Taylor M D, et al. Fish associated with a subsea pipeline and adjacent seafloor of the North West Shelf of Western Australia[J]. Marine Environmental Research, 2018, 141: 53－65.

[11] Viscido S V, Parrish J K, Grünbaum D. Individual behavior and emergent properties of fish schools: A comparison of observation and theory[J]. Marine Ecology Progress Series, 2004, 273: 239－249.

[12] 李林波，陈从平，吴喆，等. 基于双目视觉的鱼类游动三维轨迹跟踪[J]. 三峡大学学报：自然科学版，2018，40(2)：95－99. Li Linbo, Chen Congping, Wu Zhe, et al. Three-dimensional trajectory tracking of fish swimming based on binocular vision[J]. Journal of China Three Gorges University: Natural Science Edition, 2018, 40(2): 95－99. (in Chinese with English abstract)

[13] Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330－1334.

[14] 徐杰，王宗义，刘涛，等. 水下图像的校正[J]. 黑龙江科技学院学报，2008，18(2)：133－136. Xu Jie, Wang Zongyi, Liu Tao, et al. Correction for underwater image[J]. Journal of Heilongjiang Institute of Science and Technology, 2008, 18(2): 133－136. (in Chinese with English abstract)

[15] 张文明，邓茜雪，张强，等. 基于非平行系统的水下图像转化模型[J]. 光子学报，2015，44(2)：158－162. Zhang Wenming, Deng Xixue, Zhang Qiang, et al. Non-parallel system underwater image transformation model[J]. Acta Photonica Sinica, 2015, 44(2): 158－162. (in Chinese with English abstract)

[16] 张强，王鑫，李海滨. 基于粒子群优化的水下成像系统标定[J]. 光子学报，2014，43(1)：109－113. Zhang Qiang, Wang Xin, Li Haibin. Calibration algorithm of underwater imaging system based on PSO[J]. Acta Photonica Sinica, 2014, 43(1): 109－113. (in Chinese with English abstract)

[17] Tu Junchao, Zhang Liyan. Laser projection positioning of spatial contour curves via a galvanometric scanner[J]. Multimedia Tools and Applications, 2018, 10696(25): 17－121.

[18] 延和，吴斌. 基于改进型神经网络的双目摄像机标定[J]. 西南科技大学学报，2013，28(4)：66－70. Yan He, Wu Bin. Improved neural network for binocular camera calibration[J]. Journal of Southwest University of Science and Technology, 2013, 28(4) : 66－70. (in Chinese with English abstract)

[19] 刘小娟，李学军，王文韫，等. 基于神经网络的虚拟靶标大视场双目相机标定技术[J]. 光学技术，2017，43(4)：314－318. Liu Xiaojuan, Li Xuejun, Wang Wenyun, et al. Large-scale binocular camera calibration combining neural network with virtual target[J]. Optical Technique, 2017, 43(4): 314－318. (in Chinese with English abstract)

[20] 金伟龙，周美英. 基于不同BP网络层数的双目立体视觉标定研究[J]. 光学技术，2015，41(1)：72－76. Jin Weilong, Zhou Meiying. Study on calibration of binocular stereovision based on BP neural network with different layers[J]. Optical Technique, 2015, 41(1): 72－76. (in Chinese with English abstract)

[21] 刘胜，傅荟璇，王宇超. 基于分割区间LS-SVM的摄像机标定[J]. 计算机工程，2009，35(24)：179－181. Liu Sheng, Fu Huixuan, Wang Yuchao. Camera calibration based on divided region LS-SVM[J]. Computer Engineering, 2009, 35 (24): 179－181. (in Chinese with English abstract)

[22] 张从鹏，刘重阳. 基于机器视觉的UVW定位系统[J]. 机床与液压，2018，46(14)：108－110，127. Zhang Congpeng, Liu Chongyang. UVW positioning system based on machine vision[J]. Machine Tool and Hydraulics, 2018, 46(14): 108－110, 127. (in Chinese with English abstract)

[23] 尹晓艮，张晓芳，张伟超，等. 基于光场数字重聚焦的三维重建方法研究[J]. 光电子·激光，2015，26(5)：986－991. Yin Xiaogen, Zhang Xiaofang, Zhang Weichao, et al. Study on 3D reconstruction based on light field digital refocusing[J]. Journal of Optoelectronics·Laser, 2015, 26(5) : 986－991. (in Chinese with English abstract)

[24] 崔东文. 几种智能算法与支持向量机融合模型在中长期月径流预测中的应用[J]. 华北水利水电大学学报，2016(5)：51－57. Cui Dongwen. Application of several intelligent algorithms and support vector machine fusion model in medium and long term runoff forecasting[J]. North China Institute of Water Conservancy and Hydroelectric Power, 2016(5): 51－57. (in Chinese with English abstract)

[25] 孙俊，莫云南，戴春霞，等. 基于介电特性与IRIV-GWO-SVR算法的番茄叶片含水率检测[J]. 农业工程学报，2018，34(14)：188－195. Sun Jun, Mo Yunnan, Dai Chunxia, et. al. Detection of moisture content of tomato leaves based on dielectric properties and IRIV-GWO-SVR algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 188－195. (in Chinese with English abstract)

[26] 段青玲，张磊，魏芳芳，等. 基于时间序列GA-SVR的水产品价格预测模型及验证[J]. 农业工程学报，2017，33(1)：308－314. Duan Qingling, Zhang Lei, Wei Fangfang, et. al. Forecasting model and validation for aquatic product price based on time series GA-SVR[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 308－314. (in Chinese with English abstract)

[27] 王海军，柳敏燕，高娟. 利用遗传算法和支持向量机测算农用地理论单产和可实现单产[J]. 农业工程学报，2013，29(19)：244－252. Wang Haijun, Liu Minyan, Gao Juan. Calculation of theoretical and accessible yields of agricultural land based on geneticalgorithm and support vector machine[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(19): 244－252. (in Chinese with English abstract)

[28] 孙俊，张国坤，毛罕平，等. 基于介电特性与回归算法的玉米叶片含水率无损检测[J]. 农业机械学报，2016，47(4)：257－264. Sun Jun, Zhang Guokun, Mao Hanping, et al. Nondestructive moisture content detection of corn leaves based on dielectric properties and regression algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(4): 257－264. (in Chinese with English abstract)

[29] Foucard R, Essid S, Richard G, et al. Exploring new features for music classification[C]//IEEE Transportation on 2013 14th International Workshop on Image Analysis for Multimedia Interactive Services, 2013: 1－4.

[30] 果佳良. 基于计算机视觉的鱼类三维行为监测研究及应用[D]. 秦皇岛: 燕山大学，2011. Guo Jialiang. Fish Behavior of Three-Dimensional monitoring Research and Application Based on Computer Vision[D]. Qinhuangdao: Yanshan University, 2011. (in Chinese with English abstract)

[31] 高新浩，黄茹楠，杨育林. 水下相机标定算法研究[J]. 燕山大学学报，2014，38(3)：252－258. Gao Xinhao, Huang Runan, Yang Yulin. Study on underwater camera calibration algorithm[J]. Journal of Yanshan University, 2014, 38(3): 252－258. (in Chinese with English abstract)

[32] He Lei, Wang Guanghui, Hu Zhanyi. Learning depth from single images with deep neural network embedding focal length[J]. IEEE permission On Image Processing, 2018, 27(9): 4676－4689.

[33] 黄小云，高峰，徐国艳，等. 基于单幅立式标靶图像的单目深度信息提取[J]. 北京航空航天大学学报，2015，41(4)：649－655. Huang Xiaoyun, Gao Feng, Xu Guoyan, et al. Depth Information extraction of on-board monocular vision based on a single vertical target image[J]. Journal of Beijing University of Aeronautics and Astronautics, 2015, 41(4): 649－655. (in Chinese with English abstract)

Calibration for fish behavior binocular visual observation system based on GA-SVR full vision field model

Liu Shijing1,2, Tang Rong1,2, Zhou Haiyan1, Liu Xingguo1,2, Chen Jun1,2※, Wang Shuai1

(1.,,200092,; 2.,,200092,)

For reducing the calibration error and improving the measurement accuracy of fish behavior observation system, a binocular calibration method based on genetic algorithm-support vector regression (GA-SVR) is proposed to solve the problem of image distortion and light refraction, and realize the indirect calibration of underwater large field of view. In this paper, a standard board with 49 uniformly arranged circular targets points developed by HALCON is chosen for calibration. The diameter of the target is 35.5 mm, the center distance of two targets is 70 mm, and the size of the calibration board is 600 mm×600 mm. Furthermore, in order to reduce the dependence on precision instruments for full-view sampling, a sliding track with bidirectional mobile positioning ability is designed, which is manufactured by the high precision CNC(computerized numerical control) tool with accuracy of 0.05 mm. And along the short axis of the track, 17 pairs of slots are machined at 50 mm intervals to locate the calibration board longitudinal moving distance. A transverse moving bar is erected in the slots, and on which 3 pairs of slots are machined at 400 mm intervals. According to the slot positions, the calibration board is moved along the long axis and the moving rod is moved along the short axis respectively. Sample images are acquired at each slot position, so that the image of the calibration board can cover the whole space of fish tank. The calibration board is used as the basis to collect parallax coordinates and world coordinates, and then the complete sample sets are established in the entire effective vision field of the binocular system. The parallax coordinates of the target points are acquired by Halcon operators, and the relative position information of the calibration board is acquired according to the position of sliding track. The samples of target point used in this study include 2 352 targets from all 49 sample images. The SVR is selected to train the sample set, and three decision function with mathematical expression are established with model parameters calculated by the genetic algorithm. In this article the differential evolution(DE) algorithm, particle swarm optimization(PSO) algorithm and genetic algorithm(GA) are chosen to optimize the SVR parameters, and establish the calibration models respectively. The root mean square error(RMSE), single point error and cross-correlation coefficient are used as evaluation indicators. Based on evaluation results the optimal parameters are selected to establish the position calibration model in,,axis respectively. Experimental results show that the genetic algorithm has better optimization effect than the other two algorithms. The mean square errors acquired of,andaxis are 0.959, 0.893 and 4.381 mm, and the correlation coefficients are 0.999 988, 0.999 998 and 0.998 356, respectively. Compared with traditional calibration methods, the single-point mean square error and distance mean square error of proposed method are 1.861 and 0.706 mm, which are lower than that of calibration method in air (single-point mean square error of 27.75 mm; distance mean square error of 10.188 mm) and underwater calibration methods (single-point mean square error of 8.215 mm; distance mean square error of 2.832 mm). This study could provide reference for quantitative methods of fish behavior.

measurements; systems; calibration; fish behavior; full vision field; visual observation system; models

2018-11-22

2019-02-24

国家重点研发计划（2017YFD0701705）；中国水产科学研究院中央级公益性科研院所基本科研业务费专项资金项目（2016HY-ZD14）

刘世晶，助理研究员，主要从事渔业信息化、图像处理、模式识别和机器视觉相关领域研究。Email：liushijing@fmiri.ac.cn

陈军，研究员，主要从事数字渔业相关领域研究。 Email：chenjun@fmiri.ac.cn

10.11975/j.issn.1002-6819.2019.06.022

S951.2

A

1002-6819(2019)-06-0181-09

刘世晶，唐 荣，周海燕，刘兴国，陈 军，王 帅. 基于全视域GA-SVR模型的鱼类行为双目视觉观测系统标定[J]. 农业工程学报，2019，35(6)：181－189. doi：10.11975/j.issn.1002-6819.2019.06.022 http://www.tcsae.org

Liu Shijing, Tang Rong, Zhou Haiyan, Liu Xingguo, Chen Jun, Wang Shuai. Calibration for fish behavior binocular visual observation system based on GA-SVR full vision field model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(6): 181－189. (in Chinese with English abstract) doi：10.11975/ j.issn.1002-6819.2019.06.022 http://www.tcsae.org