基于无人机图像的中华绒螯蟹质量估算研究

宦 娟，李明宝，徐宪根，曾一鸣，史 兵，张勤兰

（1.常州大学计算机与人工智能学院，江苏常州 213164；2.常州市环境科学研究院，江苏常州 213022；3.溧阳市水乡特种水产养殖专业合作社，江苏常州 213300）

中华绒螯蟹（Eriocheir sinensis），俗称河蟹、毛蟹、大闸蟹等，是我国特有的水产珍品，具有极高的经济及医用价值［1］。近年来，随着水产养殖技术的不断发展，中华绒螯蟹养殖和集约化程度得到不断提高。精准的质量测量可为养殖者生产调控和养殖产业结构调整提供科学依据，但由于中华绒螯蟹养殖的特殊性，在质量估算方面存在着一定的困难。传统的质量测量方法是定期捕获部分中华绒螯蟹进行人工测量，此过程易造成应激反应［2］，导致部分蟹爪脱落，损伤中华绒螯蟹，影响中华绒螯蟹生长［1］。

近年来，由于无人机速度快、效率高，且具有图像实时传输、姿态实时监控等优点，被广泛地应用于农业研究中。刘家欢等［3］利用无人机拍摄大面积种植的小麦冠层对小麦茎叶快速诊断。ZHANG等［4］利用无人机采集的视觉与光谱图像对棉花产量进行预测。乔浪等［5］利用无人机拍摄玉米冠层图像并结合BP神经网络对玉米冠层叶绿素含量进行检测，为田间作物长势评价和精细化管理提供了技术支撑。研究者们运用计算机视觉图像技术对图像信息进行分析，提取图像特征，获取相关信息。张超等［6］与唐杨捷等［7］利用计算机视觉技术结合传统的产量预测方法对三疣梭子蟹（Portunus trituberculatus）质量进行了预测。

综合无人机的优势和中华绒螯蟹无应激质量测量需求，本文提出了基于无人机图像的中华绒螯蟹质量估算方法。利用无人机获取中华绒螯蟹图像，运用计算机视觉技术，对图像进行清晰化、轮廓及其特征提取，选取中华绒螯蟹甲壳的宽与长作为参数，计算甲壳面积，建立质量估算模型。

1 材料与方法

1.1 实验材料

实验数据样本采集自江苏省常州市渔业科技示范基地，基地占地约10 hm2。位于江苏省南部（119°08′～120°12′E、31°09′～32°04′N），隶属长江下游平原，所在的气候为亚热带季风气候。选取基地内的养殖池作为实验场所，每个养殖池占地0.1 hm2，水深0.8 m，，每个养殖池配备水质自动监测仪，实时获取温度、pH和溶解氧等水质信息。养殖池中溶解氧≥5 mg·L-1，透明度≥40 cm，pH 7.5±0.3。常州渔业示范基地主要养殖的中华绒螯蟹品种为“诺亚一号”与“诺亚二号”，每个养殖池里养殖2000只中华绒螯蟹。本次实验针对品种“诺亚一号”进行研究。

1.2 实验方法

1.2.1 实验装置

实验数据采集时间为2018年7月1日至12月31日，实验采集中华绒螯蟹质量、甲宽、甲长及图像。获取图像的装置为大疆无人机“御”MavicAir。无人机具体参数如下：4翼机身净重430 g，展开时长、宽、高为168 mm、184 mm、64 mm，对焦轴距213 mm，飞行速度25 km·h-1，续航时间为21 min，搭载3轴云台，可控转动范围俯仰-90°～＋17°（可扩展），横滚-30°～＋30°，角度抖动量±0.005。相机镜头FOV85°（24mm格式等效），原始图像分辨率3840×2160。

1.2.2 实验方案

中华绒螯蟹质量估算实验分为3个步骤，步骤一：用游标卡尺测量中华绒螯蟹的甲长与甲宽，测量后在甲壳部贴上序号标注；步骤二：将标注后的中华绒螯蟹放入电子秤中，称其体质量；步骤三：将称重后的中华绒螯蟹放在养殖池斜坡上，操作无人机进行拍摄，获取单个中华绒螯蟹图像。为避免风速对无人机飞行稳定度的影响，本实验选择的时间均为天气晴朗、风速较小或无风的时间段。实验时，无人机飞行的高度为3 m，该无人机噪声较小且无人机底部搭载3轴云台，配置的摄像头可对运动的物体抓拍。为使实验获取的图像为正射影像，即云台摄像头与养殖池斜坡成垂直角度，拍摄时调制云台摄像头角度至俯角63°，操控无人机沿着养殖池斜坡飞行并对中华绒螯蟹进行抓拍。本实验共采集120张图像，其中84张图像用于质量估算模型研究，36张图像用于质量估算模型验证。拍摄的中华绒螯蟹图像如图1所示。

图1 无人机拍摄中华绒螯蟹图像Fig.1 Image of Eriocheir sinensis taken by UAV

1.3 中华绒螯蟹图像处理与特征提取

1.3.1 中华绒螯蟹图像处理流程

图像处理过程主要分为图像预处理、目标清晰化、图像更新和边缘检测提取4个部分。中华绒螯蟹目标图像清晰化为整个过程的核心，它为后续的图像特征提取提供良好的支撑。图像处理过程在python开发环境下结合OpenCV库编写完成，具体过程如下：

1）图像预处理分为3个步骤：几何校正、图像模糊化和目标区域提取。

2）提取出目标区域后，采用维纳滤波对目标区域进行清晰化处理。

3）进行图像更新处理，将图像模糊化后的目标区域与清晰化处理后的目标区域替换。

4）应用Canny边缘检测算子进行中华绒螯蟹轮廓提取。

1.3.2 中华绒螯蟹图像预处理

由于现实中的光照条件以及无人机在飞行过程中存在许多不可抗力因素的影响，在进行图像处理前需要对图像进行几何校正、图像模糊化、目标区域提取等预处理操作［8-10］。

无人机体积较小，超低空拍摄时，由于风力或操作抖动等因素影响，会产生图像倾斜等问题，因此，在图像处理前需对图像进行几何校正［11-12］。几何校正主要有基于控制点和基于影响特征的校正。本实验地点主要为中华绒螯蟹养殖池，范围较小，且易寻找控制点，因此，本文选择基于控制点的几何校正法。养殖池斜坡可看做一个矩形，选择矩形的左上、右上、左下以及右下4个顶点为控制点。

中值滤波是一种非典型滤波，其基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，让该点周围的像素点值接近真实的值，从而消除孤立的噪声点［13-14］。图像模糊化算法关键在于确定滤波模板，一般滤波模板均为二维模板。本文经过实验最终确定滤波模板大小为19×19个像素点。

中华绒螯蟹目标区域提取过程利用GrabCut算法进行交互式前景提取。GrabCut算法首先需要用一个矩形框将图像中前景框住，然后进行迭代式分割，直至达到分割效果为止［15-16］。由于本实验采集的图像中中华绒螯蟹形状各不相同，无法统一确定目标区域，所以本文利用交互式程序确定前景区域，即利用人为操作框取目标前景。

1.3.3 目标清晰化

利用图像复原技术，对提取出的目标区域图像进行复原，从而将目标图像清晰化。图像复原是利用退化过程的先验知识恢复图像本来面目的方法，其过程可以看作为图像退化的逆向过程［17-18］。图像复原首先对图像退化过程进行适当的估计，在此估计基础上得出退化模型，根据退化模型对图像进行拟合，直至达到最优结果。图像复原的基本过程如流程图2所示。逆滤波与维纳滤波是应用于图像复原技术中最广泛的复原滤波，本实验分别采用逆滤波与维纳滤波对中华绒螯蟹目标进行复原，结果分别如图3、图4所示。对比两幅图的复原效果，维纳滤波比逆滤波对目标图像的复原效果更好，因此，本实验选择使用维纳滤波作为复原滤波。

图2 图像复原流程图Fig.2 Image restoration flow chart

图3 逆滤波复原图像Fig.3 Image restoration by inverse filtering

图4 维纳滤波复原图像Fig.4 Image restoration by Wiener filter

1.3.4 中华绒螯蟹图像更新

本过程将利用图4对目标中华绒螯蟹区域进行更新。首先，利用python中OpenCv库的copyMakeBorder边缘填充函数，对图4上下左右分别进行填充，填充后的图像大小为800×600。其次，确定图像中目标区域所在位置，可由步骤1.3.2得知。最后将模糊化图像中目标中华绒螯蟹区域RGB值与填充图像中目标区域RGB值替换。

1.3.5 Canny边缘检测

Canny边缘检测算法是边缘检测的一种标准算法，利用Canny边缘检测算法可有效地提取出中华绒螯蟹的边缘轮廓［19］。Canny边缘检测的步骤分为：灰度化、高斯检测、调用Canny函数寻找强度梯度、边界清晰化、设置双阙值［20-21］。

2 结果与分析

2.1 中华绒螯蟹轮廓提取

利用OpenCV库中封装好的Canny函数，编写程序时需设置Canny函数双阙值。本文经多次实验，最终确定阙值threshold1为200像素梯度值，threshold2为300像素梯度值。根据Canny边缘检测的结果，提取出的中华绒螯蟹边缘特征由甲长与甲宽组成的矩形区域，经膨胀算法［22］处理后，如图5所示。

图5 中华绒螯蟹边缘特征Fig.5 Edge characteristics of Eriocheir sinensis

2.2 中华绒螯蟹参数获取

2.1提取出的中华绒螯蟹边缘特征是由甲长与甲宽组成的矩形区域。利用公式L＝l×V计算图测甲宽和甲长。式中，L为图测甲长甲宽，l为甲长甲宽像素点，V为中华绒螯蟹图像中单个像素点长度。经过计算，V＝0.034 cm·像素点-1。部分图测甲长甲宽计算结果如表1所示，笔者选择相对误差作为衡量图测参数与实测参数之间的误差。

从表1中可以看出，图测甲长与实测甲长的相对误差最大值为6.8%，最小值为0.4%，这说明，图测甲长接近中华绒螯蟹的实测甲长，计算较为精准。图测甲宽与实测甲宽的相对误差最大值为11.0%，最小值为0.2%，图测甲宽计算结果误差较大，但仍在可接受的误差范围内。为进一步确定图像计算结果的精确度，随机抽取30张中华绒螯蟹图像，经过计算得出甲长与甲宽，图6为部分中华绒螯蟹的无人机图像计算结果与实际人工测量对比。

表1 中华绒螯蟹的无人机图像计算结果与实际人工测量值Tab.1 UAV image calculation results and actual manual measurement of Eriocheir sinensis

从图6可以看出，无人机中华绒螯蟹图像计算结果与人工实际测量数据拟合程度较高。经过计算，图测甲长与实测甲长的相对误差平均值为2.93%，图测甲宽与实测甲宽的相对误差平均值为5.40%，误差较小。利用公式S＝L×W最后计算出中华绒螯蟹甲壳的像素点面积。式中，S表示甲壳的像素点面积（cm2），L表示甲壳的图测长度，W表示甲壳的图测宽度。

图6 中华绒螯蟹图像计算结果与人工实际测量数据对比Fig.6 Comparison between calculation results of Eriocheir sinensis image and actual manual measurement

2.3 中华绒螯蟹质量估算

利用本文提及的算法对84张图像进行处理并经过计算得出甲壳像素点面积，将甲壳像素点面积与实测体质量作为参数，分别利用线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归这5种回归模型，得出甲壳像素点面积与中华绒螯蟹质量的关系。

为了比较线性回归、二次多项式回归、对数回归、幂函数回归以及指数回归等5种回归模型的建模效果，本文选择以决定系数R2和自相关系数P值作为衡量模型的标准。各模型计算结果如表2所示。由于计算出的各模型自相关系数P值均大于0.01，所以为了进一步确定每一个模型的预测精度，随机抽取30条数据，将数据中的甲壳面积S作为未知参数x代入表2中的各个模型，对预估结果y和实测数据M进行对比，取绝对误差和相对误差作为衡量各个回归模型预测精准度的标准，对比结果如表3所示。

表2 5种中华绒螯蟹质量回归模型及评定系数Tab.2 Five regression models and evaluation coefficients of Eriocheir sinensis mass

表3 中华绒螯蟹质量回归模型精度分析Tab.3 Accuracy analysis of regression model for Eriocheir sinensis mass

对表2进行分析发现，线性回归模型、二次多项式回归模型以及幂函数回归模型的拟合程度较高，决定系数均大于0.9。对数回归模型和指数回归模型的决定系数相对较低，其决定系数均小于0.9。表3中，笔者主要以绝对误差的平均值和相对误差的平均值来比较5种回归模型的预测效果。对表3进行数值分析发现，指数回归模型的绝对误差平均值为16.0，远远大于其他模型，这说明指数回归模型的预测精度最差。对数回归模型的相对误差平均值为9.1，大于其他模型，这说明对数回归模型的预测精度较差。线性回归模型、二次多项式回归模型和幂函数回归模型的绝对误差平均值和相对误差平均值较为接近。但是，幂函数回归模型的绝对误差最大值和相对误差最大值分别为16.1和12.4，分别比线性回归模型小4.1和7.2，说明线性回归模型与幂函数回归模型相比，幂函数回归模型的预测精度更高。表2中幂函数回归模型和二次多项式回归模型的决定系数，幂函数回归模型的决定系数为0.9678，远大于二次多项式回归模型的决定系数。综上对表2与表3的分析，发现幂函数回归模型的决定系数和预测精度均优于其他模型。因此，本文选择幂函数作为中华绒螯蟹质量估算模型。

2.4 中华绒螯蟹质量估算模型分析

由2.3中华绒螯蟹质量估算可知，幂函数回归模型的估算效果最好。为了进一步确定幂函数回归模型的估算精度。将用于验证中华绒螯蟹质量估算模型的36张图像经过本文提及的算法处理后，计算出甲壳的图像面积S，将甲壳图像面积S作为未知数x代入幂函数回归模型中。本文选择平均绝对误差（MAE）、均方根误差（RMSE）以及相关系数（R）作为模型评价标准。MAE可以反映估算值误差的实际情况，RMSE可以用来衡量实际值与估算值之间的偏差，R可以衡量实际值与估算值之间的总体相关性，R越接近于1说明实际值与估算值之间的相关性越高，整体的估算精度也越高。

幂函数模型中华绒螯蟹质量估算结果如图7所示。图中蓝色曲线为中华绒螯蟹质量实际测量值，黄色曲线为幂函数模型预估结果值，从图7中可以看出，幂函数模型预估结果值大部分接近于中华绒螯蟹质量的实际测量值。经过计算，幂函数模型预估结果的平均绝对误差（MAE）、均方根误差（RMSE）以及相关系数（R）分别为14.4722、17.6186、0.9465，从相关系数R可以看出模型整体的预测精度较高，而MAE与RMSE误差均较大，说明部分中华绒螯蟹质量预估结果与实际质量偏差较大。原因在于，本文实验时间为6月至12月，中华绒螯蟹质量分布不统一，后续研究可增加实验样本容量。结合图7与模型函数评价标准，幂函数可作为中华绒螯蟹质量估算模型，可满足中华绒螯蟹质量测量的需要。

图7 幂函数模型中华绒螯蟹质量估算结果Fig.7 Predicted results of Eriocheir sinensis mass by power function model

3 小结

针对传统中华绒螯蟹质量测量方法对检测人员造成误伤、对中华绒螯蟹造成应激反应、估测精度不高等问题，本文提出了基于无人机图像的中华绒螯蟹质量预估的方法。

利用无人机获取中华绒螯蟹图像，运用计算机视觉技术提取中华绒螯蟹特征作为参数估算中华绒螯蟹质量的方法具备一定的可行性。针对中华绒螯蟹质量预估的问题，本研究提出单个幂函数中华绒螯蟹质量估算模型，其拟合决定系数R2为0.9678，自相关系数P＜0.01，在测试样本中的相关系数R为0.9465。估算结果表明，该模型对中华绒螯蟹质量估算具有一定的适用性，可为中华绒螯蟹质量测量提供参考。由于中华绒螯蟹在养殖池岸边的高密度移动，在无人机采集到的图像中会出现重叠问题，使得图像分割过程较为复杂。后续将进一步研究高精度图像分割，从而提高高密度养殖情况下中华绒螯蟹质量预估精度。