基于图像处理和压缩感知的鱼群低溶氧胁迫异常行为检测方法

卢焕达，于欣，刘广强

（浙江大学宁波理工学院，浙江宁波315100）

鱼群的行为表现受到水体环境中各种因子的影响。例如，水体环境中温度[1]、盐度[2]、光照强度[3]等外部环境因素的改变均会对鱼群的行为表现产生一定的影响。因此，通过监控鱼群行为的异常变化可快速发现水体环境因子的变化，也可实现在鱼类养殖过程中对健康和福利状况的预警。目前，对鱼群异常行为的监测，主要是采用人工现场观测的方法，但是，该方法不仅费时费力，不能做到24 h不间断监测，而且其有效性依赖于观测者的经验。因此，在水产养殖中，亟需一种能快速检测鱼群异常行为的自动化方法。

近年来，利用计算机视觉技术监测鱼群行为已成为一个热门研究领域[4-7]。例如，程淑红等[5]提出了一种基于计算机视觉与支持向量机（support vector machine,SVM）的水质异常监测方法，该方法首先通过计算机视觉技术获取能够反映水质情况的鱼群行为运动特征参数，然后利用支持向量机得到水质监测模型，最后利用该模型监测水质异常状况。卢焕达等[6]开发了一种基于计算机视觉的鱼群行为自动监测系统，该系统利用摄像机对鱼群行为进行实时监控，自动分析鱼群游动速度及体色的改变情况。黄毅等[7]开展了利用鱼群的行为变化进行水质在线预警的研究，即采用计算机视觉技术跟踪观察正常和非正常水体情况下斑马鱼群的行为变化，发现监测鱼群的异常行为可以作为水质突变预警的一种可靠手段。

在水产养殖中，溶氧水平无疑是最为敏感的因子，已有诸多学者在此领域开展研究。例如，赵文文等[8]研究了溶氧水平对鳊鱼、中华倒刺鲃幼鱼游泳能力的影响，发现不同溶氧水平对不同鱼种游泳能力的影响存在差异。XU等[9]基于计算机视觉方法发现鱼群在受到低溶氧胁迫时，鱼群的游动速度会发生显著变化。但是，这些研究均未解决鱼群在受到低溶氧胁迫时自动检测异常行为的问题。

本文针对鱼群在低溶氧胁迫下异常行为检测的问题，以锦鲤（Cyprinus carpio）为研究对象，通过构建实验装置产生常氧和低氧2种环境，然后用摄像机获取这2种状态下的鱼群行为图像，通过运动目标检测得到运动鱼群的二值图像，计算图像的位置直方图，并选取位置直方图的均值、方差、歪斜度、峰态、能量等5个参数构成每幅图像的鱼群运动特征参数。在此基础上，构建基于压缩感知[10-13]的分类器，使得模型能根据鱼群运动特征参数自动将其分成正常和异常2类。本文建立的异常行为检测方法为养殖生产提供了一种快速、低成本监测鱼群在低溶氧胁迫下状态的新手段。

1 材料与方法

1.1 鱼群行为数据采集

图1 鱼群异常行为检测实验系统Fig.1 Experimental system for detecting abnormal behavior of fish school

图1 为鱼群异常行为检测实验系统，该系统由实验水槽、溶氧控制检测装置和鱼群行为采集记录装置3部分组成。其中：实验水槽为长、宽、高分别是58、43和44 cm的玻璃缸，在缸两侧分别加入隔网，以避免充气产生的水泡影响视频采集，2个隔网之间的区域设定为实验区域；溶氧控制检测装置由氮气罐和溶氧测定仪组成，氮气罐用来向玻璃水槽中冲入氮气以降低水体中的溶氧水平，可通过控制氮气的流量来控制水体中的溶氧水平，并通过安装在另外一侧的溶氧测定仪进行检测；鱼群行为采集记录装置由光源[2个白色LED（发光二极管）灯组成]、1台视频跟踪器（摄像机）和计算机组成。LED光源安装在水槽养鱼区的斜上方，适当调整位置来减少阴影对图像处理的影响。摄像机安装在水槽养鱼区的侧面，镜头正对玻璃水槽，通过调整镜头距离使其拍摄范围覆盖整个实验区。摄像机拍摄的图像分辨率为1 024×768像素，帧率为25帧/s。拍摄的视频和环境参数（溶解氧浓度）在计算机中进行存储。

实验鱼为购于浙江省宁波市某花鸟市场的锦鲤，平均长度为（5.2±1.3）cm。在开展实验前，实验鱼放置在暂养池中暂养10 d，暂养池保持水温为20～25℃，溶氧水平为5.0～7.6 mg/L。每天喂食1次，饵食1 h后清理残渣。每2 d换水1次。实验前24 h不喂食，每次实验时从暂养池中随机选取15条鱼放入实验系统的实验区域中，等鱼群适应实验环境后（2 h后）开始实验。

溶氧水平设置为常氧（5.0～7.6 mg/L）和低氧（0.2～1.5 mg/L）2个状态[9]，把在常氧状态下的鱼群行为标记为正常行为，而在低氧状态下的鱼群行为标记为异常行为。在实验中通过溶氧控制检测装置控制溶氧水平，并通过摄像机记录鱼群行为。

1.2 鱼群异常行为检测总体框架

鱼群异常行为检测方法的总体框架如图2所示。该方法总体可分成图像预处理、鱼群行为特征提取和异常行为检测3大步骤。图像预处理步骤的目标是通过图像裁剪、背景提取和目标检测算法获得大小一致的二值图像。鱼群行为特征提取步骤为通过预处理后的图像获取位置直方图，并计算位置直方图的均值、方差、歪斜度、峰态、能量等统计特征作为鱼群行为特征参数。异常行为的检测步骤是选取常氧和低氧状态下的若干图像作为训练样本，构建数据词典矩阵，利用压缩感知方法获得不同溶氧水平下鱼群行为特征的稀疏表示形式，然后计算测试样本的稀疏表示与不同类别训练样本稀疏表示的残差，使残差达到最小值的类别即为测试样本的类别（常氧或低氧）。

1.2.1 图像预处理

在获取原始视频图像后，通过FFmpeg工具将拍摄的mp4格式的视频转换成jpg格式的视频序列图像，并利用Matlab中的imcrop函数将图像裁剪成600×600像素大小的图。在此基础上，利用统计平均法提取背景[14]，将样本图像减去背景后得到图像差图，选择合适的阈值来获得样本图像的二值化图像，完成目标图像的预处理[15]。

1.2.2 鱼群行为特征提取

鱼群在不同溶氧水平下具有不同的行为，主要表现为在常氧环境下集中在水体的中下部活动，而在低氧环境下集中在水体的中上部活动（图3）。为了用计算机技术提取这类直观的行为特征，并减少个别鱼对群体行为特征的影响，我们用鱼群图像的位置直方图刻画了鱼群在不同溶氧水平下的行为特征。

对于一幅图像，以玻璃水槽中的左上角为坐标原点，水平面自左向右为x轴，坐标值从水平面依次向下为y轴。取y方向的位置直方图，用它来表示图像中每个高度区间上运动目标像素点的离散函数[16]，公式如下：

式中：i表示图像像素点的高度或者位置坐标；Ni表示图像中运动目标在高度i上的像素点的个数；N表示图像中运动目标的像素点总数；h表示图像的高度。式（1）描述的是图像中运动目标在高度i上的像素数量占图像中运动目标位置像素总数的比例。图4为不同溶氧水平下鱼群的位置直方图。

获取位置直方图后，需要计算某些统计量参数来反映图像中运动目标的特征。常用的统计量参数[16-17]有：

1）均值（mean）：反映了一幅图像中运动目标的平均位置信息。

图4 鱼群的位置直方图Fig.4 Location histogram of thefish school

2）方差（variance）：反映了一幅图像中运动目标位置在数值上的离散分布情况。

3）歪斜度（skewness）：反映了一幅位置直方图分布的不对称程度。歪斜度越大，表示直方图分布越不对称；反之，则越对称。

4）峰态（kurtosis）：反映了一幅图像中运动目标位置分布在接近均值时的大致状态，用以判断图像中运动目标位置的分布是否非常集中于平均位置附近。峰态越小，表示越集中；反之，则越分散。

5）能量（energy）：反映了一幅图像中运动目标位置分布的均匀程度。灰度分布较均匀时能量较大；反之，则能量较小。

通过计算位置直方图中的μ、σ2、μs、μk和μe值，可以得到5个鱼群运动行为参数，这5个值组成的向量即为鱼群行为特征向量。

1.2.3 基于压缩感知的鱼群异常行为检测方法

压缩感知理论由CANDÈS等[10,11,13]和DONOHO[12]提出，该理论证明了如果某个信号具有稀疏性，那么就可以用比传统采样定理更低的频率对该信号进行采样，并且采样后依然可以获取包含该信号全局信息的数据，继而可以利用求解优化问题的方法从观测向量中高概率或精确地重构原始信号。

考虑实域上的有限长一维离散时间信号X，若在某个变换域中存在一组正交变换基ψ，使得式（7）成立[18]，

则称信号X在正交变换基ψ上是K稀疏的。式中：X∈RN×1；ψ为正交变换基，即稀疏矩阵，ψ∈RN×N；y表示信号X在正交变换基ψ下的相关系数，也称为稀疏向量，y中只有K个元素不为零，y∈RN×1；N为信号维数。

在此前提下，可以用一个矩阵φ对信号X进行线性观测，使得式（8）成立。

式中：φ表示一个与稀疏矩阵ψ不相关的矩阵，称之为观测矩阵，φ∈RM×N；z表示在观测矩阵φ下的观测值，称之为观测向量，z∈RM×1，M为观测值维数，其中M=N。由于式（8）为欠定方程，因此不能从已知观测向量z的基础上求解出信号X。但是根据压缩感知理论[19-20]可知，通过求解最优l0范数能够解决这个问题，即：

求解式（9）非常复杂，因为它是一个非确定性多项式（non-deterministic polynomial,NP）问题。然而，在稀疏向量y足够稀疏的情况下，可将式（9）的解转换为l1范数意义下的最优化问题，即：

此时，式（10）为一个凸优化问题，可以利用匹配追踪法、内点法等算法进行求解[21-22]。

压缩感知分类算法是一种基于压缩感知理论的模式识别算法，在农业领域也已得到广泛应用。例如，韩安太等[23]利用农业害虫图像提取形态特征参数和颜色特征参数作为识别不同种类害虫的特征，并用压缩感知分类算法实现了农业害虫自动分类。简要介绍如下。

假设有k类研究对象，第i类研究对象有Ni个训练样本，则第i类的Ni个样本的特征数据可以组成矩阵ψi，即：

那么，k类研究对象的所有的训练样本可以组成数据词典矩阵ψ，即：

其中：N=N1+N2+…+Nk。

对于任意一个未知分类的研究对象测试样本U∈RM，如果数据词典矩阵ψ充分完备，那么该测试样本可以由ψ线性表示，即：

其中：V∈RN。当M≪N时，因为方程U=ψV为欠定方程，因此求解该方程十分困难。根据压缩感知理论，可以由式（10）进行求解。

通过解式（13）求得研究对象测试样本U=RM的对应稀疏向量Vˉ，进而对任意的i(1≤i≤k)，可以定义研究对象测试样本U=RM的第i个重构样本：

其中：δi(Vˉ)∈RN为一个只与第i类有关的系数向量；δi(Vˉ)是一个只保留Vˉ中与第i类有关的系数并且令其他系数全部为零的向量。每个测试样本都可以得到k个重构样本Uˉi（i=1，2，…，k），分别计算研究对象测试样本U与重构样本Uˉi之间的残差，并确定使残差达到最小的类别为研究对象测试样本所属的分类，即：

2 结果与分析

从常氧和低氧环境下2类鱼群行为图像中各随机选取4 000幅图像作为样本，其中2 000幅为训练样本，另外2 000幅为测试样本，样本均已知类标（常氧/低氧）。将数据随机打乱后，将2 000个测试样本进行编号：在常氧环境下的鱼群图像测试样本编为1～1 000号，在低氧环境下的鱼群图像测试样本编为1 001～2 000号。从训练样本中按1.2.2节描述的方法获得鱼群位置直方图，并提取位置直方图的均值、方差、歪斜度、峰态、能量5个参数，构成每个图像的鱼群特征向量，由此可构建5×2 000维的数据词典矩阵。根据压缩感知检测算法可知，检测过程首先需要求解欠定方程，得到测试样本的稀疏表示，继而根据公式（14）对样本进行重构，并计算每个重构样本的残差，每一个测试样本经过计算后都可以得到2个残差值（表1）。根据式（15）比较残差的大小，可以判断出该测试样本是处于常氧环境还是处于低氧环境。

鱼群图像测试样本的残差比较如图5所示。从中可以看出，在常氧环境下，所有测试样本都被正确地检测为鱼群正常行为，这是因为常氧环境的水体中溶氧水平较高，鱼群大多会集中在水体的中下部活动。但是，在低氧环境下，部分测试样本会被误判为鱼群正常行为，这是因为在随机选择测试样本时，在某些情况下也会抽取到低氧环境下鱼群偶然整体向水体中下部活动的图像，从而导致误判。

鱼群图像测试样本的识别结果如图6所示，图中第1类残差表示测试样本为常氧环境下的图像，即鱼群正常行为图像，第2类残差表示测试样本为低氧环境下的图像，即鱼群异常行为图像。从中可知：第1类测试样本的实际类别和检测结果完全重合，检测准确率为100%；而在第2类测试样本中有30幅图像被错分到第1类，检测准确率为97%；总体上，测试样本的检测准确率平均达98.50%。

表1 部分测试样本的残差值Table1 Residualsof part test samples

图5 测试样本残差比较Fig.5 Comparison of thetest sampleresiduals

图6 测试样本的识别结果Fig.6 Classification result of test samples

3 结论

本文研究了基于图像处理和压缩感知的在低溶氧胁迫下鱼群异常行为检测方法。利用该方法，可以通过图像快速判断鱼群是处于常氧环境还是低氧环境，检测准确率平均达到98.50%。如在水产养殖中用低成本的摄像头代替成本较高的溶氧测定仪，可极大地减少成本。但是，本研究目前只针对每帧图像进行判定，忽略了鱼群行为在时间上的连续性，因此可能会造成对某些图像帧的误判。在下一步的研究中，可用一段时间内的图像序列代替单帧图像，进一步增加该方法的鲁棒性。

欢迎订阅《浙江大学学报(农业与生命科学版)》

《浙江大学学报(农业与生命科学版)》是浙江大学主办的全国性、综合性、学术性期刊。主要刊登农业基础科学和应用科学研究论文。内容涵盖农业和生命科学各个领域，包括作物遗传育种·种质资源，植物保护，生理生态，作物栽培，土壤肥料，园艺，农产品的贮藏·保鲜·加工，畜牧·兽医，以及生命科学方面的专论，研究论文，快讯等。读者对象主要是国内外农业科学研究人员，农业院校的教师和研究生，以及综合性大学等有关农业科学的研究与管理人员。本刊近年的影响因子、总被引频次2项重要指标均名列全国农业高校学术期刊的前列。2001年入选中国期刊方阵；2004年在教育部全国高校科技期刊评比中荣获壹等奖，以及全国优秀农业期刊评比壹等奖；2005年获第三届国家期刊奖百种重点期刊奖；2006年再次荣获全国农业期刊评比壹等奖，首届中国高校优秀科技期刊奖；荣获中信所2008年度“中国百种杰出学术期刊”称号；2009年荣获“高校科技期刊优秀编辑质量奖”；2010年获“第三届中国高校精品科技期刊奖”；2011年获“第二届中国精品科技期刊”和第二届“RCCSE中国权威学术期刊”称号；2012年获“第四届中国高校精品科技期刊奖”；2014年获“第五届中国高校优秀科技期刊奖”和“第三届中国精品科技期刊”；2016年获“中国高校百佳科技期刊”等。本刊现为北京大学图书馆中文核心期刊，中国科学引文数据库（CSCD）核心期刊，中国科技核心期刊。目前，本刊被美国《化学文摘》(CA)、英国《国际农业与生物科学研究中心文摘》(CABI)、俄罗斯《文摘杂志》(AJ)、英国《动物学记录》(ZR)、英国《食品科技文摘》(FSTA)、联合国粮农组织农业索引(AGRIS)、美国《乌利希期刊指南》(Ulrichsweb)、瑞典《开放获取期刊目录》(DOAJ)，以及中国科学引文数据库、《中国学术期刊文摘》、中国期刊网《中国学术期刊(光盘版)》数据库、万方数据资源系统数字化期刊群数据库等国际国内重要检索系统收录。

《浙江大学学报(农业与生命科学版)》为双月刊，A4开本，126页，国内外公开发行。国内统一刊号：CN 33-1247/S，国际标准刊号：ISSN 1008-9209，邮发代号：32-48，国外代号：BM4108。定价每期30.00元/人民币，全年定价180.00元/人民币。