基于视频跟踪的竖缝式鱼道内鱼类运动行为分析

颜鹏东　谭均军　高　柱　戴会超,　石小涛　黄太安

(1. 三峡库区生态环境教育部工程研究中心, 三峡大学, 宜昌 443002; 2. 河海大学水利水电学院, 南京 210098)

大坝的建设阻隔了鱼类的洄游通道, 致使鱼类资源不断减少, 物种多样性趋于降低[1,2]。以鱼道为主要代表的过鱼设施, 是协助鱼类顺利上行或下行过坝的常见手段, 对维持河流生态系统连通性、保护珍稀鱼类、维持生物多样性具有重要作用[3,4]。竖缝式鱼道作为一种协助鱼类恢复其洄游通道的生态补偿措施, 受到广泛关注[5]。由于竖缝式鱼道池室中的水流急剧变化, 鱼类在不同水流条件下会产生不同的运动行为[6,7]; 而过鱼对象运动能力与鱼道池室内水力条件是否相适应是进行鱼道设计的关键, 因而, 获取鱼类在鱼道中的运动行为至关重要。

鱼的运动轨迹在一定程度上能反映鱼与所处的水流条件是否相适应, 鱼在水中的运动速度、加速度是鱼类游泳行为的重要指标。目前获取鱼的运动行为最基础、最常用的方法为水槽试验法。水槽试验有目视、录像、照相等观测方法, 并可借助计算机对实测资料和数据进行处理、分析。徐盼麟等[8]提出了一种基于单摄像机的鱼类三维观测方法, 该方法虽然实现了自动输出鱼的三维坐标、实时速度、方向等参数, 且生成完整的鱼类三维轨迹, 但仅适用于静水状态下鱼缸中鱼的运动监测。石小涛等[9]采用SwisTrack软件对圆形水槽中鲢幼鱼的二维运动轨迹进行了分析。柯森繁等[10]采用基于Matlab的方法分析封闭水槽中白鲢的摆尾频率、摆尾幅度、速度和加速度。上述研究工作使得鱼类运动行为的高效捕捉成为可能, 但均仅适用于水流较为平缓的水槽。相比较而言, 竖缝式鱼道中存在涡流, 紊动强度较大, 因此上述工作中的鱼类运动行为获得方法, 特别是运动轨迹提取方法在竖缝式鱼道中的应用还有待实践检验, 但上述研究思路为竖缝式鱼道内鱼的运动行为的提取提供了很好的借鉴方法。

本文利用基于Matlab的视频图像跟踪方法, 获取竖缝式鱼道内鱼的运动轨迹、运动速度和加速度, 以期为竖缝式鱼道提供有用的信息参考。

1　材料与方法

1.1　材料

本试验选用体长为10—15 cm的草鱼作为目标鱼种, 暂养期间, 将目标鱼置于与试验室循环水水温相同的水体中暂养数天, 期间24h持续充氧, 正式试验前禁食24h。视频图像在如图1所示的试验装置图中得到, 包括竖缝式鱼道、红外摄像头、计算机录像采集系统。竖缝式鱼道长为7.0 m, 水槽宽0.5 m、高0.7 m, 鱼道末端设有尾门。鱼道池室段共包括5个大小相同的池室, 单个池室宽度为0.5 m,单个池室长度为0.625 m, 竖缝宽度为0.25 m。竖缝挡板材料为厚度1 cm的聚乙烯硬板, 模型挡板侧边和底部均采用有机玻璃胶固定。

图1　试验装置图Fig. 1　Experiment installation diagram

试验前, 在池室入流段和出流段中分别布置拦渔网, 防止试验时鱼游出鱼道入口和出口。每次试验时, 将单条鱼放入池室1的出水口处, 从撤掉拦鱼网时开始计时并进行摄像。以40min为1个放鱼试验时间段, 若单条鱼成功游到池室5的进水口处, 即设定单条鱼成功上溯, 单条鱼的运动轨迹试验完成。分别采用人工计数和基于Matlab编程开发的视频图像跟踪方法获取鱼的运动轨迹。2种方法的详细应用见第1.2节。

1.2　方法

视频图像跟踪方法视频图像跟踪方法是基于Matlab软件平台专门开发的用于跟踪鱼的运动轨迹、输出鱼的运动行为参数的程序, 可实时、准确输出鱼的运动轨迹、运动速度、加速度等行为参数, 将其以文本形式输出并保存(图2)。

基于Matlab的视频图像跟踪方法基本流程如图3, 包括视频输入、图像处理以及鱼的运动轨迹、运动速度、加速度等数据输出。该方法将竖缝式鱼道鱼类游动视频导入Matlab程序, 通过将视频图像灰度化、混合高斯建模以及背景差分等处理, 采用分块自适应阈值获取效果较好的图像; 并进一步对处理后的图像进行连通域分析、形心点确定, 最后输出鱼的运动轨迹及鱼的运动速度、加速度等数据。

(1) 读取视频图像的每一帧, 将图像转换到灰度空间得到灰度图像, 并采用混合高斯背景模型对灰度化的图像进行背景建模, 得到背景图像;

(2) 采用背景差分法提取前景图像, 将竖缝式鱼道作为感兴趣区域(Region of interest, ROI), 只提取ROI中的运动前景; 对ROI中的运动前景进行面积滤波, 去除细小的噪声干扰;

(3) 由于竖缝式鱼道中水流紊动、阴影现象的存在, 目标鱼在鱼道中的比例较小, 因而采用固定的全局阈值分割法不能达到理想的分割效果。本文采用分块自适应阈值法[11](一种针对不同图像区域选择不同分割阈值的方法)对图像进行分割, 该方法抗噪能力较强, 对竖缝式鱼道有较好的分割效果;

(4) 对处理后的图像进行形态学腐蚀膨胀操作和连通域分析, 将连通区域面积最大的轮廓作为个体鱼区域, 求取该区域的最小外接矩形, 作为最终鱼体所在区域, 并将区域形心点作为个体鱼所在位置; 对每一帧图像进行相同的跟踪操作, 即可得到鱼的运动轨迹。

图2　基于Matlab视频跟踪鱼的运动轨迹示意图Fig. 2　The schematic diagram of fish movement trajectory using video tracking method base on Matlab

人工手动计数法人工手动计数是指将视频导入到Logger Pro视频分析软件中, 通过建立直角坐标系, 然后采用手动方式逐帧点击视频中运动的个体鱼, 得到不同时刻鱼的运动位置, 手动打点获取所有时刻目标鱼的运动, 即形成鱼道中的鱼的运动轨迹等运动参数(图4)。

1.3　数据分析

实验数据采用采用SPSS 18.0来进行分析。统计值分别采用平均数±标准差(Mean±SD)描述,根据数据的总体分布情况采用t检验分析数据的差异性。

2　结果

本试验对不同个体鱼的运动轨迹进行跟踪, 并和人工手动跟踪的运动轨迹进行比较, 图5为使用2种不同方法所获得的3条个体鱼的运动轨迹。在3条不同个体鱼的运动轨迹中, 使用2种不同方法得出的鱼的运动轨迹其纵坐标值间的相对误差分别为(1.16±0.12)、(1.32±0.14)、(1.30±0.11) cm。此外, 在同一工况下, 采用2种方法获取的鱼的运动行为数据包括鱼的运动速度和加速度如图6, 2种方法获取的鱼的速度、加速度无显著差异(P＞0.05)。

3　讨论

尽管鱼道在鱼类生态保护发挥重要的作用, 但其在世界范围内仍未达到预期效果, 其根本原因在于鱼道水力特性与过鱼对象的运动行为不匹配。随着现代高新技术的快速发展, 一些新技术如声纳、电子闪光水下摄像等大大扩展了观察鱼类水下活动的范围。特别是随着水下遥测系统、地球卫星遥感技术等的发展与应用, 在混沌水域以及大范围内研究鱼类行为逐渐成为可能。然而, 由于进行现场试验的设备通常较昂贵, 现场试验成本较高,使得上述新技术并未广泛被应用。因此, 有必要寻找成本较低, 易于操作的方法和技术。

图3　视频图像跟踪处理基本流程Fig. 3　Flow chart of video tracking process

图4　人工手动跟踪鱼的运动轨迹示意图Fig. 4　The schematic diagram of fish movement trajectory using manual tracking analysis method

图5　使用视频图像跟踪方法和人工手动计数法所获得鱼的运动轨迹Fig. 5　The fish movement trajectories using two methods

本文在基于Matlab视频图像跟踪方法中使用了分块自适应阈值方法, 将竖缝式鱼道内受水流影响较为明显的图像区域应用不同分割阈值, 能更好捕捉到鱼的轨迹点, 并获取鱼的运动速度和加速度值。使用2种方法得到的鱼的运动轨迹存在一定的误差, 可能因为使用人工手动跟踪方法进行人工手动打点过程中, 因水面紊动造成人眼观察鱼的运动位置时出现偏差, 但2种方法得到鱼的运动速度、加速度未存在显著差异。另外, 从使用的时间和人力上, 利用视频跟踪法处理处理1min视频(每秒25帧)仅需62s(测试电脑联想ideapad700), 可对视频进行快速批量处理; 而采用人工手动处理一帧一帧打点, 1min的视频(每秒25帧)约为1500帧, 所需时间远远大于62s, 且需人工手动打点1500次。可见, 使用基于Matlab的视频图像跟踪方法能有效提取鱼的运动轨迹和运动行为数据, 大量减少人工打点操作, 节省操作时间。

鱼在竖缝式鱼道中的运动轨迹、运动速度和加速度是反应鱼类应对不同水流条件的重要特性。本文得到草鱼的运动速度为(0—1.42) m/s, 鱼在运动过程中的最大运动速度约为爆发游速(10 BL/s,BL表示鱼的体长), 与于晓明等[12]的研究结论基本一致。进一步证实基于Matlab的视频图像跟踪方法能为竖缝式鱼道设计提供基础数据。

在采用视频图像跟踪法获取鱼的游泳行为过程中, 可通过调试合理的参数如阈值调节参数、连通域面积调节参数等改进分析效果。总的说来, 基于Matlab的视频图像跟踪方法能有效获取鱼在竖缝式鱼道中的运动轨迹, 并获取鱼在水中的运动行为参数, 为鱼道设计提供有用的参考依据。

图6　使用视频图像跟踪方法和人工手动计数法获得鱼的运动速度和加速度Fig. 6　The movement speed and acceleration of fish using two methods

参考文献：

[1]Chen K L, Chang Z N, Cao X H, et al. Status and prospection of fish pass construction in China [J]. Shuili Xuebao, 2012, 43(2)： 182—188 [陈凯麒, 常仲农, 曹晓红,等. 我国鱼道的建设现状与展望. 水利学报, 2012,43(2)： 182—188]

[2]Dong Z R, Sun D Y, Zhao J Y, et al. Progress and prospect of eco-hydraulic engineering [J]. Shuili Xuebao,2014, 45(12)： 1419—1425 [董哲仁, 孙东亚, 赵进勇, 等.生态水工学进展与展望. 水利学报, 2014, 45(12)：1419—1425]

[3]Shi X, Kynard B, Liu D, et al. Development of fish passage in China [J]. Fisheries, 2015, 40(4)： 161—169

[4]Tan J, Dai H, Gao Z. Fish species and hydropower projects in upper Yangtze River in China： impacts and rehabilitation [J]. Fresenius Environmental Bulletin, 2016,25(6)： 1846—1857

[5]Bombač M, Novak G, Mlačnik J, et al. Extensive field measurements of flow in vertical slot fishway as data for validation of numerical simulations [J]. Ecological Engineering, 2015, 84： 476—484

[6]Arenas A, Politano M, Weber L, et al. Analysis of movements and behavior of smolts swimming in hydropower reservoirs [J]. Ecological Modelling, 2015, 312： 292—307

[7]Newbold L R, Shi X, Hou Y, et al. Swimming performance and behavior of bighead carp (Hypophthalmichthys nobilis)： Application to fish passage and exclusion criteria [J]. Ecological Engineering, 2016, 95： 690—698

[8]Xu P L, Han J, Tong J F. Preliminary studies on an automated 3D fish tracking method based on a single video camera [J]. Journal of Fisheries of China, 2012, 36(4)：623—628 [徐盼麟, 韩军, 童剑锋. 基于单摄像机视频的鱼类三维自动跟踪方法初探. 水产学报, 2012, 36(4)：623—628]

[9]Shi X T, Hu Y S, Wang B, et al. Using free software swistrack to learn swimming behavior of silver capp, Hypophthalmichthys molitrix [J]. Acta Hydrobiologica Sinica, 2014, 1(3)： 588—591 [石小涛, 胡运燊, 王博, 等. 运用免费计算机软件SwisTrack分析鲢幼鱼游泳行为. 水生生物学报, 2014, 1(3)： 588—591]

[10]Ke S F, Gao Z, Liu G Y, et al. The analysis of fish swimming dynamics based on the Matlab [J]. Acta Hydrobiologica Sinica, 2016, 40(5)： 985—991 [柯森繁, 高柱, 刘国勇, 等. 基于Matlab的鱼类游泳动力学分析. 水生生物学报, 2016, 40(5)： 985—991]

[11]Long J L, Shen X J, Chen H P. Adaptive minimum error thresholding algorithm [J]. Acta Automatica Sinica, 2012,38(7)： 1134—1144 [龙建武, 申铉京, 陈海鹏. 自适应最小误差阈值分割算法. 自动化学报, 2012, 38(7)：1134—1144]

[12]Yu X M, Zhang X M. Research progress on measurements of fish swimming ability [J]. South China Fisheries Science, 2011, 7(4)： 76—84 [于晓明, 张秀梅. 鱼类游泳能力测定方法的研究进展. 南方水产科学, 2011,7(4)： 76—84]