运用免费计算机软件SwisTrack分析鲢幼鱼游泳行为

石小涛胡运燊王 博黄 瑶陈求稳刘德富侯轶群

(1. 中国科学院生态环境研究中心, 北京 100085; 2. 水利部水工程生态效应与生态修复重点实验室, 武汉 430079; 3. 三峡大学三峡库区生态环境教育部工程研究中心, 宜昌 443002)

运用免费计算机软件SwisTrack分析鲢幼鱼游泳行为

石小涛1,2,3胡运燊3王 博3黄 瑶3陈求稳1,3刘德富3侯轶群2

(1. 中国科学院生态环境研究中心, 北京 100085; 2. 水利部水工程生态效应与生态修复重点实验室, 武汉 430079; 3. 三峡大学三峡库区生态环境教育部工程研究中心, 宜昌 443002)

鱼类在摄食、迁徙、逃避敌害时均需采用游泳行为,鱼类游泳行为对鱼类的生存发挥重要作用[1]。鱼类游泳行为受到国内外学者广泛关注, 如 Wang, et al.研究了中华鲟(Acipenser sinensis)产卵群体的洄游游泳速度[2], Yuuki, et al.记录了中华鲟个体在三峡库区的游泳速度[3], Zhuang, et al.分析了几种鲟鱼在个体发育过程中的游泳行为特征[4],田凯等测算了瓦氏黄颡鱼的游泳速度[5], 石小涛等指出游泳行为在通过水流障碍中的重要性[6]。在工程应用中,水力水电建设中过鱼设施的建设同样需要鱼类游泳行为的数据参考[7]。

游泳速度是鱼类游泳行为的重要指标, 包括平均速度、瞬时速度和爆发滑行速度等。针对游泳速度目前主要采用的方法包括视频软件分析, 标记定位, 加速器分析,以及人工计数等方法[3,7,8]。各方法各有利弊, 其中行为学软件分析视频是较为高效的一种方法, 在动物行为研究中已经发挥了重要作用。但是, 目前的行为学视频分析软件不能大众化, 需要一定的经济成本, 如 Noldus和Logger Pro行为学软件。因此, 能够普及运用的行为学软件亟待共享。SwisTrack是一款功能强大的软件, 用于机器人、人类、动物和物体的视频分析, 提供免费资源, 包括应用软件和源代码, 有望为鱼类行为学研究提供帮助。鉴于计算机视频处理技术在鱼类行为分析中的应用有限,本文以共享软件SwisTrack为对象, 借助其在鲢游泳行为过程中的应用, 重点分析SwisTrack软件的思路和优缺点,拟为读者介绍一种鱼类行为分析的方法。

1 材料与方法

1.1 试验材料及暂养

试验用鲢均由湖北宜都渔场提供。试验用鱼通过充氧水包或供氧水箱车分批运送到三峡大学生态水工实验室, 暂养3d后进行试验。暂养水槽为直径2 m、深为0.5 m的圆形水槽。暂养期间水温为(20.00±1.00) , 24h℃ 连续持续充氧。每2d换暂养水的30%, 每1d投食饵料和吸粪便、残渣1次。

1.2 试验方法

试验使用的圆形水槽同暂养水槽。试验鱼选择鲢幼鱼体长为(8.79±0.62) cm。试验鱼禁食24h后, 放置于试验水槽中适应区, 适应30min后进行试验。试验使用20尾鱼, 2尾鱼为一组, 共10组。每一组记录视频24h, 白天采用自然光, 晚上红外光。试验装置的顶部1.6 m处放置红外摄像头记录试验鱼的自由游泳行为(图 1)。试验水温为(20.00±1.00) , ℃ 溶解氧保持在6.0 mg/L以上。试验使用遮光布把试验水槽围住, 避免与外界光干扰, 禁止试验水槽附近的活动, 避免外界声干扰。使用红外摄像头进行录像, 通过视频回放每个小时随机选取的10个1min视频片段, 采用SwisTrack 4.0软件、Logger Pro 32软件和手动视频分帧处理方法收集鲢游泳过程中的数据, 以比较各数据采集方法的优劣。SwisTrack软件通过背景差值法实现二维平面上多目标自动追踪功能, Logger Pro 32软件通过连续手动点击跟踪轨迹实现手动跟踪, 手动视频分帧处理技术采用逐帧推进和像素定位换算的方法实现鱼类行为测试。

图1 试验装置示意图Fig. 1 Schematic of the experimental setup

在 SwisTrack软件视频分析的的过程中, 如果随意挑选视频片段, 常产生较多非正常值。通过视频回放和肉眼观察, 发现这部分视频出错片段对比度不高, 或出现反光, 或鱼类个体重叠。因此, 在随后的视频处理中, 选取对比度清晰, 无反光, 无个体游泳交叉行为的视频。试验记录体长(BL)、自由游泳速度(cm/s)、相对自由游泳速度(BL/s)、最大自由游泳速度(cm/s)和相对最大自由游泳速度(BL/s)。自由游泳速度为非静止时鱼的速度, 相对速度为游泳速度与体长的比值, 最大游泳速度为该视频片段中两帧之间的速度最大值。为了比较各种方法, 引入效率值表征各种方法的优劣, 效率值由三位操作人员根据实际操作经验, 以手动视频分析为基础分1分进行打分。

1.3 数据分析

实验数据采用SPSS 18.0进行分析, 统计值用平均数±标准差(Mean±SD)描述, 用Oneway-ANOVA分析差异性。

2 结果

鱼类游泳速度分析表明, 视频处理方法对试验结果有显著影响。鲢的自由游泳速度、相对自由游泳速度在应用SwisTrack、Logger Pro和手动测试分析过程中(图2、图3), 未产生显著差异(P>0.05, 表1), 但三者均与未挑选视频直接通过 SwisTrack处理得到的结果有显著差异(P<0.05, 表 1), 表明 SwisTrack可用于部分视频效果较好片段的数据处理, 但不能用于处理对比度不高, 或出现反光, 或鱼类个体重叠的视频。效率值比较表明, SwisTrack软件在自动分析鱼类游泳速度方面表现出极好的效果。

图2 SwisTrack 4.0软件记录一尾鱼的游泳行为示意图Fig. 2 Illustration of fish swimming route by software SwisTrack

图3 Logger Pro 32软件记录鱼疾冲游泳轨迹示意图Fig. 3 Illustration of fish swimming route by software Logger Pro

3 讨论

鱼类游泳行为学在各种高科技的支持下取得了很大的发展, 近年来涌现出了多种前沿技术。如弹出式卫星数据回收标志(Pop-up Archival Tag)的中华鲟幼鱼, RFID技术, DIDSON双频识别声呐技术[7—9]。但是, 上述各种技术对设备的要求高, 成本大, 同时对人员的要求高, 不易广泛推广普及应用。因此, 有必要寻找成本较低, 较为易学且普通人群能够接触的技术。鱼类视频分析具备视频易得的优点, 配合视频分析软件, 已经有力的推动了鱼类行为学的研究。如 Paglianti 和 Domeniqi利用商业行为软件WINanalyze分析了鹿角杜父鱼(Leptocottus armatus)的逃逸行为[10], Kanea, et al.[11]鳉创建了视频分析方法探讨了底(Fundulus heteroclitus)应激行为, 吴冠豪和曾理江[12]开发了移动视频平台研究鱼类游泳动力学, Wong, et al.借助商业行为软件 Noldus Ethovision研究了斑马鱼(Danio rerio)[13]行为在药物筛选中的方法, 徐盼麟等利用单摄像机实现了鱼类的三维定位[14]。但是, 鱼类视频分析技术仍没有得到广泛应用, 其原因主要是有关行为学软件的高昂成本或复杂性。

表1 鲢幼鱼自由游泳速度Tab. 1 The free swimming velocity of the juveniles silver carp

SwisTrack作为一款免费软件, 操作简单, 成本低廉,能够实现鱼类行为定量。SwisTrack软件的追踪核心是基于OpenCV库编写的一套程序, 主要技术路线如图4。载入视频后, SwisTrack对视频分析解码, 通过OpenCV库把视频转化为可处理格式, 用背景图对比视频画面, 减掉静止不变的背景画面, 标出运动的物体; 加上蒙版, 限制视频检测区域, 算出只含有目标的运动图像。SwisTrack依据视频分辨率建立坐标系, 视频的左下角即为(0, 0),根据视频分辨率的像素点, 以像素点为横纵坐标, 1个像素为一个单位, 并根据像素点分配给运动检测的目标物,在预先限制的蒙版范围内对目标物进行追踪检测、处理。最后以视频帧数作为时间轴, 以像素点赋值追踪目标,自动追踪目标移动的过程, 并生成数据报表。SwisTrack最初开发是作为一种机器人追踪平台, 开展群机器人研究和行为生物学方面的研究, 如通过追踪一群蟑螂研究未知环境中蟑螂如何通过行为控制方式完成行为与步态生成[15]。将SwisTrack软件灵活应用于鱼类研究, 取得了极好的数据获取效果。与商业软件Logger Pro和手工视频处理方法比较, SwisTrack具有准确、高效的特点, 克服了 Logger Pro和手工视频处理时的繁琐, 能很好地避免由于视频中运动物体运动轨迹的错综复杂带来的干扰。

鱼类自由游泳行为作为持续游泳能力的一种, 反应鱼类的行为特征。鱼类自由游泳速度类似于持续游泳速度,均表示鱼类的有氧运动速度, 但自由游泳速度侧重于鱼类个体完全的自主游泳行为, 而持续游泳速度更多的是被用于在游泳槽中鱼类被动游泳时进行其游泳能力定量[16]。溪红点鲑幼鱼(15 cm)的相对自由游泳速度为略高于1BL/s, 大马哈鱼(58—70 cm, FL)的相对自由游泳速度为介于(1—2)BL/s, 东方金枪鱼(81—143 cm, FL)的相对自由游泳速度为(1.1—1.4) BL/s[17]。本文中鲢的相对自由游泳速度略高于上述鱼类, 其原因可能是本文采用的游泳标准是仅选取运动中的个体作为视频分析对象, 而上述研究包括了静止的行为, 同时可能与本研究提供的是静水环境有关[18]。鱼类自由游泳过程中的最大游泳速度较少报道, 学者们更多的是采用爆发游速、急冲(快速启动)速度评价鱼类的最大游泳速度。本文中鲢的最大自由游泳速度低于大多数鱼类的爆发游速(10BL/s), 原因是在本研究中鲢处于静水环境且未受干扰, 故较少产生爆发或快速启动行为。

图4 SwisTrack 技术路线Fig. 4 Flow chart of SwisTrack technical route

在鲢的视频分析过程中发现, SwisTrack还有许多可以改进的地方。在追踪目标的时候, 当目标物出现重叠的正交现象, SwisTrack在该处可能出现辨认错误。2个追踪目标可能会重叠后继续朝向各自原本的运动方向运动,也可能重叠以后相撞而返回, 但由于视频分析过程是在二维空间进行, 软件不具备自动区分个体功能, 也不具备对目标物在视频中进行标记染色功能, 因此在视频中不可以出现重叠现象。在视频录制中, 光与水面出现的反射现象, 会在视频中全部体现出来。SwisTrack是根据视频的像素点来区别运动物体与背景的, 光与水面的反射与折射现象会不间断的改变给定像素点位置的变化, SwisTrack不能正确识别该像素变化是运动物体还是反射现象, 会把所有位置的像素变化识别为运动物体。由于鱼类游泳是在三维空间中进行, 重叠的现象不可避免, 因此SwisTrack软件还需要进行更深入的开发。

总之, 鱼类行为学研究有待于计算机视频分析技术的进一步应用, SwisTrack软件为鱼类研究者提供了一条有效分析鱼类二维轨迹的途径。

[1] Shi X T, Chen Q W, Liu D F, et al. Critical swimming speed of young Chinese sucker (Myxocryprinus asiaticus) [J]. Acta Hydrobiologica Sinica, 2012, 36(1): 133—136 [石小涛, 陈求稳, 刘德富, 等. 胭脂鱼幼鱼的临界游泳速度. 水生生物学报, 2012, 36(1): 133—136]

[2] Wang C, Kynard B, Wei Q, et al. Spatial distribution and habitat suitability indices for non-spawning and spawning adult Chinese sturgeons below Gezhouba Dam, Yangtze River: Effects of river alterations [J]. Journal of Applied Ichthyology, 2013, 29(1): 31—40

[3] Yuuki Y W, Qiwei W, et al. Swimming behavior of Chinese sturgeon in natural habitat as compared to that in a deep reservoir: preliminary evidence for anthropogenic impacts [J]. Environmental Biology of Fishes, 2013, 96(1): 123—130

[4] Zhuang P, Kynard B, Zhang L, et al. Comparative ontogenetic behavior and migration of kaluga, Huso dauricus, and Amur sturgeon, Acipenser schrenckii, from the Amur River [J]. Environmental Biology of Fishes, 2003, 66(1): 37—48

[5] Tian K, Cao Z D, Fu S J. Effects of velocity increment and duration on critical swimming speed of juvenile darkbar-bel catfish [J]. Chinese Journal of Ecology, 2010, 29(3): 534—538 [田凯, 曹振东, 付世建. 速度增量及持续时间对瓦氏黄颡鱼幼鱼临界游泳速度的影. 生态学杂志, 2010, 29(3): 534—538]

[6] Shi X T, Chen Q W, Huang Y P, et al. Review on the methods to quantify fish’s ability to cross velocity barriers in fish passage [J]. Acta Ecologica Sinica, 2011, 31(22): 6967—6972 [石小涛, 陈求稳, 黄应平, 等. 鱼类通过鱼道内水流速度障碍能力的评估方法分析. 生态学报, 2011, 31(22): 6967—6972]

[7] Castro-Santos T, Haro A. Fish Guidance and Passage at Barriers. In: Fish Locomotion: An Eco-ethological Perspective [M]. Science Publishers. 2010, 62—89

[8] Chen J H, Zhuang P, Wu J H, et al. Migration and distribution of released Acipenser sinensis in the sea based on Pop-up Archival Tag technique [J]. Journal of Fishery Sciences of China, 2011, 18(2): 437—442 [陈锦辉, 庄平,吴建辉, 等. 应用弹式卫星数据回收标志技术研究放流中华鲟幼鱼在海洋中的迁移与分布. 中国水产科学, 2011, 18(2): 437—442]

[9] Boswell K M, Wilson M P, Cowan J H, et al. A semiautomated approach to estimating fish size, abundance, and behavior from dual-frequency identification sonar (DIDSON) data [J]. North American Journal of Fisheries Management, 2008, 28(3): 799—807

[10] Paglianti A, Domenici P. The effect of size on the timing of visually mediated escape behaviour in staghorn sculpin Leptocottus armatus [J]. Journal of Fish Biology, 2006, 68(4): 1177—1191

[11] Kanea A S, Saliernoa J D, Gipsona G T, et al. A video-based movement analysis system to quantify behavioral stress responses of fish [J]. Water Research, 2004, 38(18): 3993—4001

[12] Wu G H, Zeng L J. Video tracking method for three-dimensional measurement of a free- swimming fish [J]. Science in China Series G-Physics and Astronomy, 2007, 37(6): 760—766 [吴冠豪, 曾理江. 用于自由游动鱼三维测量的视频跟踪方法. 中国科学 G 辑, 2007, 37(6): 760—766]

[13] Wong K, Stewart A, Gilder T, et al. Modeling seizure-related behavioral and endocrine phenotypes in adult zebrafish [J]. Brain Research, 2010, 1348: 209—215

[14] Xu P L, Han J, Tong J F. Preliminary studies on an automated 3D fish tracking method based on a single video camera [J]. Journal of Fisheries of China, 1998, 36(4): 623—628 [徐盼麟, 韩军, 童剑锋. 基于单摄像机视频的鱼类三维自动跟踪方法初探. 水产学报, 1998, 36(4): 623—628]

[15] Lochmatter T, Roduit P, Cianci C, et al. SwisTrack-A Flexible Open Source Tracking Software for Multi-Agent Systems [A]. 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems Acropolis Convention Center. 2008, 22—26: 4004—4010

[16] Kieffer J D. Perspective–Exercise in fish: 50+years and going strong [J]. Comparative Biochemistry and Physiology, 2010, 156(2): 163—168

[17] Yu X M, Zhang X M. Research progress on measurements of fish swimming ability [J]. South China Fisheries Science, 2011, 7(4): 2095—0780 [于晓明, 张秀梅. 鱼类游泳能力测定方法的研究进展. 南方水产科学, 2011, 7(4): 2095—0780]

[18] Swanson C. Interactive effects of salinity on metabolic rate, activity, growth and osmoregulation in the euryhaline milkfish (Chanos chanos) [J]. Journal of Experimental Biology, 1998, 201(24): 3355—3366

USING FREE SOFTWARE SWISTRACK TO LEARN SWIMMING BEHAVIOR OF SILVER CARP, HYPOPHTHALMICHTHYS MOLITRIX

SHI Xiao-Tao1,2,3, HU Yun-Shen3, WANG Bo3, HUANG Yao3, CHEN Qiu-Wen1,3, LIU De-Fu3and HOU Yi-Qun2(1. Ecological Environment Research Center of Chinese Academy of Sciences, Beijing 100085, China; 2. Ecological
Effects of Water Engineering of Ministry of Water Resources and Ecological Restoration Laboratory, Wuhan 430079, China; 3. Engineering Research Center of Eco-environment in Three Gorges Reservoir Region, Yichang 443002, China)

计算机; 视频; 轨迹; 鱼; 游泳行为

Computer; Video; Route; Fish; Swimming behavior

Q142.8

A

1000-3207(2014)03-0588-04

10.7541/2014.83

2013-09-16;

2014-02-25

楚天学者基金(KJ2010B002); 国家自然科学基金(50979049, 51009082); 中国博士后科学基金; 水利部公益性行业科研专项(201201030, 201201028-02); 中国长江三峡集团公司科研项目; 水利部水工程生态效应与生态修复重点实验室开放基金; 三峡库区生态环境教育部工程研究中心开放基金(KF2013-03)资助

石小涛(1981—), 男, 湖北红安人; 博士; 主要从事水生动物生态学研究。E-mail: sxtshanghai@163.com

陈求稳(1974—), 男, 湖北黄梅人; 博士; 主要从事生态水力学研究。E-mail: fishlab@163.com