基于机器视觉的点带石斑鱼异常行为识别方法研究

徐 愫， 邢克智， 田云臣， 马国强， 包 蕊， 路 宁

(1天津农学院水产学院，天津300384；2 天津市水产生态与养殖重点实验室，天津300384；3天津农学院计算机与信息工程学院，天津300384；4 天津市农村工作委员会信息中心，天津 300061)



基于机器视觉的点带石斑鱼异常行为识别方法研究

徐 愫1,2， 邢克智1,2， 田云臣2,3， 马国强3， 包 蕊4， 路 宁4

(1天津农学院水产学院，天津300384；2 天津市水产生态与养殖重点实验室，天津300384；3天津农学院计算机与信息工程学院，天津300384；4 天津市农村工作委员会信息中心，天津 300061)

应用机器视觉技术对点带石斑鱼(Epinephelusmalabaricus)异常行为进行识别并及时报警有助于提高点带石斑鱼存活率，减少养殖过程中人力损耗。在养殖水体中氨氮、温度、pH等不变的条件下，通过人工调节水体溶氧浓度以获取点带石斑鱼正常与异常状态下的图像，对采集到的图像使用前景提取、二值化、开运算、中值滤波等方法进行处理后，选取正常状态与异常状态下2张图像进行差分运算，以得到2种状态下鱼口面积差图。利用鱼眼形状获取鱼眼中心坐标，由此剪裁出只包含鱼口的目标图像。根据鱼口面积判断鱼口张、闭状态与时长，若鱼口持续张开2 min，视为鱼类出现异常行为并进行报警。利用50条大小相近的点带石斑鱼对实验方法进行验证，结果表明，实验方法能有效识别点带石斑鱼的异常行为。该方法的提出有利于提高水产养殖效益，促进水产养殖现代化发展。

点带石斑鱼；图像处理；异常行为；机器视觉；报警

点带石斑鱼(Epinephelusmalabaricus)对环境适应性强，肉质鲜美，是我国东南沿海重要的海水养殖对象[8-9]。目前，对点带石斑鱼的研究多基于其生理生化指标，对其行为的研究较少。点带石斑鱼作为新兴名贵经济鱼种[10]，在养殖过程中，其异常状况主要依靠人工观察，效率低且难以及时发现[11]。应用机器视觉技术对点带石斑鱼行为进行监测与分析、对其异常行为及时报警是典型的物联网技术应用[12]，也有助于提高点带石斑鱼存活率，增加养殖收入。健康的点带石斑鱼常年栖息在水底，口部紧合或微张，除进食外不爱游动。当其处于严重缺氧或感染海水小瓜虫[13]等异常状态时，鱼口持续处于张开状态。因此可通过摄像机连续拍照，实时获取点带石斑鱼口部张合状态图像，对图像进行分割、处理、分析，进而判断其行为是否异常并对异常行为及时报警。

1 试验环境与图像采集

1.1 硬件环境

图像获取硬件环境主要包括计算机、HDMI延长器、玻璃鱼缸以及4个USB摄像头(图1)。摄像头分辨率为1 280×720，传送速率为30 fps/s；HDMI延长器可形象地理解为计算机与摄像头之间的“连接桥”；4个USB摄像头分别与延长器的USB3.0接口进行连接；通过双绞线将计算机与延长器连接，如此即可实现长距离的图像无损传输。

图1 图像获取硬件环境Fig.1 Image acquisition hardware environment

1.2 水体环境

本试验在较清澈水体环境下选用1条有代表性的点带石斑鱼作为研究对象。为获取点带石斑鱼正常溶氧和低溶氧条件下的行为图像，在水温、氨氮、pH等水质指标基本不变的前提下，调节溶氧浓度，分别构造出适宜和不适宜点带石斑鱼生存的水质环境。适宜水质环境：pH8.28～8.23，

温度23～26 ℃，溶氧6.69～6.78 mg/L，氨氮0.062～0.066 mg/L。不适宜水质环境：pH8.28～8.23，温度23～26 ℃，溶氧3.45～3.53 mg/L，氨氮0.062～0.066 mg/L。

Risk Evaluation and Ranking Model for Safety Management of Shipping Companies

1.3 图像采集方法

将平均体长为16.5 cm、平均体重为166.5 g的50条点带石斑鱼置于缸内作为拍摄对象。为获取高质量图像，对置于缸底的4个摄像头进行防水处理，设定摄像头与鱼体距离为20 cm。在Matlab环境下编写连拍程序，触发“拍照程序”按钮后每秒自动拍摄1张照片，连续拍照120张后停止。拍到的照片以拍摄顺序自动命名，存入指定文件夹，命名为“正常状态”文件夹。之后停止供氧1 h，待鱼口张开后再次连续拍摄120张照片，以拍摄顺序自动命名，存入命名为“异常状态”的指定文件夹。从2个文件夹中各筛选出特征最明显的3张照片作为原始图像，并根据对应关系把原始图像分为1、2、3组(图2)。

图2 原始图像Fig.2 Original images

2 试验方法

对获取的原始图像进行分割、二值化、开运算等前期处理，选取序号相邻的两张图像进行差分运算，得到1张只保留鱼体运动轨迹的新图像，并将其命名为鱼类行为差图；第二步，任选一张用于差分运算的对应图像作为特征识别图像，以鱼眼作为识别特征，结合特征识别图像找出鱼眼并计算鱼眼圆心坐标；第三步，通过鱼眼坐标对鱼类行为差图进行剪裁，获得只含有鱼嘴的目标图像；第四步，计算目标图像中代表鱼口状态的白色区域面积；最后，循环使用差分法计算鱼口的张开时长，若鱼口持续张开状态达2 min，即触发报警。

处理流程：图像采集→图像分割→二值化→开运算→中值滤波→通过差分运算获取鱼类行为差图像→检测鱼眼，获取鱼眼中心坐标→结合鱼类行为差图与鱼眼中心坐标，剪裁包含鱼口的目标图像→计算目标图像中白色区域面积→计算目标图像中白色区域面积→判断鱼口张合状态，计算张开时长→报警。

2.1 图像预处理

将获取的原始图像由RGB转化为HSV[14]，通过Hue分量对图像进行分割[15]，将鱼的主体与图像背景分离，之后对图像进行二值化、开运算、中值滤波处理，得到图3。

图3 中值滤波Fig.3 Median filtering

2.2 图像差分运算

图像差分运算可用于监测物体的变化和运动[16]。将图3中每组图像相减，结果如图4。其中A区域表示鱼尾鳍与背鳍的运动，B区域表示鱼胸鳍的运动，C区域表示鱼口的运动。

图4 差分运算Fig.4 Differential operation

2.3 图像特征提取

2.3.1 鱼眼识别

试验中，将点带石斑鱼鱼口作为图像特征，通过计算鱼口的张开幅度和持续时长，对鱼的行为进行识别。因鱼在水中游动等因素会影响到鱼口张合的判断，所以需将图像中鱼口部分进行精确裁剪以得到易于识别、分析的目标图像。把鱼口作为唯一的图像特征对图像进行裁剪存在一定难度且精度不高。而点带石斑鱼鱼眼始终处于睁开状态，鱼眼形状易于识别，且鱼眼距鱼口较近，所以在裁剪图像时可首先识别鱼眼，进而裁剪图像，将鱼口部分从图像中准确分离。

因鱼眼形状基本为圆形，故可通过检测图像中的圆形进而找到鱼眼，之后再计算出圆心坐标，以此作为目标图像裁剪参考坐标。通过公式(1)可以判别图3中是否存在圆形。

F=P2/4πA

(1)

式中：P、A分别表示图3中白色联通区域的周长与面积；P、A的值可通过Matlab中regionprops函数的Perimeter属性与Area属性获取。当白色联通区域为圆形时，F=1；当为其它任意形状时，F≠1。在处理过程中，由于光照、拍摄角度等外部原因，会出现鱼眼边缘消失或膨胀等状况。通过对多组鱼眼进行识别，设置0.93≤F≤1.06[17]。

结合公式(1)与图3中每一组中任意一张图像，可对该组图像中的鱼眼进行检测，然后利用regionprops函数的Centroid属性得到鱼眼圆心坐标，将该坐标设为(M，N)。

2.3.2 图像裁剪

利用得到的鱼眼圆形坐标，使用Matlab中imcrop函数，通过代码B=imcrop(A,[M-10 N-20 50 50])可以通过图4得到对应3张左下角起点坐标为(M-10，N-20)、大小为50×50的目标图像，命名为“鱼嘴张合状态判别图像”(图5)。

图5 鱼嘴张合状态判别图像Fig.5 The discrimination images of fish mouth state (open or close)

2.4 图像分析

将图5白色区域的面积设为Sn，Sn可以由regionprops 函数的Area属性获得，得到S1=37，S2=54，S3=39。设判定单条点带石斑鱼鱼口状态的白色区域面积为S’，在实验环境下对50张判别图像进行人工统计，可得到公式(2)，部分统计结果见表1。其中，口部运动状态表示鱼口从闭合到张开、口部静止状态表示鱼口持续张开或持续闭合、游动状态表示鱼体游动。

(2)

2.5 异常行为自动报警

试验中，每一次启动连拍获取到120张图像，按次序命名为1、2、3……120。将这120张图像前后相邻的2张分为一组，经过图像处理、差分运算、鱼眼识别、图像剪裁等步骤，每一组图像产生1张鱼口状态的判别图像，总共产生119张鱼口状态判别图像，即Sn(n=1’，2’，3’……198’，119’)。由于试验用鱼最初都是处于健康状态，所以对第n张图像，当28≤Sn<55时，即可判断鱼口从闭合状态转为张开状态。在鱼口张开前提下，若Sn<28，则鱼口没有闭合，以此类推。如果n=119，表示点带石斑鱼持续张口时间达2 min以上，触发报警。报警流程如图6所示。

图6 报警流程图Fig.6 The flow chart of warning

3 结果与分析

在不同水质条件下采集点带石斑鱼图像，通过对图像进行处理、分析、计算，获取点带石斑鱼口部张合状态和张开程度，以此判别点带石斑鱼行为是否异常，实现对其健康状况的监测和报警。分别选择正常状态、异常状态各25条点带石斑鱼对实验方法进行验证，正常情况下报警0次，异常情况下报警21次，准确率为84%。

利用计算机视觉技术从不同角度对鱼类异常行为的识别方法进行研究已有相关报道。如：通过提取鱼体图像(色度、亮度、饱和度、方差等)作为图像颜色特征值以识别鱼体异常状况[18]；通过鱼体颜色变化识别大黄鱼孤菌病[19]；通过鱼的运动轨迹判断鱼类行为是否异常[20]。与这些方式相比较，本试验方法需要的设备种类少、成本低、操作简便，实验方法算法简单，程序代码少，对计算机性能要求不高。

4 结论

应用本方法对点带石斑鱼进行监测，可实时获取、识别其行为状态，并对其异常行为及时报警，降低了劳动强度、生产成本和点带石斑鱼死亡率，提高了生产效率和管理水平。但由于实验环境与养殖环境存在一定的差距，水体浑浊、鱼体大小不一、多条鱼等实际养殖条件下鱼类异常行为的识别方法有待于进一步研究。

□

[1] LIU YING，FANG LIANG ZHONG. Automate fry counting using computer vision and multi-class least squares support vector machine[J]. Aquaculture, 2013,380-383：91-98.

[2] ZION B,SHKLYAR A,KARPLUS I. In-vivo fish sorting by computer vision[J]. Aquacultural Engineering,2000,22(3)：165-179.

[3] 张志强,牛智有,赵思明.基于机器视觉技术的淡水鱼品种识别[J].农业工程学报,2011,27(11)：388-392.

[4] 李贤,范良忠,刘子毅,等.基于计算机视觉的大菱鲆对背景色选择习性研究[J].农业工程学报,2012，28(10)：189-193.

[5] MA HENG，FANG TSAI-TSUENG，LIU CHIA-CHENG. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems with Applications,2010,37(7)：5158-5171.

[6] ISRAELI D，KIMMEL E. Monitoring the behavior of hypoxia-stressed Carassius auratus using computer vision[J]. Aquacultural Engineering,1996,15(6)：423-440.

[7] 刘星桥,孙玉坤,赵德安,等.采用图像处理技术对鱼体健康状况监视和预报[J].农业工程学报,2005,21(6)：118-121.

[8] 逯尚尉,刘兆普,余燕.密度胁迫对点带石斑鱼幼鱼生长、代谢的影响[J].中国水产科学,2011,18(2)：322-328.

[9] 毛海涛,孙敬锋,王庆奎,等. 点带石斑鱼血液指标、血细胞分类与发生的观察[J].水产科学,2015,34(4)：214-219.

[10]王建钢,乔振国,于忠利.点带石斑鱼对盐度适应性的初步研究[J].现代渔业信息,2009,24(6)：23-24.

[11]刘欢.我国水产养殖业生态化研究[D].南京：南京林业大学,2014.

[12]蒋高中. 20世纪中国淡水养殖技术发展变迁研究[D].南京：南京农业大学,2008.

[13]周燕侠,彭珊. 海水网箱养殖中海水小瓜虫病的防治[J].科学养鱼,2007(12)：53-54.

[14]赵宇杰,姚娟文,赵彦敏. 基于Matlab的数字图像色彩空间转换与应用[J].电子技术与软件工程,2015(5)：113.

[15]于翔,李莹. HSV颜色空间的量化对南通蓝印花布颜色直方图影响的比对研究[J].电子游戏软件,2014(15)：111-113.

[16]韦琳,凃玲英. Matlab应用于数字图像处理教学的探讨[J].科教导刊：上旬刊,2015,1(8)：98-99.

[17]杨杰,黄朝兵.数字图像处理及matlab实现[M].北京：电子工业出版社,2015：1-294.

[18]孙学岩.基于内容的鱼病图像检索算法研究与实现[D].北京：中国农业大学,2005.

[19]孟祥辉.基于机器视觉的养殖大黄鱼弧菌病监测技术研究[D].成都：电子科技大学,2013.

[20]张迎霞.面向水质监测的鱼类行为异常识别方法研究[D].杭州：浙江工业大学,2011.

Study on the identification of abnormal behavior ofEpinephelusmalabaricusbased on computer vision

XU Su1, XING Kezhi1,2, TIAN Yunchen3, MA Guoqiang3, BAO Rui4, LU Ning4

(1 College of Aquaculture, Tianjin Agricultural University, Tianjin 300384, China 2 Tianjin Key Laboratory of Aqua-Ecology and Aquaculture, Tianjin 300384, China 3 College of Computer and Information Engineering, Tianjin Agricultural University, Tianjin 300384, China 4 Information Center of Tianjin Rural Work Committee, Tianjin 300061, China)

The application of computer vision technology on identification and warning ofEpinephelusmalabaricus’ abnormal behavior is helpful to improve theEpinephelusmalabaricus’ survival rate, reduce the loss of human resources in the culture process. Under the condition of constant ammonia nitrogen, temperature, pH value, through artificially adjusted dissolved oxygen concentration in culture water,Epinephelusmalabaricus’ images under normal and abnormal conditions were obtained. The collected images were processed using foreground extraction, binarization, open operation, median filtering method, then two images under normal condition and abnormal condition were selected for differential operation to get the differential image of mouth area under the two conditions. The fisheye center coordinate was obtained based on the fish eye shape. So that, the image only contained the fish mouth based on the fisheye center coordinates could be cut out. The fish mouth state (open or close) and lasting time were judged according to mouth areae. If the fish mouth was open for 2 minutes, it was regarded that the fish appeared abnormal behavior and would give warning. 50Epinephelusmalabaricuswith uniform size were used to verify this method, and the results indicated that the method could effectively identify the abnormal behavior ofEpinephelusmalabaricus. In conclusion, the proposed method is beneficial for improving the efficiency of the aquaculture, and promoting the development of modern aquaculture.

Epinephelusmalabaricus; image processing; abnormal behavior; computer vision; warning

2015-06-24

2015-10-02

公益性行业(农业)科研专项“现代渔业数字化及物联网技术集成与示范(201203017)”；天津市科技支撑计划“水产养殖业物联网技术集成研究与应用示范(14ZCZDNC00009)”

徐愫(1990—)，女，硕士研究生，研究方向：计算机视觉技术。E-mail：1184507518@qq.com

邢克智(1956—)，男，教授，研究方向：水产生态与养殖。E-mail：kzxing6668@126.com

田云臣(1967—)，男，教授，研究方向：水产养殖业信息技术。E-mail：tianyunchen@tjau.edu.cn

10.3969/j.issn.1007-9580.2016.01.004

S965.334

A

1007-9580(2016)01-018-06