基于计算机视觉的鱼苗自动计数系统研究

王文静， 徐建瑜， 杜秋菊

(1 衡阳师范学院物理与电子工程学院，湖南 衡阳 421000；2 宁波大学信息科学与工程学院，浙江 宁波 315211)



基于计算机视觉的鱼苗自动计数系统研究

王文静1， 徐建瑜2， 杜秋菊2

(1 衡阳师范学院物理与电子工程学院，湖南 衡阳 421000；2 宁波大学信息科学与工程学院，浙江 宁波 315211)

摘要：为了在鱼苗的饲养、运输和销售过程中对一定数量或批量的幼苗进行精确计数，提出了一种基于计算机视觉的鱼苗自动计数系统。利用流体力学中伯努利原理(Bernoulli principle)设计了一个稳定流速的稳流水箱，使鱼苗和水一起以平稳恒定的速度流过过流计数箱体的拍摄区；使用电荷耦合元件(CCD)高速摄像头以与水流速度成比例的帧速采集图像，并传送给计算机进行图像处理；对图像进行阈值分割和目标提取后，计算出每帧图像中不重叠区域的幼苗数量，累加求得幼苗总量。结果表明，该系统计数的相对误差在15%以内，具有较高的精度。该研究不仅解决了目标粘连、连续计数和重复计数的问题，还可推广到虾苗、蟹苗等生物幼苗计数，具有通用性强、可行性好、推广范围大的特点。

关键词：计算机视觉；鱼苗自动计数；稳流装置；图像采集；图像处理

随着养殖生产规模不断扩大，鱼、虾、蟹苗在饲养、运输、销售等环节中都需精确计数。传统的计数方法有分布取样统计平均法和称重法，前者费时费力，且易受到人为主观因素的影响[1]，后者会对幼苗产生应激和物理伤害，测量过的幼苗需几天才能恢复正常摄食生长[2]。传统计数方法不能适应集约化、工厂化水产养殖育苗的需求。

计算机视觉技术是一种快速、经济、有效的测量和评价手段，在农业生产中有着广泛的应用和广阔的发展前景[3-7]。目前已有研究人员利用基于端点的细化算法[8]、目标跟踪[9]、神经网络[10-11]、四邻域标记[12]和灰度图像分析[9-10]等方法对生物幼苗进行计数，但是主要针对于单帧图像。本研究以鱼苗为例，设计了一套实时在线计数系统。

1计算机视觉鱼苗自动计数系统

系统硬件主要由光源、摄像头、过流计数箱体、稳流水箱和计算机(联想G510AM-IFI)组成(图1)。光源由白色LED灯板和导光板组成，位于摄像机正下方过流计数箱体底部。采用彩色摄像头(Basler acA640-100gm，1/4”CCD面阵摄像机)，根据摄像机CCD面阵尺寸与拍摄范围，为了拍摄出完整而不失真的图像，选取焦距5 mm的定焦镜头。

图1　计算机视觉鱼苗自动计数系统硬件装置Fig.1　The hardware system of the automaticcounting system

1.1过流计数箱体

过流计数箱体采用透明亚克力材料制成，包括入口段、稳流段和观测段。其中，入口段通过弯管与稳流装置相连，沿鱼苗进口方向向上倾斜30°，可防止水体溢出；观测段宽度18 cm，其顶面透明，沿鱼苗出口方向向上倾斜15°，以避免水流过通道时在顶面残留水滴影响处理效果；在入口段和观测段之间有一段长23 cm的稳流段，使水流扩宽以保证进入观测段的水流和苗体分布均匀，稳速流过宽18 cm的观测段(图2)。

图2　过流计数箱体具体尺寸Fig.2　The specific dimension of the flow-through counting box

1.2稳流水箱

a. 小孔出流原理图　　　　　　b. 稳流水箱原理图图3　稳流水箱的设计原理图Fig.3　Schematic diagram of the steady flow tank

2系统软件设计

2.1参数设置模块

系统软件部分主要由图像处理、数量统计和参数设置模块构成，其设计总流程如图4所示。其中参数设置模块包含4个部分：(1)生物种类的选择，通过选择物种的形状参数进行目标提取计数；(2)对计数模式的选择，当检测到开始计数时，在单桶计数、连续多桶计数模式下，计数结果分别为自动清零、在原基础上继续累加；(3)计数方式的选择，可选择打开摄像头实时采集图像或打开视频处理计数；(4)开始与停止计数的自动判定，当检测到有目标流过时，开启计数功能，当检测到目标不再运动时，自动停止计数，防止水流停止后重复计数视野中的那部分鱼苗。

图4　鱼苗自动计数系统软件设计总流程图Fig.4　Flow chart of the automatic fry counting system

2.2图像处理模块

实验采集的图像分辨率为659×494像素的彩色图像，为了提高图像处理质量，增加处理速度，在进行图像分割前，应先将彩色图像进行灰度处理[18]。彩色图像的亮度值是由红、绿、蓝3个分量决定的，要将原图像量化为256个灰度级的黑白图像，首先读取图像中每个像素的R、G、B值，通过这3个分量计算出当前像素的亮度值Y(Y=0.299×R+0.587×G+0.114×B)，然后将各个像素的R、G、B取相应的亮度值[19]，则将原图像转化为如图5a所示的灰度图像。

由于全局阈值法不适合光照不均的图像，为了将图像中的目标从背景中成功地分离出来，本文采用局部阈值法[20]，分割后的图像如图5b所示，其中白色表示目标，黑色表示背景。该方法首先将图像划分成若干互不相干的子窗口，然后以子窗口为对象进行阈值分割。实验将各个子窗口的像素设置为80×80，使用Niblack算法计算出各个子窗口的阈值。在该算法中，像素点(x,y)在大小为w×w的窗口的局部阈值T(x,y)由公式T(x,y)=m(x,y)+kδ(x,y)计算得来，其中k为给定偏差，m(x,y)、δ(x,y)分别为像素邻域的均值与标准差[21]。

为了保证图像的完整性，帧速的设计略大于水流过的速率，因此相邻两帧图像之间存在重叠区域，影响计数结果。实验使用基于区域的目标检测与跟踪法[22]，求出单位时间内目标沿水流方向移动的像素速度v1，当一帧图像的像素长度为l1，两帧图像之间的时间间隔为t，前后两帧图像之间不重叠区域的比例为r，则r=v1t/l1，由此计算出相邻两帧图像之间不重叠区域的大小为659×320像素。如图5c为避免重复计数，用裁剪法将重叠区域裁剪后的图像。

因为水中杂质和水波等因素的影响，二值化后的图像存在一些白色的小噪声，这会影响计数结果，所以在计数前，对于面积和周长小于某一阈值的连通域，将其置为黑色，转换为背景，以去除噪声[23]。提取目标后的图像如图5d 所示。

2.3目标数量统计模块

a. 灰度处理图像b. 分割后图像

c. 裁剪后图像　　　　　　d. 目标提取后图像图5　图像处理过程Fig.5　Diagram of image processing process

3试验与结果

3.1试验设计

红色斑马鱼(Daniorerio)鱼苗购买于宁波东城花鸟市场，体长2～3 cm，平均体重0.2～0.3 g。实验前先调节好摄像机的位置，关闭所有阀门和开关，然后将鱼苗和水加入稳流水箱并盖好密封盖，运行软件程序，同时打开进气阀门和球阀开关，使幼苗随着水流平稳、慢速地流过过流计数箱体，以7帧/s的速度采集视频图像，并传入计算机进行处理。其中图像采集的帧速(x，帧/s)是由水流过观察管段的速度(v，m/s)和拍摄视野范围长度(l，m)决定的，其关系式为x=v/l，其值应略大于水流过的速率，以保证采集图像的完整性。

3.2数据统计与结果

为了验证该方法的可靠性和准确性，人工数取红色斑马鱼样品400、600、800、1 000尾，每个数量样品实验重复4次，共 16 次计数试验，记录该系统测量出来的鱼苗数量，计算绝对误差和相对误差(表1)。由表1可知，鱼苗计数的相对误差不超过15%，平均相对误差为7.4%；对400尾和600尾鱼苗计数的相对误差不超过14%，对800尾和1 000尾鱼苗计数的相对误差不超过11%。这说明该系统能够比较准确地计算出鱼苗的数量。

表1　鱼苗自动计数系统计数误差分析

4讨论

4.1计数方法比较

朱从容等[13-14]利用摄像头采集水箱中幼苗的图像，利用数据拟合的方法建立灰度图像中鱼苗所占像素点数与鱼苗数量的关系，由此对鱼苗进行计数。王硕等[24]针对单帧大菱鲆鱼苗的计数问题，提出了一种基于曲线演化的图像处理方法来解决目标粘连的问题。上述研究主要针对一帧图像进行方法上的验证。本研究主要对一桶、多桶或一批鱼苗连续实时在线计数，处理对象至少是几百帧，得到的结果是鱼苗总量，且将软硬件结合投入到实际生产中使用测试，这是一种系统化的探索。

4.2计数时间比较

Chatain等[25]利用计算机视觉和图像处理技术，以12万尾鱼作为研究对象，实验证明，人工计数法要耗时12 h，而计算机视觉法总共耗时3 h，平均每1 200尾鱼耗时108 s。Toh等[26]通过阀门控制使幼苗(每次1～50尾)从水箱中自动流入透明的小容器中进行计数，实验发现若每次进入小容器的幼苗从15尾增加到30尾时，计数时间为原来的4倍，若增加水箱中幼苗数量，计数时间也会相应延长。本实验发现，1桶苗的计数时间(即这桶水从稳流装置中流出的时间)与进气阀到稳流装置底部的高度和底部球阀的尺寸有关。实验选用直径为38.1 mm的球阀，若将一桶20 L水和1 200尾幼苗倒入稳流装置，流过观测段并计数的时间大约为30 s，计数速度大大提高；若幼苗数量增多使密度增大、交叠情况严重时，可通过在水箱中加水稀释来保证计数时间。

若对大批幼苗的连续计数，可将稳流水箱改成顶部开口，外加溢流管和补水管，使流入的水体等于流出的水体，以保证箱体中的水位稳定、出流流速恒定[27]。虽流速要比所述顶部密封的稳流装置快，但通过增加图像采集帧速和裁剪区域也可快速准确地计数。

4.3系统尚需完善的部分

该自动计数系统的可行性已通过验证，为进一步提高效率和精度，尚需从以下几个方面改进：(1)系统相对误差控制在15%以内，可进一步优化建立比较稳定的拍摄环境，排除光照、拍摄角度等因素影响。(2)研究对象除了鱼苗，也用蟹、虾苗进行了实验，其中蟹苗的形状比较圆，选用长宽比作为特征参数就比较容易识别，虾苗的形状特征和鱼苗相差不大，因此该方法同样适用于虾、蟹苗。由于个体之间存在差异，如密度比较大时，虾苗容易发生交叠，蟹苗容易堵塞出苗口，影响实验，可进一步量化实验结果，优化计数方法和装置。(3)误差分析时可以增加幼苗样品的数量、种类和实验重复次数，以得到更准确的数据。

5结论

利用计算机视觉技术对鱼苗进行计数，在硬件方面，利用流体力学原理设计了一个稳定流速和过流计数装置，对连续计数、系统稳定性和提高精度起了较大作用；在软件上，通过比较目标面积和平均面积确定粘连目标的数目，用目标标定与跟踪法计算不重叠区域的大小后对图像进行裁剪，以避免重复计数。该方法适用于单桶、多桶和大批量幼苗的连续计数，也可推广到虾苗、蟹苗等生物物种。在以后的研究过程中可增加实验鱼苗的数量，利用该系统对虾苗、蟹苗进行精确计数，不断优化计数方法和装置，以得到更严谨的实验结果和结论。

□

参考文献

[1]许斐力,马应森,黄应生.分布取样式鱼(虾)苗计数器：CN88202836.7 [P]. 1989-12-13.

[2]卢建琦.称重式鱼(虾)苗计数方法及其设备：CN88100193.7 [P]. 1989-8-9.

[3]徐建瑜,刘鹰,崔绍荣,等.计算机视觉技术在鱼类应激状态监测中应用研究[J].渔业现代化, 2008, 35(3)：15-18.

[4]徐建瑜,崔绍荣,苗香雯,等.计算机视觉技术在水产养殖中的应用与展望[J].农业工程学报, 2005, 21(8)：174-178.

[5]徐愫,田云臣,马国强,等.计算机视觉在水产养殖与生产领域的应用[J].天津农学院学报, 2014, 21(4)：43-46.

[7]GOMES J F S, LETA F R. Applications of computer vision techniques in the agriculture and food industry：a review [J]. European Food Research & Technology, 2012, 235(6)：989-1000.

[8]范嵩,刘娇,杨轶.图像识别技术在鱼苗计数方面的研究与实现[J].水产科学, 2008, 27(4)：210-212.

[9]FOSTER M, PETRELL R, ITO M R,etal. Detection and counting of uneaten food pellets in a sea cage using image analysis [J]. Aquacultural Engineering, 1995, 4(3)：251-269.

[10]FAN L Z, LIU Y. Automate fry counting using computer vision and multi-class least squares support vector machine [J]. Aquaculture, 2013, 380-383：91-98.

[11]NEWBURY P F, CULVERHOUSE P F, PILGRIM D A. Automatic fish population counting by artificial neural network [J]. Aquaculture, 1995, 133(1)：45-55.

[12]刘世晶,陈军,刘兴国,等.基于图像处理技术的小球藻荧光图像自动计数方法研究[J].渔业现代化, 2012, 39(5)：16-19.

[13]朱从容.一种基于机器视觉的鱼苗自动计数方法[J].渔业现代化, 2009, 36(2)：25-28.

[14]朱从容.基于计算机视觉的鱼苗自动计数系统：CN200810162176.1 [P]. 2009-5-13.

[15]赵毅山.流体力学[M]. 上海：同济大学出版社, 2004：69-87.

[16]陈一之. 基于伯努利方程实验仪的流体力学综合实验仪研制[J]. 长沙大学学报：自科版, 2005, 2(1)：26-27.

[17]梁智权. 流体力学[M]. 重庆：重庆大学出版社, 2002：101-103.

[18]孙劲光, 张丈斌, 朱世安. 图象灰度的处理方法及实现[J]. 辽宁工程技术大学学报：自然科学版, 2002, 21(3)：340-341.

[19]薛同泽,崔博.基于计算机图像识别技术的坯布疵点检测研究[J].仪表技术与传感器, 2008(6)：109-112.

[20]王序哲.局部自适应二值化方法研究[J].软件导刊, 2011,10(11)：13-14.

[21]符翔,张剑,王维,等.一种新的局部阈值分割算法[J].计算机应用与软件, 2015, 32(4)：195-196.

[22]庞静洁.基于视频的鱼类运动目标检测与跟踪方法研究[D].秦皇岛：燕山大学, 2014.

[23]黄玲,胡波,曹乃文.基于图像处理的鱼苗计数方法[J].湖北农业科学, 2012, 51(9)：1180-1182.

[24]王硕,范良忠,刘鹰,等.基于计算机视觉的大菱鲆鱼苗计数方法研究[J].渔业现代化, 2015, 42(1)：16-19.

[25]CHATAIN B, DEBAS L, BOURDILLON A. A photographic larval fish counting technique：comparison with other methods, statistical appraisal of the procedure and practicaluse [J]. Aquaculture, 1996, 141：83-96.

[26]TOH Y H, NG, T M , LIEW B K. Automated fish counting using image processing[C]// Computational Intelligence and Software Engineering, 2009：1-5.

[27]徐建瑜,王文静,王春琳,等.基于计算机视频处理的鱼虾蟹苗自动计数装置及其方法：CN201210244520.8[P]. 2012-12-15.

Study on a computer vision based automatic counting system of fries

WANG Wenjing1, XU Jianyu2, DU Qiuju2

(1CollegeofPhysicsandElectronicEngineering,HengyangNormalUniversity,Hengyang421000,China; 2InstituteofInformationScienceandTechnology,NingboUniversity,Ningbo315211,China)

Abstract：To realize the real-time, online, and accurate counting of a certain amount or quantities of seedlings during farming, transportation and marketing, this research proposes an automatic counting system of fries based on computer vision. A tank device with steady flow velocity was designed according to Bernoulli principle in Fluid Mechanisms, enabling the seedlings and water to pass through the shooting area of the flow-through counting box more stably and constantly. Images were acquired using high speed CCD camera which had a frame rate consistent with the flow rate, and then transferred to a computer for image processing. The method of image threshold segmentation and target recognition was used, to work out the number of the seedlings that were non-overlapping in each frame image and then get the total number through adding up all the numbers. The experimental results showed that the relative error of the counting system was lower than 15%; in other words, it was of high precision. This counting system has solved the problems of target adhesion, continuous counting and double-counting, and could also be extended and applied in the seedling counting of shrimps, crabs and other biological organisms. In general, this method has the features of versatility, good feasibility and wide applicability.

Key words：computer vision; automatic counting of fries; steady flow; image capture; image processing

DOI：10.3969/j.issn.1007-9580.2016.03.007

收稿日期：2016-01-12修回日期：2016-04-28

基金项目：浙江省重大科技攻关专项(2011C11049)；宁波市科技创新团队“海洋蟹类产业科技创新团队(2011B81003)”；衡阳师范学院省级平台开放基金项目“基于机器视觉的生物幼苗数量估计(GD15K08)”；衡阳师范学院基金青年项目“基于虚拟仪器技术的室内环境监测系统的设计(14A05)”

作者简介：王文静(1988—)，女，助教，研究方向：计算机视觉与图像处理。E-mail：461621123@qq.com 通信作者：徐建瑜(1973—)，女，副教授，博士，研究方向：生物图像处理。E-mail：xujianyu@nbu.edu.cn

中图分类号：TP391.41

文献标志码：A

文章编号：1007-9580(2016)03-034-06