基于计算机视觉的头足类角质颚特征研究I:轮廓与特征点提取*

贺芊菡 孙翁杰 刘必林, 3, 4, 5, 6 孔祥洪, 4 林龙山

基于计算机视觉的头足类角质颚特征研究I:轮廓与特征点提取*

贺芊菡1孙翁杰2刘必林1, 3, 4, 5, 6①孔祥洪1, 4林龙山7

(1. 上海海洋大学海洋科学学院 上海 201306; 2. 上海海洋大学信息学院 上海 201306; 3. 大洋渔业资源可持续开发教育部重点实验室 上海 201306; 4. 国家远洋渔业工程技术研究中心 上海海洋大学 上海 201306; 5. 农业农村部大洋渔业开发重点实验室 上海 201306; 6. 农业农村部大洋渔业资源环境科学观测实验站 上海 201306; 7. 自然资源部第三海洋研究所 厦门 361005)

轮廓与特征点研究是头足类角质颚形态特征鉴别的基本方法, 对于轮廓与特征点的提取最常用的方法是手动描绘与标定, 利用计算机视觉进行轮廓与特征点的提取, 不仅可以降低手动提取带来的误差、提高准确性, 而且更加快速、便捷。文章将利用计算机视觉提取头足类角质颚的轮廓与特征点, 首先将自制装置拍摄得到的角质颚三视图放入MTALAB软件中进行编程处理, 然后利用Canny算法提取角质颚轮廓, 最后根据地标点的定义标定特征点位置并建立空间坐标系得到角质颚的特征点坐标。研究结果显示, 利用计算机视觉提取角质颚的轮廓图像以及特征点坐标是可行的, 当标准差σ取值为0.1时角质颚轮廓图效果最佳, 在得到的轮廓图上进行特征点的标定, 通过迭代遍历轮廓图获得各个特征点的空间坐标。研究分析认为, 将计算机视觉应用于头足类角质颚形态学的研究可以提高研究的便捷性, 同时也为后续的研究提供了新的实验思路和方法。

角质颚; 特征点; 计算机视觉; 边缘识别

角质颚是头足类的摄食器官, 其形态特征在头足类的种类鉴定、种群判别、摄食生态等方面得到广泛应用(刘必林等, 2009, 2015, 2018)。角质颚特征点是根据角质颚形态特征选取的重要地标点(Neige, 2002), 多用于角质颚轮廓以及形态参数的提取(刘必林等, 2016)。手动提取地标点是获取角质颚特征点的传统方法(方舟等, 2014), 而利用计算机视觉进行角质颚形态特征研究是一种新方法, 它可提高特征点提取的便捷性。计算机视觉在生物学研究中的作用日益凸显(周鸿斌, 2009), 例如国外学者利用计算机视觉研究鱼类耳石的形态特征(Rypel, 2008)。Canny算法属于一种优化轮廓算法(王小俊等, 2012), 在图像轮廓识别中具有重要作用, 由于其准确性高、成像好等特点(林卉等, 2003), 在农业、医学、工业等领域中应用广泛, 并逐渐应用于生物学领域(郑晖等, 2009; 李沙等, 2013)。本文利用Canny算法进行角质颚边缘识别并得到轮廓图, 再通过MATLAB编程将角质颚的轮廓图进行优化处理, 标定角质颚的特征点并计算其空间坐标, 以探讨计算机视觉提取角质颚轮廓和特征点的可行性,旨在为角质颚形态特征的研究提供更加快速、准确的方法。

1 材料与方法

1.1 材料来源

实验用1尾鸢乌贼()样品来源于2019年1—2月在印度洋进行灯光围网生产时所采集, 地点位于17°4′N—17°18′N, 61°5′E—61°35′E。样品实验室解冻后提取其角质颚并放入75%的酒精中保存。

1.2 角质颚三视图的拍摄

利用自制拍摄装置对角质颚(上颚和下颚)进行拍照, 装置利用两个45°三棱镜光线反射原理, 经一次拍摄同时获取口视、腹视和侧视图(图1, 图2)。

注: 1. 角质颚样本; 2. 入射光线; 3. 反射光线; 4. 45°三棱镜; 5. 入射光线; 6. 反射光线; 7. 载玻片; 8. 反射光线; 9. 入射光线

图2 角质颚三视图

注: a, b, c分别为上颚侧视图、腹视图和口视图; d, e, f分别为下颚侧视图、腹视图和口视图。其中黑色线条为比例尺(1cm)

1.3 角质颚轮廓的提取

利用Canny算法提取角质颚轮廓, 其主要步骤如下:

(1) 将上颚和下颚三视图进行灰度化处理(帅晓华, 2019), 得到角质颚灰度图(图3)。

(2) 利用2D高斯滤波模板和原图像进行卷积来消除噪声, 此研究的模板大小为5*5。二维高斯函数如式所示(肖强明等, 2011):

图3 角质颚灰度图

注: a, b, c分别为上颚三视图的灰度图; d, e, f分别为下颚三视图的灰度图。其中黑色线条为比例尺(1cm)

其中, 标准差σ的取值决定了图像的平滑程度, 研究中分别取标准差σ为10, 1, 0.1, 0.01进行分析。

(3) 利用导数算子求出图像灰度沿着2个方向的导数G和G, 并求出梯度的大小和方向(王绪四等, 2011):

(4) 利用非极大值抑制(non-maximum suppression)消除边缘检测带来的杂散响应(Herout, 2012), 即将边缘最大值之外的所有梯度值抑制为0, 对梯度图像中每个像素进行非极大值抑制的算法为: 将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较, 如果当前像素的梯度强度与另外两个像素相比最大, 则该像素点保留为边缘点, 否则该像素点将被抑制。

(5) 通过双阈值计算边缘(张晶晶等, 2011), 凡是小于低阈值的一定不是边缘, 凡是高于低阈值的一定是边缘, 如果检测结果在两个阈值之间, 那么检查这个像素的邻接像素中有没有超过高阈值的边缘像素, 若没有则它不是边缘, 否则就是边缘。

(6) 通过抑制孤立的弱边缘最终完成轮廓检测(Woodman, 2001)。为了获得准确的结果, 应该抑制由双阈值计算引起的弱边缘, 通过查看弱边缘像素及其8个邻域像素, 只要其中一个为强边缘像素, 该弱边缘点就可以保留为真实的轮廓。

1.4 角质颚特征点的提取

根据前人研究, 对上颚和下颚各10个特征点进行标定并编号1—10 (Neige, 2002, 表1)。利用MATLAB设计算法提取角质颚特征点, 具体步骤如下: 迭代遍历图像中角质颚的轮廓, 获取角质颚的边缘信息建立二维坐标系, 坐标系的原点位于图像的左下角; 沿角质颚轮廓迭代遍历全图, 优先提取特征明显的特征点, 获取二维坐标; 通过已提取的部分特征点适当分割图像, 减少提取其他特征点所需遍历的范围, 最后提取所有特征点在该视图上的二维坐标; 根据各特征点在三视图上的二维坐标, 建立空间三维坐标系, 通过算法运算得出所有特征点的三维坐标。

表1 角质颚地标点的定义(Neige, 2002)

2 结果

2.1 角质颚轮廓的提取

利用Canny算法将预处理的灰度图进行轮廓识别, 分别设置σ值为10、1、0.1和0.01得到不同清晰度的轮廓图(表2, 图4, 图5), 当σ取值为0.1得到上下颚三视图的轮廓清晰连续, 不存在虚假轮廓, 且角质颚色素变化明显的部分清晰可见(图6)。

表2 σ值对轮廓识别的影响

图4 σ取值不同的结果图

注: 图中柱状形状表示比例尺长度为1cm

图5 σ取值为0.1和0.01的轮廓放大图

图6 角质颚轮廓图

注: a, b, c分别为上颚三视图的轮廓图; d, e, f分别为下颚三视图的轮廓图。其中黑色线条为比例尺(1cm), 白色箭头所指为角质颚色素变化明显部位

2.2 角质颚特征点提取

根据上、下颚特征点标定的定义与标定图(表3, 图7), 结合上、下颚三视图(图2), 将标定的特征点显示于三维空间坐标系中, 由于一些特征点在空间中形成的是对称点, 故存在两个坐标, 须用不同编号加以区分(图8)。上颚2号、3号和7号特征点存在对称点; 下颚2号、3号、4号和9号特征点存在对称点。根据得到的上、下颚特征点空间坐标系进行编程运算, 得到样本每个特征点的空间坐标(表4)。

表3 角质颚特征点标定的定义

Tab.3 The definition of characteristic point calibration of the beak

图7 角质颚特征点标定图

注: 黑色线条表示比例尺(1cm)

图8 上下颚特征点空间坐标系

3 讨论

3.1 角质颚轮廓的提取

由角质颚轮廓图(图6)可知, 利用Canny算法不仅可以清晰提取角质颚轮廓, 还可以显示角质颚色素变化明显的部分(林静远等, 2020)。由σ取值的变化可以看出(表2, 图4), 选取合适的σ值对于角质颚轮廓的提取有着重要作用。σ值过大容易造成虚假轮廓, 轮廓模糊的问题; σ值过小时, 图片的变化较小, 但放大后看到提取的轮廓不够平滑(图5), 对于特征点的提取容易造成误差(陈宏希, 2006; 陈楠桦等, 2018), 因此选取合适的σ值可以得到清晰的轮廓且可以提高特征点提取的准确性。

表4 角质颚特征点坐标

Tab.4 Coordinates of characteristic points of the beak

利用MATALB软件运行Canny算法是为了获取图像的最优轮廓(周志宇等, 2008)。利用计算机视觉对头足类角质颚形态特征进行识别, 不仅可以提取清晰的轮廓图, 还能确定色素变化明显的部分, 这些角质颚轮廓的细微区别可用于头足类种类和群体的判别中(陈芃等, 2015)。计算机视觉的便捷性和准确性将大幅促进头足类角质颚形态学的应用研究。

3.2 角质颚特征点的提取

本研究依据地标点的定义对特征点进行标定(图7), 并结合角质颚三视图得到上、下颚特征点的空间坐标系(图8), 并提取各特征点的三维空间坐标(表4)。特征点的三维空间坐标不仅可以用于角质颚形态参数的提取, 还可以应用于头足类种群判别与种类鉴定等研究(刘必林等, 2015; 马迪等, 2018)。

在提取特征点的过程中发现, 对于切点的提取尤为关键, 需要结合已知的特征点进行切线运算。切点的提取需要进行迭代遍历, 遍历的最小单位为1/10个像素点(李慧敏等, 2017), 通过不断的迭代寻找到距离切线最远的点即为切点。利用计算机视觉对轮廓进行运算分析, 确定每个特征点的位置和坐标, 提高了寻找特征点的效率和确定特征点位置坐标的准确性。因此, 利用计算机视觉进行角质颚特征点的提取是切实可行的新方法, 为后续利用计算机视觉进行角质颚形态学研究打下了基础。

4 结论

通过本研究分析可知, 利用计算机视觉提取角质颚轮廓和特征点是切实可行的, 不仅得到了清晰的轮廓图和色素突变的位置, 还标定了各特征点的空间坐标, 继而可用于计算角质颚形态参数。自动化识别模式已广泛应用于生物学、农学和医学等领域(马笑潇等, 2001; 高卫东等, 2002; 韩瑞珍等, 2013; 李慧敏等, 2017), 检验叶类蔬菜的新鲜度(冯甲一, 2012)、识别昆虫等(杨宏伟等, 2005)。为了提高获取角质颚形态特征的准确性、便捷性, 本文首次将计算机视觉技术应用到头足类角质颚形态学研究中。今后希望能够逐步做到自动化, 与大数据时代相接轨, 将头足类角质颚的形态学研究提升到一个新高度。

马 迪, 金 岳, 陈 芃等, 2018. 基于角质颚形态的东海2种常见乌贼类的种类判别. 上海海洋大学学报, 27(4): 594—602

马笑潇, 黄席樾, 周 欣等, 2001. 指纹自动识别系统中的关键技术——方向图. 重庆大学学报(自然科学版), 24(3): 91—94

王小俊, 刘旭敏, 关 永, 2012. 基于改进Canny算子的图像边缘检测算法. 计算机工程, 38(14): 196—198

王绪四, 杨恢先, 谢鹏鹤等, 2011. 基于二阶导数算子与小波变换的图像去噪. 计算机工程, 37(12): 187—189

方 舟, 陈新军, 陆化杰等, 2014. 头足类角质颚研究进展Ⅰ——形态、结构与生长. 海洋渔业, 36(1): 78—89

帅晓华, 2019. 基于计算机视觉的茶叶色泽检测研究. 农机化研究, 41(6): 209—213

冯甲一, 2012. 基于计算机视觉技术的叶类蔬菜新鲜度检测分级研究. 南京: 南京农业大学硕士学位论文, 5—10

刘必林, 陈新军, 2009. 头足类角质颚的研究进展. 水产学报, 33(1): 157—164

刘必林, 陈新军, 方 舟等, 2015. 基于角质颚长度的头足类种类判别. 海洋与湖沼, 46(6): 1365—1372

刘必林, 林静远, 方 舟等, 2018. 头足类角质颚稳定同位素研究进展. 海洋渔业, 40(2): 242—248

刘必林, 林静远, 陈新军等, 2016. 西北太平洋柔鱼角质颚微结构及其生长纹周期性研究. 海洋与湖沼, 47(4): 821—827

李 沙, 谢 鹏, 姚 丽, 2013. 自适应Canny算法的植物叶片图像边缘检测应用. 电脑知识与技术, 9(22): 5126—5128

李慧敏, 张之江, 2017. 基于模板迭代更新的图像配准算法. 电子测量技术, 40(10): 134—138

杨宏伟, 张 云, 2005. 计算机视觉技术在昆虫识别中的应用进展. 生物信息学, 3(3): 133—136

肖强明, 李培林, 王 崴等, 2011. 基于分形和高斯滤波的维修件粗糙表面重构与基准提取. 机械设计与制造, (11): 253—255

张晶晶, 范学良, 蔡小舒, 2011. 计算Canny算子双阈值的新方法. 中国粉体技术, 17(1): 67—71

陈 芃, 方 舟, 陈新军, 2015. 基于角质颚外部形态学的柔鱼种群判别. 海洋渔业, 37(1): 1—9

陈宏希, 2006. 基于边缘保持平滑滤波的Canny算子边缘检测. 兰州交通大学学报, 25(1): 86—90

陈楠桦, 梁仁杰, 白 义等, 2018. 基于几何形态测量学的四种滨螺形态差异与系统发生关系研究. 海洋与湖沼, 49(6): 1365—1374

林 卉, 赵长胜, 舒 宁, 2003. 基于Canny算子的边缘检测及评价. 黑龙江工程学院学报, 17(2): 3—6, 16

林静远, 刘必林, 金 宵, 2020. 头足类角质颚的色素沉积机制. 水产学报, 44(5): 777—783

周志宇, 刘迎春, 张建新, 2008. 基于自适应Canny算子的柑橘边缘检测. 农业工程学报, 24(3): 21—24

周鸿斌, 2009. 基于计算机视觉的鱼类运动监测系统研究. 杭州: 浙江工业大学硕士学位论文, 5—10

郑 晖, 张利群, 孟庆军等, 2009. 使用基于Canny理论的算法自动识别及筛选菌落. 山东科学, 22(4): 34—41

高卫东, 刘基宏, 徐伯俊等, 2002. 织物中经纱排列参数的自动识别. 棉纺织技术, 30(3): 31—34

韩瑞珍, 何 勇, 2013. 基于计算机视觉的大田害虫远程自动识别系统. 农业工程学报, 29(3): 156—162

Herout A, Hradiš M, Zemčík P, 2012. EnMS: early non-maxima suppression-speeding up pattern localization and other tasks. Pattern Analysis and Applications, 15(2): 121—132

Neige P, Dommergues J L, 2002. Disparity of beaks and statoliths of some Coleoids: a morphometric approach to depict shape differentiation. Abhandlungen der Geologischen Bundesanstalt, 57(5): 393—399

Rypel A L, 2008. An inexpensive image analysis system for fish otoliths. North American Journal of Fisheries Management, 28(1): 193—197

Woodman R J, Playford D A, Watts G F, 2001. Improved analysis of brachial artery ultrasound using a novel edge-detection software system. Journal of Applied Physiology, 91(2): 929—937

MORPHOLOGICAL STUDY ON BEAK OF CEPHALOPODS BASED ON COMPUTER VISION I: CONTOUR AND FEATURE POINT EXTRACTION

HE Qian-Han1, SUN Weng-Jie2, LIU Bi-Lin1, 3, 4, 5, 6, KONG Xiang-Hong1, 4, LIN Long-Shan7

(1. College of Marine Sciences, Shanghai Ocean University, Shanghai 201306, China; 2. College of Information Technology, Shanghai Ocean University, Shanghai 201306, China; 3. The Key Laboratory of Sustainable Exploitation of Oceanic Fisheries Resources, Ministry of Education, Shanghai 201306, China; 4. National Distant-water Fisheries Engineering Research Center, Shanghai Ocean University, Shanghai 201306, China; 5. Key Laboratory of Oceanic Fisheries Exploration, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China; 6. Scientific Observing and Experimental Station of Oceanic Fishery Resources, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China; 7. Third Institute of Oceanography, Ministry of Natural Resources, Xiamen 361005, China)

Contour and feature points are the basic morphological features of cephalopod beak. The most commonly used method for contour and feature point extraction is manual description and calibration, using computer vision to extract contour and feature points can not only reduce the error caused by manual extraction, improve the accuracy, but also be faster and more convenient. In this study, we used computer vision to extract the contour and feature points of cephalopod beak. First, a self-made device was designed and programmed in MATLAB software, and used for capturing the three-dimensional view of the beak, and then the contour of the beak was extracted in the Canny algorithm. Finally, the feature point position was calibrated according to the definition of landmark, and the feature point coordinates of the beak were obtained by establishing the spatial coordinate system. The research results show that it was feasible to extract the contour image and feature point coordinates of the beak by computer visioning. When thesvalue was 0.1, the contour image of beak had the best effect. The feature points were calibrated on the contour picture, and the spatial coordinates of each feature point were obtained by iterating through the contour picture. It was believed that the application of computer vision in the study of beak morphology of cephalopods could improve the accuracy and convenience of the study, and provide new experimental ideas and methods for the follow-up study.

beak; feature points; computer vision; edge recognition

* 国家重点研发计划, 2019YFD0901404号; 国家自然科学基金面上项目, NSFC41876141号; 全球变化与海气相互作用专项, GASI-01-EIND-YD01aut/02aut号; 上海市“浦江人才”计划项目, 18PJ1404100号; 上海市高校特聘教授“东方学者”岗位计划项目, 0810000243号; 上海市科技创新行动计划, 19DZ1207502号。贺芊菡, 硕士研究生, E-mail: 695799075@qq.com

刘必林, 博士生导师, 教授, E-mail: bl-liu@shou.edu.cn

2020-03-15,

2020-06-26

Q954; Q959.216; TP399

10.11693/hyhz20200300074