基于图像特征库的动物行为识别技术

芦 兵， 孙 俊， 许晓东

(1.江苏大学电气信息工程学院，江苏镇江 212013； 2.江苏大学信息化中心，江苏镇江 212013)

畜牧业是我国国民经济的支柱性产业，其规模化和标准化发展是当前的发展趋势。动物养殖一般以群体圈养为主，动物个体行为如生病、行为暴躁等对养殖群体的影响较大，但是由于养殖基数庞大，靠人工观察费时费力，效果不佳，且具有很大的局限性[1]，因此发展基于图像特征的动物行为自动识别技术显得较为迫切。视频识别技术自动化程度高，能极大地提高养殖效率，促进畜牧业的现代化发展。目前对动物行为自动识别方法的研究主要分成2个大的方向[2-3]，一个是接触式感应识别方法，主要通过在饲养动物身上佩戴传感器的方式，监测动物的温度、声音等信息，间接得到动物的行为信息。如Minematsu等通过光电矩阵感应线束记录动物的活动轨迹[4]；May等在动物四肢上安装压力传感器，通过返回的压力参数分析动物的行为[5]；Schwarting通过在动物身上安装微型光电检测系统来判断动物的非对称性行为，如翻身、转圈等[6]。另一个是图像识别技术方法[7]，通过图像设备抓取并分析画面上动物的图像特征并进行特征匹配，完成动物行为自动识别。与接触式感应识别方法相比，图像识别技术的自动化程度更高，通用性更强，但是在构建匹配特征模板效率以及动物行为识别正确率等方面还有待提高。基于形状的目标检测是目前通过图像技术识别动物行为的一个主要手段，包括基于边界特征点、不变矩、傅里叶描述子以及小波变化等方法。由于大脑具有记忆能力，人们通过视觉可以很容易根据物体的边界信息识别物体的形状，但是对机器来说，自动识别任意形状相当复杂，如何能够快速描述出被识别目标的图像特征并能够和典型行为特征模型进行匹配是一个需要深入研究的问题。

基于语义特征的构建方式可以对提取到的底层特征进行二次整合，使得整合过的图像数字化表征能够更好地反映图像目标的语义内容，采用基于语义的目标特征构建技术可以提高动物行为图像特征模板的生成效率。在基于语义特征模板构建实现方面，钱蓉等基于图像颜色、边缘等低层局部特征，提出一种层次化的高级语义映射关系，再利用Bayes分类方法建立特征模型[7]。Yu等采用神经网络算法以目录分类的语义形式对图像进行组织，然后通过非层次分类方法对图像目标进行检测[8]。Town等提出了一种基于属性的图像目标描述方法，通过图像属性语义进行图像目标特征匹配[9]。Farhadi等提出一种通过增量的方式构建大规模图像内容检索的方法，通过反馈学习机制来提升图像语义属性[10]。

上述方法在构建目标特征模型时，均须要图像库中具备所有目标特征属性的完备特征信息，而忽视了图像库中特征属性元素之间的相互组合利用，当被识别动物对象的物理特征发生变化时，则须要重新训练，以完善图像库中的属性特征信息，显然，这将极大地影响动物行为自动识别效率。

为此，本研究引入计算机文本检测领域内具有较高效率的正则表达式[11]方法，并对其在图像目标识别特征模型构建上的语义描述进行引申定义，由于正则表达语义具有较强的灵活性和适配性，其语法规则可以融合多种属性特征。当被识别动物目标发生变化时，利用正则表达式的语义规则能够快速地对图像库中的相关特征属性元素进行重新组织，从而大大提高动物行为识别的效率和精度。

1 正则表达式的语义

1.1 正则表达式的通俗定义

正则表达式是计算机科学中用于检索、替换某些符合某种描述规则的文本所使用的一个概念。正则表达式是对字符串进行描述和通配操作的一种逻辑公式，其实现过程是赋予一些特定字符以及这些特定字符的组合已约定好的特殊意义，通过事先定义好的语义规则组成一个规则字符串，该规则字符串可用来表达对字符串的一种过滤逻辑。如果给定一个定义好的正则表达式和一个待识别字符串，则可以判断给定的待识别字符串是否符合正则表达式的过滤逻辑(称作匹配)，如果匹配，则可以通过正则表达式从字符串中获取想要的特定部分，如果不匹配则重新组织通配符。

1.2 正则表达式的特点

正则表达式具有较强的灵活性、逻辑性和功能性，且可以迅速地用极简单的方式达到对字符串的复杂控制。

正则表达式的描述因子均为文本模式的字符，包括a～z之间的字母等普通字符和一些特殊符号(称为元字符)。通过正则表达式定义出来的描述模式在搜索文本时会匹配1个或多个满足正则语义的字符串。表1为部分元字符以及它们在正则表达式上下文中的行为。

表1 正则表达式的部分语法

通过对正则表达式元字符规则的应用，可以检测和匹配到特定内容的文本(表2)，进而极大地提高内容检索效率。

表2 正则表达式示例

1.3 图像中的引申语义

相对于文本对象，用于描述图像特征的字元素可以用线条、颜色、形状、位置等来定义，称之为基础像元素。

表3为引申定义用于描述图像特征的部分像元素，其中线条按线形可以分为水平直线、斜线、直角线和弧线、S形弧线等常规线条以及其他自定义线形。形状库包括正方形、长方形、圆形、半圆形、菱形、心形等常规形状以及其他自定义的非常规图形。颜色库通过字母加数字的方式表示，如：W12中的第1位字母代表色系，后面数字代表亮度，取值范围为 0～255之间。振动特征库是通过分析振动频谱特征分布得到的谱密度均值。位置信息库由完全自定义的符号来描述图像中的相对位置信息，如|(x1)->(x2)|表示从像元x1位置开始一直水平向右到像元x2结束，而|(x1)-^(k)(x2)||则表示从像元x1开始到其垂直下方像元x2的k处，其中k为可变系数，可以取0～1之间数值，如取0.25则表示x1到x2之间距离的1/4处，在此只是给出水平和垂直位置信息的基础定义，位置信息的定义符号和定义规则可视实际情况自行定义和添加。像元素库是一个开放式的元素库，用于描述物理特性的技术指标均可以作为像元素库的一个基础指标，如角度、温度以及音量、振动等特征信息均可以作为描述目标的一个元素库指标项进行扩展。按照正则表达式语法组织这些像元素，能够快速定义出图像的局部特征。比如|O(B12)->O(B12)||，该表达式可以表示图像中匹配水平方向上2个蓝色圆形的部分。当然也可以像定义文本正则表达式一样，用一些更加简洁的字符代表图像正则的像元素。

表3 图像特征的像元素

2 基于正则表达的特征提取

2.1 角点特征提取

Harris角点检测是通过数学计算在图像上发现角度特征的一种算法[12]，其具有旋转不变性特点。在建立图像匹配特征正则表达式之前，先通过Harris角点[11]检测出图像特征的字元素，其数学原理为

(1)

式中：w(x，y)表示移动窗口；I(x，y)表示图像中像素灰度值强度，取值范围为0～255；[u，v]表示窗口的移动偏移量。依据泰勒级数计算一阶到N阶的偏导数[12]，最后得到一个Harris矩阵公式：

(2)

按照式(2)计算矩阵特征值λ1、λ2，其中M为梯度的协方差矩阵，Ix、Iy分别代表横坐标x方向和纵坐标y方向的灰度强度集。通过计算获得Harris角度响应值：

R=detM-K(traceM)2
detM=λ1λ2
traceM=λ1+λ2。

(3)

式中：变量因子K为系数值，通常取值范围为0.04～0.06；R为角点响应值。

2.2 距离特征提取

为提高对位置信息的描述效率，采用D4模型[13]对特征向量位置信息时进行计算。

D4(P,Q)=|xp-xq|+|yp-yq|。

(4)

D4距离也称街区距离，它只选择横竖2个方向计算相对距离。式中：P、Q2点的像素坐标分别为(xp,yp)、(xq,yq)。

2.3 颜色特征提取

对每种颜色通道提取一阶、二阶和三阶矩并进行统计分析[14]，设hij表示第i个颜色通道分量中灰度为j的像素出现的概率，n为总像素数目，则颜色矩的3个低阶矩数学表达式分别为

(5)

(6)

(7)

这3个低阶矩分别被称为均值(μi)、方差(σi)和偏斜度(Si)。

2.4 特征模型提取

图1是被识别动物的边缘连通情况，通过Harris方法得到动物轮廓的边缘角点，白色块标注的角点是通过连通性选择之后提取的轮廓特征点。通过选择最能够描述图像特征的特征点，参照像元素库中的定义提取像元素。首先对目标外围特征点进行连通性连接，然后在连通图块内部按照最大相似度原则[15]进行像元素切割，即切割后的局部特征能够在像元素库中找到最相似的像元素。在切割后的图像中可以提取到的形状像元素包括梯形、倒梯形等，提取到的颜色像元素包括Y12(黄12号)等，提取到的位置像元素信息为|-^||(从上边位置到下边位置)、|-^(0.25)||(从上边位置到下边位置的1/4处)、|-^|(0.75)|(从上边位置到下边位置的3/4处)等。最终提取到的基础像元素集如表4所示。

表4 基础像元素集

基于表4中的像元素，构建出基于像元素的目标匹配正则表达式：

Preg_match=|(Y12)-^∩|∀-^(0.25)∩|Δ-^|(0.75)|。

(14)

按照式(14)中正则表达的语义可以快速定义出待匹配动物的行为特征模型。

图2为通过正则表达式(14)所描述出的待识别目标最大相似性特征模型。通过比较特征模型和待匹配目标所在图的最大相似性[16]，可以确定出待匹配目标在图中的位置。通过选取中心列的特征分布，对特征模型和待匹配对象进行特征相似度比较(图3、图4)。

由图3、图4可以看出，模型特征的分布基本和待识别目标特征分布情况一致，说明利用像元素作为基元的正则表达式完全可以定义出待匹配目标的模型。

3 试验与分析

为了在图像特征库基础上分析正则表达式对动物行为特征的描述效果，对固定视角下动物各种行为图像进行试验。试验过程中，选取能够最大化反映目标物物理特征的视角进行图像采集，然后选取特征像元素库中的基础像元素，在正则表达式的语法组织下快速建立动物行为特征匹配模型，实现对不同动物行为的快速识别(图5)。通过与背景差分法和光流法这2种目标特征提取方法进行对比试验，分析本方法的识别率和识别效率。在Matlab11中完成特征建模和目标匹配。由表5可知，在视角不变的情况下，本方法在识别率和识别时间上均略优于传统的背景差分法和光流法。

表5 识别率和效率对比

4 结论

基于字符元的正则表达式因其匹配效率高以及适配性好的特点，已在文本字符检索中得到了广泛应用，图像匹配和字符匹配虽然在匹配内容上存在较大差异，但在匹配方法上可以找到共同性[17]，即都可以通过有规律地组织基础元素构建匹配模型的方法，对目标进行识别。基于该共同性，本研究通过对正则表达式的语义赋予图形属性特征进行引申定义，引入像元素新概念和语义规则，结果表明，通过编写合适的动物行为特征匹配正则表达式，完全能够快速、便捷地建立动物行为特征匹配模型，实现对不同类动物行为的自动识别