基于轮廓的小鼠悬尾实验行为分析算法研究

李松柏，张卫华，胡光亮

(1.四川大学 计算机学院，四川 成都 610065；2.四川大学 电子信息学院，四川 成都 610065)

0 引 言

实验动物行为分析是研究高级中枢神经功能的一种重要技术手段，现已广泛应用于动物行为学、神经科学、药理学和遗传学等学科[1]。行为绝望模型是指为动物提供一个无可回避的压迫环境，使其极度不适应而挣扎，但又不能得以逃脱，从而出现间断性的不动。动物表现出的这种典型的“不动状态”(immobility)，反映了一种被称之为“行为绝望”的状态，这种行为绝望状态与抑郁症类似，因此该模型常被应用于抗抑郁药、兴奋药、镇静药等药物药效的评价。小鼠悬尾实验(tail suspension test)是最常用的行为绝望模型实验，由于啮齿类动物极其不喜欢处于被倒悬的状态，因此，该实验将小鼠尾部进行固定，使其头部朝下，小鼠拼命挣扎一段时间后，当其发现无法逃脱这种状态，则会放弃挣扎进入“行为绝望”状态，其后会继续挣扎，通过对比小鼠处于“不动状态”的时长，可以得到某种药物的实验效果[2]。

动物行为分析最早采用人眼观察法，其后一段时间采用传感器检测方法，如红外传感、压力传感器等[3]；九十年代在动物行为实验中采用了计算机视觉的方法，比起前两种方法，该方法具有更好的灵活性与精确性。在计算机视觉方法应用于动物行为实验后，随着数字图像处理技术的发展，基于计算机视觉的动物行为分析方法的效率与准确率也在不断提高[4-6]。在基于视觉的小鼠观察实验中，Ishii等[7]通过寻找小鼠中心点、尾巴及体轴，可以得到“旷场实验”中小鼠运动的方向、速度等信息，从而对小鼠的整体活动量进行记录；Yuman等[8]将小鼠躯干分为四个区域，头部、躯干左侧、躯干右侧与尾部，通过对这四部分区域的帧间差进行周期性监测，从而识别小鼠行走、站立、抓挠等六种典型的行为；Jhuang等[9]利用SVM-HMM进行鼠笼行为实验分析，提取小鼠躯干宽高、小鼠与鼠笼特殊点的距离等特征，通过这些特征对喝水、修饰、微动等八种行为进行训练建模，最终利用训练得到的模型来完成基本行为识别。

对于视频序列的连续行为分析，在部分文献中被分解为两个过程：行为分割与行为分类。行为分割即是将视频序列分割为多个只包含单一行为的视频片段，然后再对每个视频片段利用模板匹配等方法进行行为分类。Weinland等[10]综述了基于计算机视觉的行为表达、分割与识别。此外，基于滑动窗口搜索也是常见的连续行为分析方法[11-13]，对于有连续行为的视频序列，由于各个单一行为之间的“边界”比较模糊，利用“分割-分类”方法虽然理论上可行，但在实际应用中，效果不太理想。文中主要根据行为描述，从视频中提取具有某种特征的视频片段，从而实现行为分析。

在基于计算机视觉的小鼠悬尾实验中，传统方法是利用图像帧间差技术来实现小鼠运动状态的分析，这种方法很容易产生错误识别。当小鼠剧烈运动过后，其身体保持不动，但由于惯性摆动，其图像帧间差仍然较大，因此将“惯性摆动”误判为“主动挣扎”。针对这一问题，提出了一种基于轮廓不变矩特征的检测方法，首先获取小鼠运动区域，提取完整的小鼠轮廓，然后计算轮廓点的Hu不变矩特征，再计算时间间隔为t的两帧其Hu特征距离，最后通过距离阈值来确定小鼠运动状态。

1 小鼠悬尾实验模型

行为绝望模型实验大量用于评价抗抑郁一类药物对动物行为的影响，一般选择实验老鼠进行实验。这一类实验主要包括强制游泳实验(force swimming test)和悬尾实验。

在小鼠悬尾实验中，将小鼠尾巴3/4处固定在某一挂钩上，离地面30厘米左右，并在与小鼠悬挂装置水平方向放置摄像头。实验过程中，需要有“实验组”与“控制组”，分别是用药与未用药小鼠，注射药物一段时间后进行实验(皮下注射需等待30分钟，口服药物则需要等待60分钟)。实验结束后，通过比较两组实验中小鼠处于“不动状态”时间的多少，从而得到药物的实验效果。文中仅对如何更加准确地统计“不动状态”的时间进行研究，不对具体某一药物进行实验。

2 图像预处理与目标轮廓的矩

2.1 目标区域选取与目标提取

在小鼠悬尾实验中，由于实验装置固定，小鼠悬挂后其整体运动幅度较小，因此可以在实验开始之前手动选取小鼠矩形区域。

由于在该实验中，小鼠尾巴宽度相比躯干不算太小，因此进行更大幅度开运算的效果会比较好，也即连续两次的腐蚀操作，再连续两次膨胀操作。

O(x,y,t)=(((B'(x,y,t)Θb)Θb)⊕b)⊕b

(1)

其中，B'(x,y,t)为原始图像；b为结构元；O(x,y,t)为连续腐蚀膨胀后的图像。

2.2 二维图像的矩

矩是一个用于表征函数及捕捉函数重要特性的标量。多年来，矩在统计学中被用于描述概率密度模型，以及在经典的刚体力学中被用于测定物体的质量，从数学角度来讲，矩是一个把函数投影到多项式基底上的“映射”[14]。对于一幅图像，认为它是拥有两个变量、具有任意分片连续性的函数f(x,y)，该函数定义在区间D∈R×R上，并且具有一个有限的非零积分。假设p、q为非负整数，r=p+q称为矩的阶，图像f(x,y)的广义矩表达式定义为：

(2)

其中，ppq(x,y)是定义在区间D上的多项式基底，根据多项式基函数的不同，可以得到不同的矩。在数字图像处理中，一般选择幂函数为基函数，也即ppq(x,y)=xpyq，因此得到几何矩：

(3)

对于一幅M×N的数字图像f(x,y)，其p+q阶几何矩mpq表示为：

(4)

中心矩具有位置无关性，图像f(x,y)的p+q阶中心矩μpq为：

(5)

(6)

为了使图像矩在图像发生尺度变换时保持稳定，还需要对中心矩进行归一化，归一化的中心矩μpq为：

(7)

几何矩、中心矩及归一化的中心矩虽然具有一定的平移、旋转、缩放稳定性，但在实际应用中其表达能力较为有限，因此需要通过高阶矩的一些线性组合，来构成具有更高稳定性的矩特征。

M.K.Hu在1962年利用代数不变量理论提出了几何矩的概念和矩不变量理论[15]。矩不变量在图像进行平移、旋转和尺度变换时保持稳定，因此被广泛应用在目标识别、图像分类等领域。Hu利用归一化中心矩推导出了7个经典的Hu不变量[16]。

(8)

2.3 图像轮廓的Hu不变矩

图像的p+q阶矩，对于低阶矩来说，其计算时间复杂度为O(N2)，对于高阶矩，其计算复杂度更高，因此在矩计算过程中，通常会寻求更快的计算方法。对于数字图像的矩特征，即是计算数字图像灰度的矩，在本实验中，小鼠轮廓剪影二值图，其所表达的信息与其轮廓基本相同，因此，可以将计算小鼠轮廓剪影二值图的矩特征简化为计算轮廓的矩特征。同时，理论上，利用格林定理可以将基于闭合区域的曲面积分化为对其边界轮廓的曲线积分，从而将计算复杂度由O(N2)降为O(N)。

小鼠剪影轮廓区域为D，其轮廓边缘为L，L是绕D的正向轮廓，并且f(x,y)=1,(x,y)∈D，f(x,y)=0,(x,y)∉D，所以有：

(9)

或

(10)

基于图像轮廓的Hu矩与基于图像灰度的Hu矩均具有旋转、平移、缩放稳定性，此外，基于轮廓进行Hu矩的计算，其时间复杂度相比基于图像灰度的Hu矩计算要小很多。

3 小鼠运动状态分析

3.1 小鼠运动状态定义

在小鼠悬尾实验中，通常把小鼠所处运动状态分为三类：完全静止、惯性摆动、主动挣扎。实验目的是记录小鼠在一段时间内分别处于这三种运动状态的总体时长，因此在实验过程中要较为准确地区分小鼠所处运动状态。通过大量观察小鼠实验视频发现，小鼠在实验过程中处于完全静止状态的时间很少，甚至可以忽略不计(因为从小鼠开始运动过后，后序即便没有挣扎，惯性摆动仍然一直存在)，所以可以将“完全静止”合并到“惯性摆动”状态，统称为“不动状态”。

小鼠运动状态分析即区分小鼠“不动状态”与“主动挣扎”过程，可以简化为状态切换过程。因此，只要能够找到实验过程中状态切换时刻，便可提取状态切换过程，从而完成小鼠运动状态的识别。把“不动状态”定义为state0，把“主动挣扎状态”定义为state1。

3.2 帧差法小鼠运动状态识别

在以往的实验中，通常利用图像帧间差方法，通过判断帧间图像差值来确定小鼠的运动状态，也即差分图像面积阈值来判断小鼠处于某一状态。实验发现，利用二值化后的图片进行差分比直接原始图像差分再进行二值化要更为准确，表示如下：

(11)

其中，函数SUM(x)表示得到图像x的面积，在二值图像中，该面积表示非零像素个数；T表示差分图像面积阈值。

通过差分图像的面积阈值，能够实现一部分的行为识别，但针对小鼠惯性摆动幅度较大的特殊情况，则不能准确判断。小鼠剧烈挣扎过后，身体停止运动，但由于剧烈挣扎引起的惯性摆动，其幅度还较大，因此其差分图像面积仍有可能超过面积阈值T，从而导致错误识别，影响最终的实验结果。图1为处于“不动状态”的时间间隔Δt的相邻两帧。

图1 处于“不动状态”和“主动挣扎”的相邻两帧(1)

如图1所示，根据式11有：

(12)

因此，利用差分阈值进行行为判断，容易出现错误。

3.3 轮廓矩小鼠运动状态识别

利用帧间差分进行小鼠行为判断仅仅利用图像像素空间位置变化特征，而在行为识别应用中，利用图像轮廓特征往往效果更好。为了解决帧差法在运动状态识别方面的不足，文中利用目标小鼠轮廓来实现小鼠行为识别。上一节详细介绍了基于图像轮廓的Hu不变矩，图像轮廓Hu不变矩具有轮廓平移、旋转、缩放稳定性，利用这一特性，可以确定小鼠的“不动状态”。

当小鼠处于“不动状态”时，即便有较大幅度的惯性摆动，该过程中小鼠目标轮廓点仍然只是进行仿射变换，也即绕悬挂点旋转。由于Hu不变矩能保持旋转不变性，因此可以利用该特性来确定小鼠是否处于“不动状态”。

图2 处于“不动状态”和“主动挣扎”的相邻两帧(2)

分别提取图2中各目标小鼠图像的轮廓，进而利用基于图像轮廓的矩计算其轮廓的Hu不变量，结果如表1所示。

表1 图2中小鼠目标轮廓的Hu不变量

从表1能够看出，对于两组测试对象，其组内各个Hu不变量变化很小，而组间各个Hu不变量相比之下则有变化。同时，测试对象G1、G2均满足特征：轮廓位置发生改变(旋转)，但轮廓形状保持稳定。所以，可以通过相邻帧图像轮廓之间的Hu不变量来判断小鼠是否处于“不动状态”。此外，相邻帧若处于相同运动状态，则其Hu不变量改变较小，若处于不同运动状态，也即运动状态改变，则其Hu不变量改变较为明显。对于Hu七个经典不变量，一部分表现更好，另一部分表现较差，因此，如何利用这七个不变量，度量Hu特征的距离变得尤为重要。距离度量也就是对七个经典不变量进行组合、归一，最终能够得到两个Hu不变量之间距离矢量值。

轮廓Hu特征不变量距离度量如下：

(13)

各连续帧目标轮廓Hu特征距离矢量见表2。

从表2能够看出，当小鼠处于“不动状态”时，其相邻两帧目标轮廓的Hu特征距离较小，而处于“主动挣扎”过程的相邻帧目标轮廓的Hu特征距离矢量明显偏大，因此，可以通过Hu特征距离矢量阈值Thu来判断小鼠所处状态。

表2 各连续帧目标轮廓Hu特征距离矢量

(14)

其中，H(ft,ft-1)表示时间间隔为Δt的相邻两帧图像目标轮廓的Hu特征距离。

4 实验结果与分析

通过上一节的小鼠运动状态分析，实验中选取一段时长118 s的视频录像，计算其连续帧之间的Hu特征距离。

F(t)=H(It,It-1)

(15)

连续帧间Hu特征原始数据如图3(a)所示。从中可以看出，虽然连续帧间的Hu特征呈现较为明显的区域分布，但在某些细节方面仍然表现不够明显，因此，需要将原始数据进行滤波处理。在本实验中，采用均值滤波方法，通过实验对比，滤波窗口大小为5能够得到较好的实验结果。

滤波平滑过后的数据相比原始数据则更加规范，特征更加明显，选取阈值，对Hu特征进行分类。

(16)

其中，Thu为Hu特征距离阈值。

因此，可以得到视频录像对应的0、1序列，结果如图3(b)所示。从图3(b)能够看出小鼠运动状态的改变过程，通过小鼠状态的切换时刻，可以确定小鼠每个状态的运动时长，连续的0或1则是一个持续的运动状态，得到小鼠运动状态结果为MS(s1,s2,…,sn)。实验结果中仍然有一些错误数据，定义FS(i)表示过滤掉持续时间较短的状态后的实验结果，这里的过滤方法是将持续时间较短的运动状态添加到前一个运动状态。

图3 数据分布

(17)

其中，d(si)表示状态si持续的时间；Td表示小鼠运动状态持续最小时间，也即运动状态持续时间阈值。

处理后的实验结果如图3(c)所示，从中能够非常明显地看出小鼠的运动状态持续过程，图中横轴上有五个时刻，分别如下：

(18)

因此最终实验结果FS(i)包含五个运动状态，状态与运动时间及通过人眼观察实验录像，得到的状态与时长如表3所示。

表3 实验统计与人眼观察的目标小鼠运动状态

实验结果与人眼观察结果非常接近。在实验统计中，通常利用小鼠整个过程的“不动时间”总长来判断药物药效，实验结果与人眼观察结果中“不动时长”总长分别为：

(19)

“不动状态”时间统计错误率为：

(20)

为了进一步确定文中算法在小鼠悬尾实验中行为识别的准确率，需要对文中算法所得到的每个行为及其持续时间与人眼观察结果进行对比。考虑到文中是对一段视频录像中行为进行识别，因此可以看成是两个长度相同的时间序列进行相似度匹配，将文中算法统计结果与人眼观察结果进行分割，均分割为时长1 s的子状态序列，再对比两个序列的相似度。

(21)

式21计算一段视频利用文中算法进行运动提取的准确率R，通过对5段实验视频进行如表3所示的对比，最终得到文中算法提取的准确率平均为90%。

5 结束语

小鼠悬尾实验是最为常见的行为绝望模型实验，通过统计小鼠悬尾过程中“不动时间”长短，可以评价抗抑郁药等药物的药效。利用计算机视觉处理技术完成实验数据统计与分析，能够避免人眼观察的主观性，以及减轻实验人员的工作负担，提高实验效率。实验证明，通过提取小鼠轮廓特征，分析小鼠运动状态及其改变过程，从而准确提取小鼠“不动状态”的持续过程及总时长，进而对药物做出较为客观的评价。

文中只对小鼠悬尾实验进行了“惯性摆动”与“主动挣扎”的区分，未来会更为深入并细化小鼠的运动状态，例如爬升、身体躯干卷曲等，从而提取更多的实验数据特征，为药物测试等其他实验提供更多的评价标准。此外，所有实验图像均是普通摄像头采集，在后期可以利用深度摄像头进行相关实验，进而提高实验的准确率。