应用轮廓变化信息的实验鼠行为识别

洪留荣



应用轮廓变化信息的实验鼠行为识别

洪留荣

(商丘师范学院计算机学院，河南 商丘 476000)

实验鼠行为分析数据是神经学、生理学、药物学等学科实验数据的重要部分。针对实验鼠缺少肢体运动信息的特点，提出一种实验鼠多行为分析方法。提取实验鼠轮廓的帧间变化信息，同时考虑变化信息与实验鼠本身的位置关系，对行为视频形成系列轮廓变化帧。在训练阶段，通过Pillar K-means聚类算法从系列帧中提取80个关键帧，并把每一个训练行为视频用对应关键帧频数的直方图表示。在测试阶段，测试视频用最近邻法确定每一帧对应的关键帧，形成相应的关键帧直方图，从而把分类问题变成一个直方图相似性问题，再应用卡方距离进行分类。实验结果表明，该方法对8种行为的分类准确率最高达到100%，最低达到95%。

行为分析；实验鼠；相似性；变化信息；Pillar K-means算法；关键帧

1 概述

在神经科学、生物科学、药物开发等领域的研究中，实验鼠是常用的实验动物，对它们的行为进行定量分析是获取基础实验数据的重要内容。在行为分析这一领域，针对人的行为分析已经做了大量工作，并取得了很多优秀成果[1]，与实验鼠行为分析不同的是，人的肢体为其行为分析提供了大量信息，而实验鼠几乎难以提取这些信息。

目前，实验鼠的行为分析主要靠人工进行，费时费力。更重要的是由于人的干扰影响了实验鼠的真实行为，从而造成实验数据偏差，而应用视频进行实验鼠行为分析可以避免以上不足[2]。因此，近几年国内外相关企业和科研人员进行了较为深入的研究。

文献[3]利用轮廓曲率和谱系聚类算法对大鼠的体态进行识别。文献[4]通过对小白鼠的体态分析其行为。

对实验箱老鼠的行为，许多研究者提出一些自动分析系统，如文献[5]提出老鼠行为结构的自动分析系统，文 献[6-7]介绍的自动实验箱监视系统等，大部分都依赖像红外线光束等做一些简单的监测。这些基于传感器的自动分析方法能够有效地监视动物的行为和行为发生的条件，但只局限于研究者所感兴趣部分行为，即使是应用转发器技术的商业系统也是如此。文献[8]通过运动和功率频谱分析来识别静止、修饰和运动3种行为。

总体上目前研究主要限于对实验鼠的跟踪，在此基础上，分析其速度、位置、区域、运动时间等参数或者是研究其兴趣的几种行为[9-10]。而对于动物行为谱中重要的行为，如悬挂、微动、行走、吃、喝水、修饰、直立和休息等行为研究较少，通过对文献的查阅，只有文献[11]对多种行为进行了综合研究。它主要应用人的视觉机制，并结合一般的位置与速度特征完成实验鼠8种行为的分析，由于其采用了多尺度和多方向Gobar滤波提取特征，并采用了分层处理，算法的时间复杂性较高，正确率也不满足实际需求[11]。

轮廓(silhouette)是计算机视觉系统中提取特征的重要信息来源之一，许多文献从轮廓信息中提取特征。文献[12]用帧间不同的能量图进行步态识别。文献[13]应用轮廓开发出了人类行为的一种表示方法用于人的行为识别。文献[14]应用轮廓边界信息面积与宽度，通过傅里叶变换描述人的姿态特征，以识别人的姿态。

本文应用视频轮廓帧差信息，针对实验鼠行为谱中的8种行为进行分析识别。本文方法与其他方法的不同之处在于本文利用视频轮廓帧差信息来提取关键帧，并提出一种行为描述子，把一种行为视频用关键帧直方图表示，从而只须用简单的直方图匹配方法就可以进行行为分类。

2 分析方法框架以及特征抽取

研究实验鼠行为一般把实验鼠置于一个特制的实验箱中，本文称为行为分析实验箱。实验箱内部环境比较稳定，实验鼠的颜色也比较特殊，一般是黑色、灰色和白色3种。如图1所示，视频录入时摄像机固定，以视频系列帧作为输入。

图1 实验鼠行为分析实验箱

通过对实验鼠视频帧的分析，发现实验鼠一种行为的轮廓帧间差与另一种行为的轮廓帧间差相差较大，可以作为行为分析的一种显著性判别特征。利用这种特征，应用Pillar K-means算法提取出不同行为的关键帧，应用这些关键帧构建直方图，形成行为描述子，并作为样本数据。对待识别行为视频，应用最近邻法确定其对应的关键帧，并构建行为描述子，然后应用卡方距离作为待识别行为与样本行为的相似性测度，给出分类。

总体上讲，本文方法的框架分为2个部分：在训练阶段，从视频中获取实验鼠轮廓，提取帧差信息，并考虑到这些信息与实验鼠位置之间的关系，根据这些信息提取关键帧，给出样本视频的行为描述子。在分类阶段，除行为描述子的算法和计算相似性不同外，其余都与训练阶段相同。在这个阶段，根据抽取的行为描述子与样本行为描述子进行相似性计算，然后确定待测行为类型，如图2所示。

图2 实验鼠行为分析总体框架

2.1 实验鼠轮廓的提取

行为分析实验箱内部背景比较稳定，实验鼠颜色比较固定，主要通过实验鼠本身图像的灰度值，经2个阈值二值化，计算公式如式(1)所示，然后寻找面积最大的块作为实验鼠的轮廓：

其中，表示一个像素的灰度值；1和2为2个阈值。

这种方法在前期开发的鼠跟踪实验箱中证明效果非常好，提取轮廓的正确率为99.7%。图3是实验鼠喝水与微动2种行为的部分轮廓示例。

图3 实验鼠的一组轮廓实例

2.2 特征的抽取

在实验中发现，轮廓的帧间变化为实验鼠行为分析提供了重要的信息。比如行走，帧之间的变化在一段时间内位于实验鼠行走方向上的前后2个方向，直立时在一段时间内上或下交叉变化，而且这种变化有一定的规律，考虑到行为对象本身的身体大部分不提供对行为分类有意义的信息，如果利用这些信息还可能给分析带来干扰。因此，本文只利用行为对象帧间变化信息进行行为分析。

图4 3种行为部分原始帧图像及其帧差图像

视频可以看成是一系列的帧，从这些系列帧中提取实验鼠的轮廓最大边界框图像作为下一步抽取特征的帧。帧间差能反应运动信息，但如果间隔帧数少，变化的信息量就少，一般来说可以加大时间轴上间隔的数量(>1)来加大运动的信息量。

本文中把一个视频系列中在时间轴上间隔为的帧定义为1,2,…,F(为帧的个数)，其帧间差定义为D1,D2,…,DF-1。

这些变化信息只是相对于整个帧而言，并没有突出它们相对于实验鼠前一帧整个轮廓之间的运动关系，因此，本文提取F与F(=1,2,…,-)中实验鼠边界框的共同边界框内图像作为帧间差图像。这种做法有3个好处：(1)能有效利用实验鼠的运行变化信息；(2)可以突出帧间变化相对于实验鼠的位置信息；(3)避免同样的行为由于实验鼠运动位置不同产生的差异。

令F帧中实验鼠边界框的左上角点、右下角点在原始帧中坐标分别为pre、pre、pre、pre。F帧中对应的坐标分别为next、next、next、next，则轮廓帧间差图像的左上角点和右下角点在原始帧中的坐标可简单地由式(2)计算：

根据上述方法得到的帧差图像大小随着实验鼠形状大小的变化而变化，为处理方便，把它们归一化为´大小的图像，本文中取60´30像素，这些图像将作为提取关键帧的对象。图4中各帧差图像中的白色点表示了运行信息，同时也包含了这些运动信息与实验鼠对象之间的关系信息。

把包括这些信息的图像帧转换成一维矢量，对于´大小的图像，该矢量长度为´。所有行为类型的训练视频得到的这些特征矢量用于K-means聚类以获取每一个行为的关键帧。

2.3 关键帧的提取

从视频中提取的基于轮廓的帧间差图像矢量如果全部作为样本，会增加冗余信息，同时也加重分类的计算负担，通常的做法是根据这些样本提取关键帧作为以后分类的依据[15-16]。K-means算法可以有效、快速地对大数据进行聚 类[17-18]，但由于选择初始聚类中心的随机性，算法难以达到全局最优，常常只达到一个局部最优，从而使分类结果产生错误，对有良好区分度的数据集用K-means进行分类，可以产生60%以上的错误率[17-19]。因此，在对帧差图像进行聚类前，用Pillar算法[17]对初始聚类中心进行分析计算，Pillar算法根据承受屋顶分布不均压力的柱子彼此之间要“尽可能地分离远”这一原则，把待分类数据看成屋顶压力分布，聚类初始中心看成为柱子位置。应用这一建筑学上的原理为K-means算法确定初始聚类中心，其算法步骤见文献[17]。

通过这种K-means算法，把所有训练视频，即第1节提到的8种动物谱行为中的每一个视频应用2.2节形成的矢量进行聚类，形成80个关键帧，把这个关键帧作为待分类时应用的样本数据。

2.4 行为描述子

在所有参与训练的视频帧中，对于每一类行为中的一个轮廓帧差图像，根据分类情况，每一个行为视频可确定其所在关键帧。对训练的一个行为视频，统计出它对应于每个关键帧的个数，形成一个关于关键帧的直方图，把这个直方图作为一个行为的描述子。

图5为喝水与悬挂2个视频的实例，其中，为关键帧编号，为关键帧个数。这样，一个行为视频就变成了一个关键帧频数的分布。如果待分类视频也用这样的行为描述子进行行为描述，那么分类问题就是一个判别直方图相似的问题。

图5 2个视频行为描述子

2.5 行为分类

对于一个待分类视频，根据2.1节所述形成系列轮廓帧差图像，并转换成系列一维矢量，对于每一个帧差图像，应用最近邻法确定它对应的关键帧，然后计算该行为视频的直方图，令为。应用距离判别与样本直方图的相似性。

其中，=1,2,…,8。

最终分类为：

即最小时对应的作为最终的分类结果。

3 实验结果与参数获取

3.1 实验结果

本文实验均在Jhang提供的实验鼠视频数据库[11]基础之上完成，实验数据库以及开发的软件可从http://cbcl.mit. edu/softwaredatasets/mouse/上下载，共8种行为。

每个行为随机选择20个视频作为训练数据，聚类后得到80个关键帧，实验所用参数为：=3，=80，´60´30。

具体的分类结果如表1所示。这些参数均是在实验中通过对比得到的。实验在Matlab7.0中完成，为比较结果，给出了文献[11]中的结果，见表2。同时用Jhang提供的软件进行了用相同的实验视频进行对比，结果见表3，3个表中的加粗数值表示正确识别率。

表1 本文方法得到的实验结果

表2 文献[11]中的实验结果

表3 文献[11]软件得到的实验结果

通过对比，本文算法有效地提高了精度。通过考虑位置后的轮廓差提取特征，对同一种视频行为而言，均集中于某几个关键帧，见图5。这说明，这种特征提取方法对不同行为具有很好的判别性，从而可有效地提高分类效果。另一方面，把训练视频的关键帧直方图均作为样本，尽量地包含了不同行为视频直方图的不同情况。对一些误识别，比如修饰与微动，主要是由于部分轮廓差比较相似，导致了部分关键帧分类错误。

对比表3与表2，实验结果基本一致，一些数据有差异主要是由于训练和测试的视频及数量不一样。

在文献[11]中，应用视皮层原理提取实验鼠运动速度和方向作为特征，而这2种特征数据在某2类行为中的相似性较大，比较行走与微动，造成了分类困难。

3.2 参数的获取

在实验中根据行为分类的总体错误率最小来选定最佳参数，归一化大小´为20´20~80´80，行、列分别每次增加10作对比；聚类数为30~100，每次增加5作对比；为1~5，每次加1，这些参数每次变化组合，对视频进行测试，以错误率作对比，错误率最小的参数组合作为最终参数，即本文实验参数。图6~图8分别为实验比较分析时参数变化时的实例图。其中，图6的实验参数为=3，=80；图7的实验参数为´=60´30，=8；图8的实验参数为´=60´30，=3。

图6 归一化大小变化时的错误率

图7 帧间隔变化时的错误率

图8 聚类数k变化时的错误率

4 结束语

本文将实验鼠行为发生时视频帧间的变化信息及其相对于实验鼠对象的位置信息作为特征抽取的对象，利用K-means算法提取关键帧，在使用之前通过Pillar算法进行了初始化聚类中心的处理。把关键帧的频数分布直方图作为一个视频行为描述子，使分类问题变成一个判别直方图相似性问题。从直方图的分布来看，利用轮廓帧间变化信息可以很好地提取物体的运动信息，并具有较高的行为判别性。下一步将对此方法加以改进，使其可以应用于长视频中不同行为之间的分割。

[1] Poppe R. A Survey on Vision-based Human Action Recogni- tion[J]. Image and Vision Computing, 2010, 28(6): 976-990.

[2] Auwerx J. The European Dimension for the Mouse Genome Mutagenesis Program[J]. Nature Genetics, 2004, 36(11): 925-927.

[3] 张 敏, 张恒义, 郑筱祥. 基于轮廓曲率和谱系聚类的大鼠体态自动识别[J]. 浙江大学学报, 2006, 40(3): 107-114.

[4] 陆 铖. 基于视频的动物行为智能分析系统关键技术研 究[D]. 西安: 西北农林科技大学信息学院, 2008.

[5] Goulding E H. A Robust Automated System Elucidates Mouse Home Cage Behavioral Structure[J]. Proceedings of the National Academy of Sciences of the United States of America, 2008, 105(52): 20575-20582.

[6] Van de Weerd. Validation of a New System for the Automatic Registration of Behaviour in Mice and Rats[J]. Journal of Behavioural Processes, 2001, 53(1): 11-20.

[7] Osechas O. Ratpack: Wearable Sensor Networks for Animal Observation[C]//Proc. of the 30th Annual International IEEE Engineering in Medicine and Biology Conference. Vancouver,Canada: [s. n.], 2008: 538-541.

[8] Campbell S. Segmentation and Behavioral Classification of Mice Using Digital Video[C]//Proc. of the 4th International Conference on Methods and Techniques in Behavioral Research. Amsterdam, Holland: [s. n.], 2002: 27-30.

[9] Idaku I, Shogo K. Automatic Scratching Pattern Detection for Laboratory Mice Using High-speed Video Images[J]. IEEE Transactions on Automation Science and Engineering, 2008, 5(1): 176-182.

[10] Idaku I, Yuman N. Real-time and Long-time Quantification of Behavior of Laboratory Mice Scratching[C]//Proc. of the 3rd Annual IEEE Conference on Automation Science and Engineering. Scottsdale, USA: [s. n.], 2007: 628-633.

[11] Hueihan J. Automated Home-cage Behavioural Phenotyping of Mice[J]. Nature Communications, 2010, 25(9):1-9.

[12]Chen Changhong, Liang Jimin. Frame Difference Energy Image for Gait Recognition with Incomplete Silhouettes[J]. Pattern Recognition Letters, 2009, 30(11): 977-984.

[13] Wu Di, Shao Ling. Silhouette Analysis-based Action Recog- nition via Exploiting Human Poses[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(2):236-243.

[14] 邓甜甜, 王智灵. 基于轮廓图像空频域特征的人体姿态分层识别算法[J]. 模式识别与人工智能, 2011, 24(3): 411-416.

[15] Kim S. Optimal Keyframe Selection Algorithm for Three- dimensional Reconstruction in Uncalibrated Multiple Images[J]. Society of Photo-optical Instrumentation Engineers, 2008, 47(5): 188-195.

[16] Naveed E, Bin T. Adaptive Key Frame Extraction for Video Summarization Using an Aggregation Mechanism[J]. Journal of Visual Communication and Image Representation, 2012, 23(7): 1031-1040.

[17]Barakbah A R, Helen A. Optimized K-means: An Algorithm of Initial Centroids Optimization for K-means[C]//Proc. of a Seminar on Soft Computing Intelligent System and Information Technology. Surabaya, Indonesia: [s. n.], 2005: 102-107.

[18] Barakbah A R. A Pillar Algorithm for K-means Optimization by Distance Maximization for Initial Centroid Designation [C]//Proc. of IEEE Symposium on Computational Intelligence and Data Mining. Nashville, USA: [s. n.], 2009: 61-68.

[19] Barakbah A R, Yasushi K. A New Approach for Image Segmentation Using Pillar-kmeans Algorithm[J]. International Journal of Information and Communication Engineering, 2010, 6(2): 83-87.

编辑 任吉慧

Laboratory Mice Action Recognition Using Silhouette Difference Information

HONG Liu-rong

(School of Computer, Shangqiu Normal University, Shangqiu 476000, China)

Mice action data is an important part of the experimental data in neurology, physiological pharmacology, etc. A method is proposed on multi actions analysis of mice in this paper for lacking the limbs information. The inter-frame difference of mice silhouette are extracted while the relation between the difference and the position of mice silhouette is taken into consideration, then sequential silhouette difference frames are obtained from action videos. In training phase, the 80 key frames are extracted using Pillar K-means algorithm, each video is presented by the key frames and a histogram on frequency of key frame is obtained. In test phase, the histogram of each video is determined using its key frames by nearestneighbour algorithm. So, a classification problem is transformed into the similarities problem. Actions are classified by2distances. Experimental results show thatthe correct rate of the proposed method is a maximum of 100%, and the lowest of 95%.

action analysis; laboratory mice; similarity; difference information; Pillar K-means algorithm; key frame

1000-3428(2014)03-0213-05

A

TP391

安徽省自然科学基金资助项目(KJ2011A251)。

洪留荣(1969－)，男，副教授，主研方向：模式识别，数字图像处理。

2013-01-22

2013-04-02 E-mail：sqhongliurong@126.com

10.3969/j.issn.1000-3428.2014.03.045