半自主在线学习目标检测系统

罗琛 韩家宝 罗大鹏

摘 要： 针对不同监控场景，不同成像条件下目标姿态变化较大的问题，提出一种具有半自主学习能力的目标检测系统。该系统能在执行检测任务的同时，通过快速的半自主学习提高检测性能。系统包括了目标检测模块及在线学习模块。为满足系统在线学习需求，提出随机蕨分类器的在线学习方法，使目标检测模块可持续自我更新，提高检测性能。通过半自主在线学习框架使整个学习过程不需准备初始训练样本集，只需框选一个待检测目标即可进行自适应学习，逐渐提高检测性能。实验表明，该方法在多种监控场景中均有较强的自适应能力和较好的目标检测效果。

关键词： 在线学习； 目标检测； 随机蕨分类器； 半自主学习

中图分类号： TN919?34； TP391 文献标识码： A 文章编号： 1004?373X（2016）09?0121?05

Abstract： Since the object attitude has great variation in different monitoring scenes and different imaging conditions， an object detection system with semi?autonomous learning ability is proposed. The system can improve the detection performance by means of fast semi?autonomous learning while executing the detection task. The system is composed of object detection module and online learning module. To satisfy the requirement of system online learning， the online learning method of random fern classifier is proposed. It can sustainably self?renewal the object detection module， and improve the detection performance. The whole learning process by needn′t prepare the initial training samples semi?autonomous learning framework， and only select a detected object to perform the adaptive learning， so the detection performance is improved gradually. The experimental results show that the method has strong adaptive capability and high detection rate.

Keywords： online learning； object detection； random fern classifier； semi?autonomous learning

0 引 言

在线学习属于增量学习的研究范畴，在这一类方法中分类器对每个样本只学一次，而不是重复的学习，这样在线学习算法运行过程中不需要大量的存储空间存储训练样本。分类器每获得一个样本，即对其进行在线学习，使分类器能根据新样本自我更新和改进，进一步提高分类效果。早期的在线学习算法有Winnow算法[1]、统一线性预测算法[2]及增量有监督人工神经网络[3]等。2001年学者Oza将这些算法与boosting算法[4]进行结合，提出了在线boosting算法[5]。在Oza的方法中，强分类器是一定数量的弱分类器的加权和，这些弱分类器都是从弱分类器集合中挑选出来的。在线学习时，每个训练样本逐一更新弱分类器集合中的每个弱分类器，包括调整正负样本的分类阈值以及该分类器的权重，使分类准确率高的弱分类器权重越来越高，而准确率低的弱分类器权重越来越低，从而每次在线学习一个样本就可以挑选出一个当前权重最高的弱分类器加入强分类器中使最终训练出来的分类器有较强的分类能力。冯国瑜等人将在线学习用于增量支持向量机算法[6]，也取得了不错的效果。侯杰等人提出了基于指数损失和0?1损失的在线boosting算法[7]，该方法严格证明了在线学习过程并未损失分类准确性。但是，在线boosting算法的弱分类器集合中每个弱分类器都要对新样本进行在线学习，当弱分类器个数较多时，在线学习速度必然会变慢。Grabner对在线boosting算法进行了改进，使其也像Adaboost算法一样可以进行特征选择，并且这种特征选择是在线进行的，称为在线Adaboost[8]，从而使在线学习能够用于计算机视觉领域的目标检测。该算法初始化[N]组弱分类器集合，其中每个集合包含[M]个弱分类器。在线学习过程即为通过对新样本的学习更新[M×N]个弱分类器权重及分类阈值的过程，同时在线学习新样本权重也随之更新。可见弱分类器个数越多，在线学习的分类器性能越好，但是，需在线更新的弱分类器越多，其学习速度越慢。此外，文献[9?11]提出了一些改进方法，但在线学习速度和分类器性能的矛盾一直没有解决。

Ozuysal提出随机蕨分类器算法[12]，该算法随机初始化多个随机蕨，每个随机蕨均包含[K]个特征。将每个特征二值化，相应的[K]个特征构成的随机蕨为一个[K]位的二进制码。统计正负训练样本在该随机蕨的二进制数值即得到该随机蕨的后验概率分布。对于待测样本则由多个随机蕨的后验概率共同估计其类别。可见，该分类器将多个特征融合为一个随机蕨，不再需要训练弱分类器，提高了分类器训练速度。因此，本文在其基础上提出在线随机蕨算法，通过更新每个随机蕨的后验概率分布实现在线学习，从而摆脱了对样本权重及各个弱分类器权重、阈值的更新，因此分类器在线学习速度快。此外，随机蕨分类器分类性能的好坏由每个随机蕨包含的特征数及总随机蕨个数决定，特征越多，随机蕨总数越大，则分类效果越好。而随机蕨分类器的在线学习是通过更新其后验概率分布实现，因此提高随机蕨个数，增加每个随机蕨包含的特征数对在线学习速度影响不大，较好的平衡了分类器性能和在线学习速度的矛盾。

此外，本文提出半自主在线学习框架，可在随机蕨分类器进行视频目标检测的同时通过少量的人工干预，逐渐提高该分类器的视频目标检测性能。同时，该框架也验证了随机蕨分类器及其在线学习算法对视频目标检测的效果。通过实验可知，初始的随机蕨分类器通过在线学习算法可有效提高其视频目标检测精度。

1 随机蕨分类器

1.1 随机蕨分类器

对比式（4）可见，随机蕨分类器随机提取多个特征构成随机蕨，从而可联合多个随机蕨进行近似计算。从这个角度看，该算法是近似精确度和计算速度的平衡，通过对每个随机蕨包含特征数及随机蕨个数的选择可保证在分类器训练速度较快的情况下实现较好的分类精度。这一点对分类器的在线学习非常重要。

1.2 随机蕨分类器的使用

由1.1节可知，随机蕨后验概率[P（FlCk）]的计算方法是随机蕨分类器的关键。

通常训练随机蕨分类器采用二进制特征，如LBP，2 b模式等。假设在一个样本中随机提取5个特征值构成一个随机蕨[F，]则该样本的一个随机蕨数值即为5位二进制码对应的十进制数。由于该数值通过5位二进制码获得，因此有25种可能的数值，针对大量训练样本，可很方便地计算该随机蕨的后验概率。如图1所示，由相同位置的5个特征可获得每个样本的随机蕨数值，统计该数值分布即可获得车辆样本在该随机蕨的后验概率[P（FCk）]。

显然一个随机蕨对样本的分类精度不高，可以通过式（4）联合多个随机蕨的分类结果，其中每个随机蕨包含的特征数及使用的随机蕨个数决定了分类精确度及训练随机蕨分类器消耗的时间。

2 半自主在线学习

为了使基于随机蕨分类器的视频目标检测系统能够在少量人工干预的帮助下逐渐提高检测性能，本文提出半自主在线学习系统，下面首先介绍在线随机蕨算法，并在此基础上构建半自主学习系统。

2.1 在线随机蕨分类器

由上节可知，随机蕨分类器的训练不需更新弱分类器权重及样本权重，只需统计每类训练样本在不同随机蕨的后验概率分布即可，如图2所示，因此该分类器的训练速度较快。并且，对于随机蕨分类器的在线学习也很容易通过更新后验概率分布实现。

本文主要探讨在视频中检测某类目标的问题，与图1，图2的多类目标分类问题不同，需准备正负样本训练初始随机蕨分类器，统计正负样本在随机蕨不同数值上的分布。例如，针对随机蕨[F，]其对应的特征值为00101的正负样本个数分别为[N]和[M，]相应地，该随机蕨数值为00101时，为待检测目标的可能性是[NN+M，]该随机蕨有5个特征，相应有25种取值，统计每种取值的正负样本个数，计算其为待测目标的可能性，即为随机蕨[F]的后验概率分布，如图4所示。初始正负样本通过随机框选一个待检测目标进行仿射变换得到。

在线学习时，每个随机蕨的后验概率分布根据增加的正负样本数更新。设在线学习的样本为[fnew，Ck，]其中[fnew]为其多维特征向量，[Ck]为其样本类别，设为正样本。下面以随机蕨[F1]为例说明随机蕨分类器的在线学习过程：

（1） 计算该样本在随机蕨[F1]的数值，设为00101，即十进制数5；

（2） 将随机蕨[F1]的数值也为5的正样本数[N]加1，负样本数[M]不变；

（3） 更新随机蕨[F1]的后验概率分布，其中数值5的后验概率变为[（N+1）（N+M+1）；]

（4） 归一化随机蕨[F1]的后验概率分布。

可见，随机蕨分类器的在线学习过程即为各个随机蕨数值对应的样本数统计过程，由样本数变化更新后验概率分布。因此其在线学习速度远高于其他在线学习算法。

2.2 半自主在线学习框架

本文提出半自主在线学习框架可在检测系统运行过程中手工框选部分错误的目标检测结果作为在线学习样本，用于随机蕨分类器的在线学习，从而逐渐提高该分类器的视频目标检测性能。通过实验可知，初始的随机蕨分类器通过在线学习算法可有效提高视频目标检测精度。

半自主在线学习框架如图5所示，首先在第一帧视频图像中框选一个待检测目标， 利用该框选目标进行仿射变换得到初始正样本集，同时在该视频帧的非目标区域提取少量初始负样本集。由初始正负样本集根据1.2节提出的训练方法训练初始随机蕨分类器，将该分类器用于后续帧的同类目标检测。由人工对部分检测结果进行判断，对于检测到的虚警则标注为在线学习负样本，对于漏检目标则框选出来作为在线学习的正样本，采用2.1节提到的方法对随机蕨分类器进行在线学习，更新其后验概率分布。由于整个过程是人工指定在线学习样本，因此这种方法称为半自主在线学习。

半自主学习框架可在某一监控场景视频中在线训练有针对性的分类器，这和传统的离线学习方法有很大区别。离线学习中样本准备过程及分类器的训练过程均需耗费大量时间，非常不方便。采用半自主学习可直接从视频帧中框选一个待检测的目标启动分类器的在线训练过程，虽然刚开始检测性能不佳，但是随着在线学习的样本增多，检测性能逐渐提高。此外，半自主学习中，手工选取的在线学习样本主要针对检测过程多次出现的虚警及漏检目标，从而提高分类器训练的针对性，加快检测性能提高速度，获得针对某一监控场景的检测系统。一旦监控场景变化或检测目标类别变化，只需重新框选目标启动新的半自主学习过程即可，从而为不同的监控场景训练其专用的分类器检测系统。

2.3 半自主在线学习流程

由2.2节可知，半自主在线学习框架主要用于验证随机蕨分类器在线学习的有效性，其流程如图6所示。

3 实验效果及分析

在车辆目标检测的实验中，选取了一段交通视频，从视频文件中读入视频帧中的车辆信息。首先在第一帧视频图像中框选出一个车辆目标，对其进行仿射变换，得到200个正样本，再从监控视频四周非目标区域提取300个负样本训练初始随机蕨分类器。其中随机蕨分类器的随机蕨个数为15，每个随机蕨包含的特征数为5个。将该分类器用于对后续视频帧车辆目标的检测，并手工选取漏检目标作为在线学习正样本，同时手工选取虚警作为在线学习负样本，对分类器进行在线学习。实验过程中，系统在线学习了不到500帧图像，共2 875个正负样本就获得了不错的检测结果。如图7～图9所示。

在视频目标检测的初始阶段，在线学习的样本较少，视频帧中的目标较难被检测出来，这时候表现出来的是虚警少漏检多，如图7所示。随着视频中在线学习样本量的增多，虚警越来越多，漏检越来越少，如图8所示。正样本的在线学习使得视频帧中能够检测到的目标增多，负样本的在线学习使漏检减少，相应地，虚警的数量就会变少。当分类器在线训练的正负样本越来越多时，分类型的性能就逐渐提高，视频帧中的每个目标基本能够被检测出来，虚警也越来越少，如图9所示。

通过观察并且记录了每个阶段视频帧中某部分虚警的数量和漏检的数量，形成了一个表格，比较直观地发现它们的变化规律，如表1所示。

为了说明本文在线随机蕨分类器能够在不同的环境中对目标进行检测，具有较强的自适应性。将训练好的车辆目标分类器在第二种检测环境下进行半自主学习，只训练了200帧左右，共862个正负样本，就获得了较好的检测效果，如图10，图11所示，而在第三种检测环境下，只半自主学习了不到100帧，共253个正负样本，其检测结果如图12，图13所示。

4 结 论

本文将随机蕨算法和在线学习理论结合起来应用到目标检测系统中，组成了在线随机蕨的目标检测方法。通过半自主学习框架使检测模型在执行目标检测任务的同时逐步提高自身的检测性能。多组实验结果表明，本系统可以适应成像目标以及成像背景的变化，并保持不错的检测效果。

未来将进一步提高在线学习随机蕨分类器的分类能力，并结合在线学习样本自主获取、标注方法，将系统扩展为全自主在线学习系统，拓宽其应用范围。

参考文献

[1] LITTLESTONE N. Learning quickly when irrelevant attributes abound： a new linear threshold algorithm [J]. Machine learning， 1988， 2（4）： 285?318.

[2] LITTLESTONE N， WARMUTH M K. The weighted majority algorithm [J]. Information and computation， 1994， 108（2）： 212?261.

[3] POLIKAR R， UPDA L， UPDA S S， et al. Learn++： an incremental learning algorithm for supervised neural networks [J]. IEEE transactions on systems， man， and cybernetics， part C （applications and reviews）， 2001， 31（4）： 497?508.

[4] VIOLA P， JONES M J. Fast and robust classification using asymmetric AdaBoost and a detector cascade [J]. Advances in neural information processing system， 2002， 2（3）： 1311?1318.

[5] OZA N， RUSSELL S. Online bagging and boosting [C]// Proceedings of the Eighth International Workshop on Artificial Intelligence and Statistics. Florida： [s.n.]， 2001： 105?112.

[6] 冯国瑜，肖怀铁，付强，等.一种适于在线学习的增量支持向量数据描述方法[J].信号处理，2012，28（2）：186?192.

[8] GRABNER H， BISCHOF H. On?line boosting and vision [C]// Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2006： 260?267.

[9] ZEISL B， LEISTNER C， SAFFARI A， et al. On?line semi?supervised multiple?instance boostin [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 1879?1887.

[10] CHEN S T， LIN H T， LU C J. Boosting with online binary learners for the multiclass bandit problem [C]// Proceedings of the 31st International Conference on Machine Learning. [S.l.： s.n.]， 2014： 342?350.

[11] QI Zhiquan， XU Yitian， WANG Laisheng. Online multiple instance boosting for object detection [J]. Neurocomputing， 2011， 74（10）： 1769?1775.

[12] OZUYSAL M， CALONDER M， LEPETIT V， et al. Fast keypoint recognition using random ferns [J]. IEEE transactions on pattern analysis and machine intelligence， 2010， 32（3）： 448?461.

[13] PEDRO D， PAZZANI M. On the optimality of the simple Bayesian classifier under zero?one loss [J]. Machine learning， 1997， 29（3）： 103?137.

[14] RENNIE J D M. Tackling the poor assumptions of Naive Bayes text classifiers [C]// Proceedings of the Twentieth International Conference on Machine Learning. [S.l.]： IEEE， 2003： 616?623.