舢 ELECTR0NIC电子测量技术 MEASUREMENT T ECHN0LOGY 第320613卷第1年11月1 期 基于多特征自适应融合的目标跟踪算法 张 静 刘晓伟 刘安安 苏育挺 张 哲 (天津大学电子信息工程学院 天津300072) 摘 要:针对目标跟踪中部分遮挡及漂移问题,提出了一种基于多特征自适应融合和在线学习的目标跟踪算法。首 先针对原始特征提取的相对简易性,提出了改进的特征提取方法,提高了特征的表达能力和判别能力,然后将多种特 征白适应融合,最后进行在线学习。实验采用了具有挑战性的公共测试数据集PETS 2012,并用MOTP评测了跟踪 性能。实验结果验证了提出算法的有效性,大大提高了复杂场景下的跟踪鲁棒性,有效地解决了部分遮挡和跟踪漂移 问题。 关键词:多特征;自适应融合;在线学习 中图分类号:TP391 文献标识码:A 国家标准学科分类代码:510.1050 obj ect tracking algorithm based on adaptive fusion of multi-feature Zhang Jing Liu Xiaowei Liu Anan Su Yuting Zhang Zhe (School of Electronic&Information Engineering,Tianjin University,Tianjin 300072,China) Abstract:In view of partly occlusion and drifting problem in object tracking,we introduce an object tracking algorithm based on adaptive fusion of multi—feature and online learning.First,to improve the expression and discrimination of feature,we employ an improved feature extraction way.Then,we propose a new method,which uses adaptive fusion of multiple[eatures with online learning of the detector and the ohject—specific recognizer.Finally,we employ challenging public testing dataset—PETS 20 1 2 and use MOTP evaluate the performance of our method.Experiment results verify the effectiveness of our algorithm,greatly improving the tracking robustness in various environments. Keywords:multi—feature;adaptive fusion;online learning 些特征的提取方法过于简单,特征的表达能力和判别能力 1 引 言 较弱,同时多特征的融合策略大都是根据场景的先验知识 近些年,随着科技的不断发展,视频监控设备得到了广 预先设定的,缺乏对环境变化的自适应性,导致跟踪的可靠 泛应用,摄像头产生的海量数据给传统人眼监控和跟踪带 性不高。文献[6]虽然采用了Fisher准则判别特征权重, 来了严峻的考验,因此,对于鲁棒的自动目标跟踪算法的需 但在发生目标遮挡后,避免不了跟踪的漂移问题。为了解 求非常迫切。尽管全世界的研究人员已经研究了很多年, 决这些问题,提出了一种基于多特征自适应融合和在线学 目标跟踪仍然面临着很多困难。对于遮挡、光照变化、阴 习的目标跟踪算法。 影、形变、转身、拥挤等动态复杂环境下的跟踪,一直没有得 首先介绍了改进的多特征提取方法,提出了新的颜色 到完美的解决川。 特征模型,以及基于分块的多尺度边缘和纹理特征;然后将 基于单特征的跟踪算法很难解决以上问题,对目标跟 这些特征根据场景自适应融合起来,适应了不同场景下的 踪以及后续的轨迹评估不具鲁棒性。对此问题,许多学者 跟踪任务;最后介绍了在线学习。本文实验部分采用公共 在跟踪算法中采用多个特征,利用信息之间的互补性实现 数据集PETS 2012,结果证明,改进特征的表达能力和判别 更稳定的跟踪。如Perez等人 提出了一种组合目标的颜 能力大大提高,增强了跟踪的鲁棒性。通过多特征的自适 色、声音等特征的粒子滤波跟踪算法,Valtteri[3 研究了结 应融合,信息之间达到更好的互补,提高了跟踪算法适应各 合颜色、纹理及运动特征的跟踪方法,文献[4—5]在跟踪中 种复杂场景的能力。通过在线学习,解决了遮挡后发生跟 同时利用了目标、颜色、纹理和形状特征。以上算法中,有 踪漂移的问题。 收稿日期:2013-07 ・ 30 ・ 张静等:基于多特征自适应融合的目标跟踪算法 上运用LBP算子存在以下问题: 1)二值模式容易受噪声影响; 第11期 2基于多特征自适应融合的目标跟踪 提出了一种基于多特征自适应融合的目标跟踪算法。 征采用了全局颜色信息和局部边缘、纹理信息。颜色特征 作为一种全局描述,是目标的最直接表示,边缘、纹理作为 一2)特定尺寸的LBP算子只能提取固定尺寸范围内的 采用基于分块的多尺度LBP算子计算纹理特征,相比 原始的LBP特征,基于分块的多尺度LBP特征对图像噪 首先,对目标区域采用改进的方法进行特征描述,其中,特 纹理信息。 种补充性局部描述。自适应融合使多特征对不同场景的 声的影响更加不敏感,且能够提取到更加丰富的局部和全 适应性更强。通过粒子滤波 框架在下一帧找出候选目标 局信息,对目标图像具有更强的表示能力和判别能力,鲁棒 集合进行预测。最后,介绍了在线学习,通过在线学习有效 避免了短暂遮挡后的跟踪漂移问题。 2.1多特征提取 性更强。 为构建基于分块的多尺度纹理特征直方图,1)首先对 原始目标区域插值得到新的目标区域;2)对原始区域和插 值得到的新区域分别进行分块,分块方法采用非重叠块的 2.1.1颜色特征 将目标区域分为个子块;3)对每一子块,计算LBP特 颜色信息是目标追踪中最明显的特征,由于其对旋转、 方法,采用包含59种样式的统一模式(Uniform Patterns); 非刚性、部分遮挡具有较好的鲁棒性而被大量采用。颜色 征,直方图通常采用RGB色彩空间计算,考虑RGB空间对光 照变化的敏感性,以及HSV空间中色调与饱和度分量与 人感受颜色的方式紧密相连,采用HSV色彩空间。经典 HSV特征只是简单的将HSV空间量化为Q ×Q ×Q 个 4)最后将每一子块计算得到的LBP直方图序列连接起来 得到完整的纹理特征直方图。 2.2自适应融合 本节研究在动态变化的场景下,如何根据场景内容 量化级,在一些复杂场景下,效果明显下降。 因此,提出了如下的HSV颜色模型: 1)非彩色区域:所有一或者一均归入非彩色区,并按 Value值分为Q 个量化级。 2)彩色区域:非彩色区域以外的颜色。按Hue值和 Saturation值分为QH×Qs个量化级。 按照以上的量化级,把各颜色分量合成为一维特征矢 实时确定各特征的权重,实现多特征的自适应融合。根 据文献[-83的研究,特征的辨别性和相关性对跟踪的性 能具有一定的影响。多特征的自适应融合即根据各特 征的辨别性和相关性,实时调整特征的权重,以达到最 优的跟踪性能。 辨别性定义为目标与相邻背景关于某一特征的相似程 度。它用两直方图的巴氏系数来表示: RD,一 1一 量,构建含有维的一维直方图。本文将HSV空间各分为 1O个量化级,构成110维向量,相比经典方法1 000维,不 仅降低了经典特征的维数,更增强了某些情况下的分辨 能力。 2.1J 2边缘特征 1 ,,∈{HSV, ∑ 掰“ 1 (1) 日9,LBP} 目标的边缘是反映目标形状信息的基本特征之一,被 广泛用于目标检测和跟踪。考虑基于H0G的人体检测已 经取得的良好效果,采用一种基于多尺度分块的边缘强度 式中:q, 和户,分别表示相邻背景和目标的特征直方 图。RD,越小,这种特征的区分程度越强 如果某种特征 的区分程度很强,给它分配较高的权重。相反,分配较低 的权重。 加权的边缘方向特征,实验很好的证明了采用多尺度分块 能大大提高特征的表达和分辨能力。 首先对原始目标区域插值得到2倍宽和高的新区域, 然后分别对原始区域和新区域进行分块,分块方法采用非 重叠块的方法,将目标区域分为若干个子块。对每一子块, 采用Sobel算子计算出边缘的强度和方向。参考H0G中 对边缘方向O。~180。(无符号)分为9维或0。~360。(有符 号)分为18维。接下来对直方图进行投票,为了减少量化 相关性定义为目标与模型关于某一特征的相似程度。 它用两直方图的巴氏系数来表示: CD,一下 1pLql PIJ一 ’ ,厂∈{HSV,即,- ∑ “=1 LBP} (2) 式中:q r表示模型的特征直方图。CD,越大,这种特征的相 的权重。相反,分配较低的权重。 噪声,先按相邻子块对边缘强度进行双线性插值投票,然后 关程度越强。如果某种特征的相关程度很强,给它分配较高 按相邻方向对边缘方向进行线性插值投票,3次插值可以 通过进行卷积运算快速完成。 2.1.3纹理特征 每一种特征的权重最终由RD和CD共同决定: ,a=C・RDmv・CDnsy 局部二值模式(LBP)具有良好的旋转不变性和灰度不 变特性,能够有效地提取图像特征。然而直接在原始图像 J9一C・RD ・CD (3) 【y=C・RIDLBP・CDLBP ・ 31 ・ 第36卷 式中:C 2.3在线学习 电是归一化常数。 子测量技术 对边缘特征和纹理特征在原始方法,基于分块,基于多 尺度,基于多尺度分块的4种方法上进行了对比测试。 MOTP对比结果见表2。从表中可以看出,4种方法中经 基于以上自适应融合后的特征模型,提出了多分类器 典方法的MOTP最低,无论是基于分块还是基于多尺度的 相比经典方法,MOTP都有稳定的提升;多尺度结合 框架来克服跟踪漂移问题。对于每一个分类器,分配给它 方法,个单独的任务:检测、识别。为了简化分类器的训练,采 分块的方法相比单一方法再一次的提升了M0TP,说明基 用了一些基于视频的时间和空间上的假设 ,并结合了 于多尺度分块的边缘和纹理特征提取方法最优。因此,本 一运动信息。 检测器是一种可以检测感兴趣目标的通用分类器,用 文采取基于多尺度分块的方法。 表2边缘和纹理特征MOTP对比 于区分被跟踪目标与其他类别物体。检测器在离线下训 练,在跟踪过程中不会更新。对人体跟踪采用基于边缘梯 度直方图特征和支持向量机模型训练得到的人体检测器 正样本在数据集其他序列中手工选取,负样本则在数据集 其他序列中随机选取,正、负样本选取后都经过人工检验, 并且归一化到统一尺寸。 识别器用于获取跟踪过程中特定目标的先验信息,它 只在特定情况下进行更新。识别器输入包括正样本和副样 本,正样本是由检测器验证过的跟踪结果组成,为了获得更 好的识别效果,对正样本采用仿射变换、亮度调整等,将所 得图像全部作为正样本。负样本与正样本等尺寸大小,包 含部分目标和部分背景信息。 3实验与结果 为了评测本文算法的性能,实验采用公共数据集 PETS 2012进行测试。PETS数据集是英国雷丁大学在 Whiteknights校区录制的,包括拥挤场景下的多视角帧序 列,更具真实性,大大增加了场景难度 其中S 子数据集 为人数统计和密度评估,s 子数据集为行人跟踪,s。子数 据集为人群分析和事件识别。选择S 数据集VIEW一001 视角下的L 帧序列(总共795帧)评测算法性能。采用 M0TP跟踪评测标准来评测算法性能。MOTP是从标定 的标准值和算法输出的跟踪结果之间的时空重叠度来计 算的。 1)模型性能评估 对经典特征模型和本文提出的改进模型进行了对比。 MOTP对比结果如表1所示。 表1颜色特征MOTP对比 原始 本文 经典HSV颜色模型只是简单地将HSV空间分为 Q ×Q ×Qv维,在PETS数据上的测试结果也证实了以 往颜色模型过于简单,针对一些颜色相似目标的情况无法 很好的描述目标,造成跟踪丢失。相反,本文的颜色模型在 PETS上可以有效地区分不同目标、目标与背景,实现了较 好的特征分辨作用。 ・ 32 ・ 2)自适应融合性能评估 多特征融合问题即特征权重分配的问题。简单的分配 方法(比如固定比例1:1:1)对于特定场景,固定比例的特 征权重分配可能会获得较好的融合效果,也可能获得不好 的效果,但为了提高算法的适应能力、可靠性以及突出不同 特征的表达性,提出了一种基于特征表达性和辨别性的自 适应融合方法,并且对比了固定权重的特征融合与本文提 出的自适应融合跟踪算法的性能,计算所得MOTP如表3 所示。结果表明,不同比例的权重分配对于同一场景下算 法的性能影响很大,不好的权重分配甚至会降低算法性能。 本文提出的自适应融合算法克服了固定权重特征融合算法 这个缺点,对于场景变化的适应能力更强,跟踪效果也更 可靠。 表3固定权重融合与自适应融合M0TP对比 3)在线学习性能评估 跟踪漂移大致分为遮挡后的背景漂移和多目标交错 后的目标问漂移。采用检测器可以有效地克服背景漂移 的问题。针对多目标交错后的目标间漂移问题,提出了一 种基于在线学习训练的分类器一识别器。对比了发生遮挡 后具有在线学习和不具有在线学习的跟踪。当目标发生 了交错遮挡,不具有在线学习的跟踪算法发生了跟踪漂 移,导致跟踪错误,而具有在线学习的跟踪算法重新识别 了目标,有效地克服了跟踪漂移问题,使得跟踪效果更加 准确可靠。 4 结 论 针对部分遮挡及跟踪漂移问题提出了一种基于多 特征自适应融合和在线学习的目标跟踪算法,改进的特 张静等:基于多特征自适应融合的目标跟踪算法 of Computer Vision,1998,29(1):5-28. 第11期 征提取方法增强了目标的表达和分辨能力,自适应融合 可以让跟踪适应不同场景的需求,实验结果验证了本文 算法的鲁棒性。下一步将继续优化算法,并在其他数据 集上测试算法性能,以及研究基于本文算法的跨视角跟 踪问题。 [9] [8] COI I INS R T,IAU Y x,I.EORDEANU M.Online selection of discriminative tracking featuresEJ].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(10):1631—1643. STALDER S,GRABNER H,VAN GO0 I .Beyond 参考文献 [1] 孙尚龙,苏寒松.遮挡情况下基于卡尔曼滤波的运动 semi—supervised tracking:tracking should be as simple as detection,but not simpler than recognition[C]. 目标跟踪[J].电子测量技术,2011,34(5):8—11. [2] PEREZ P,VERMAAK J,BLAKE A.Data fusion for visual tracking with particles[J].Proceedings of the IEEE,2004,92(3):495—513. [3] TAKAI A V, PIETIKAINEN M. Multi—object tracking using color,texture and motion[C]. Computer Vision and Pattern Recognition,2007:1—7. [4] IDO L,MICHAEL I ,EHUD R Tracking by afifne kernel transformations using color and boundary cues[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(1):164—171. [5] ⅥrANG J,YA Y.Integrating color and shape-texture features for adaptive real time object tracking[J].IEEE Trans Image Processing,2008,17(2):235—240. [63 I I Y ZH,I U ZH Y,I I J.Particle filter tracking method based on adaptive fusion of multiple featuresrC].Electric Information and Control Engineering,2011:4338—4341. [7] ISARD M,BLAKE A.Condensation:conditional density propagation for visual tracking[J].International Journal Computer Vision Workshops,2009:1409—1416. [1O] ZHONG W,I U H CH,YANG M H.Robust object tracking via sparsity—based collaborative model[c]. Computer Vision and Pattern Recognition(CVPR), 2012:l838—1845. 作者简介 张静,1972年出生,博士,副教授,主要研究方向为数 字视频编码、多媒体取证。 刘晓伟,1986年出生,硕士,主要研究方向为目标跟 踪、动作识别。 E—mail:48150217@qq.com 刘安安(通讯作者),1982年出生,博士,副教授,主要 研究方向为计算机视觉、机器学习。 苏育挺,1972年出生,博士,教授,主要研究方向为数 字视频编码、多媒体取证、医学图像处理。 张哲,1982年出生,博士,研究员,主要研究方向为计 算机视觉、机器学习。 ・ 33 ・