1.   引言

目标跟踪是计算机视觉领域^[1,2]中的一个热点问题，即在第1帧框选出目标区域后，对目标进行顺序定位。此技术广泛应用于现代化军事^[3,4]、无人驾驶^[5,6]等领域。尽管目标跟踪在近些年间已获得了一定的成果，但仍因其在线学习的性质，目标物体会出现遮挡、形变、运动模糊等类型的挑战，目标跟踪仍然是一项有挑战性的学术研究。

基于相关滤波框架的目标跟踪^[7,8]，具有足够的跟踪精度和较高的运行速度，在近几年广泛应用于处理上述问题，并取得了较好的成果。此类算法是从在线样本集中训练相关滤波器，转换到频域后计算相关响应值，响应值最大的位置即为目标区域^[9,10]。2014年，Henriques等人^[11]提出了核相关滤波(Kernelized Correlation Filters, KCF)跟踪算法，引入循环矩阵，加大了训练样本集的数量；引入高斯核函数，将低维空间的非线性问题转化为高维空间的线性问题，简化计算。由于跟踪过程中搜索区域是有限的，此算法在训练和检测样本时的循环移位操作会使得生成的样本进行周期性的扩展，从而导致边界效应。针对这一问题，2015年，Danelljan等人^[12]在目标函数中加入了空间正则项，提出空间正则化相关滤波(Spatially Regularized Discriminant Correlation Filters, SRDCF)算法，通过设置一个负高斯形状的权重矩阵，加大目标区域的权重，降低边缘区域的权重，从而缓解边界效应，具有较好的跟踪效果，但跟踪速度较慢，无法达到实时跟踪；同一时期，Galoogahi等人^[13]提出有限边界相关滤波(Correlation Filters with Limited Boundaries, CFLB)算法，加入掩模矩阵，也是通过空间约束的方式去除训练相关滤波器时所带来的边界效应问题。2017年，Galoogahi等人^[14]在CFLB的基础上提出背景感知相关滤波(Background-Aware Correlation Filters, BACF)算法，利用来自背景信息的负样本训练相关滤波器，并进行样本裁剪，筛选出每个样本的有效区域，增加了样本数量的同时又能够保证样本的质量。随后，2018年，Li等人^[15]在SRDCF算法的基础上加入时间正则项，提出时空正则化相关滤波(Spatial-Temporal Regularized Correlation Filters, STRCF)算法，控制相邻两帧之间的滤波器，避免滤波器发生退化；并且不再记录从开始到结束所有帧的样本信息，只需记录单个样本信息，降低运算成本。

以上这些方法构造的正则项都没有与样本建立联系，当出现遮挡、旋转或其他背景干扰的情况时，算法可能无法提取出可靠的权重矩阵，易出现漂移，进而导致跟踪失败。因此，Dai等人^[16]在BACF算法的基础上与目标建立联系，提出自适应空间正则化相关滤波(Adaptive Spatially-Regularized Correlation Filters, ASRCF)算法，该算法能够根据目标的变化，对空间正则项权重进行更新，使得算法在训练滤波器时对非目标区域的惩罚更加精准。但是由于该算法采取逐帧更新的方式，对快速运动、运动模糊等一些异常情况的处理不够鲁棒。Li等人^[17]在STRCF算法的基础上提出了自动时空正则化目标跟踪(automatic spatio-temporal regularization Tracking, AutoTrack)算法，通过设置局部响应变量，确定空间惩罚的权重；通过设置全局响应变量，控制滤波器的更新速率。但是该算法通过计算搜索区域内每个像素的可信度对空间正则项的参数进行更新，当目标变化较大时，无法及时学习到外观模型，易造成跟踪失败。

另外还有Huang等人^[18]在BACF算法的基础上提出的异常抑制相关滤波(Aberrance Repressed Correlation Filters, ARCF)算法，通过抑制检测过程中出现的异常，避免了因引入过多背景噪声而使跟踪结果可信度降低的问题。

STRCF算法采用SRDCF算法的负高斯形状空间权重矩阵，降低了目标边缘区域的权重，缓解了边界效应。但是固定的空间权重存在当目标出现遮挡、旋转等异常情况时，模型学习到错误信息，易造成跟踪漂移这一问题。因此，本文通过对以上算法的研究，在STRCF算法框架的基础上，提出了一种自适应空间异常的目标跟踪算法。本文的主要工作为：(1)定义目标函数时，加入自适应的空间正则项，融入样本信息，更加精确地惩罚非目标区域的权重，实现空间自适应性；(2)目标函数求解时，采用交替方向乘子法(Alternating Direction Multipliers Method, ADMM)^[19]，降低算法的复杂度；(3)模型更新时，融入异常分析策略，即利用从之前连续帧中学习到的响应值模型与当前帧的响应值进行计算，得到一个验证分数，并利用该验证分数进行异常分析，控制模型的学习速率，从而削减不必要的学习，强化必要的学习，进一步提高了跟踪算法的自适应能力。

2.   时空正则化相关滤波算法原理

时空正则化相关滤波算法通过在目标函数中加入权重矩阵$\tilde {\boldsymbol{\omega}}$和时间感知项，结合空间和时间正则化，能够在有效处理边界效应的同时，提高跟踪的速度与性能。该算法在目标发生较大变化时表现出了较优的性能。

该算法的最优滤波器$h_k^t$通过最小化以下目标函数得到

式中，符号*表示卷积运算。${x}_{k}\in {R}^{N\times 1}, (k=1,$$2,\cdots ,K)$表示在t帧中提取出的特征样本，N为整幅图片的大小，K为每帧图片的总通道数。$y \in {R^{N \times 1}}$为理想的相关响应值，${\boldsymbol{H}} = [h_1^t,h_2^t, \cdots ,h_K^t]$, $h_k^t \in {R^{N \times 1}}$为第t帧训练的第k通道的滤波器。STRCF算法引用SRDCF算法中的空间正则项$\dfrac{1}{2}\displaystyle\sum\nolimits_{k = 1}^K {||\tilde {\boldsymbol{\omega}} \cdot h_k^t||_2^2}$, $\tilde {\boldsymbol{\omega}} \in R$为负高斯形状的空间权重矩阵，使正则化权重从目标区域平稳地过渡到背景区域，并且增加了权重矩阵在傅里叶域中的稀疏性。引入时间正则项$\dfrac{\mu }{2}{\left\| {{{\boldsymbol{h}}^t} - {{\boldsymbol{h}}^{t - 1}}} \right\|^2}$，其中$\mu$为系数，${{\boldsymbol{h}}}^{t}和{{\boldsymbol{h}}}^{t-1}$表示当前帧和上一帧训练的滤波器。

该算法在目标函数中引入的负高斯形状的空间权重矩阵，有效缓解了边界效应的问题。但是由于该权重是固定的，在跟踪过程中无法根据样本信息进行更新，一些目标外观特殊变化场景下的跟踪效果较不稳定。

因此，本文针对STRCF算法的空间权重问题，在目标函数中构造自适应空间正则项，与样本信息建立联系，从而得到一个更加鲁棒的外观模型；并且针对跟踪过程中目标旋转、背景模糊等异常情况下失跟率较高的问题，融入异常分析策略，实现自适应的模型更新速率。

3.   自适应空间异常的目标跟踪

3.1   目标函数模型

针对上述问题，本文定义目标函数为

式中，符号*表示卷积运算。$y \in {R^{N \times 1}}$为理想的相关响应，K为总通道数，${x_k}$为初始帧采集到的样本，$h_k^t \in {R^{N \times 1}}$为第t帧训练的滤波器，${\lambda _1}$, ${\lambda _2}$, μ为正则项系数。引入自适应空间正则项 $\dfrac{{{\lambda _1}}}{2}\displaystyle\sum\nolimits_{k = 1}^K {\left\| {{\boldsymbol{\omega}} \cdot h_k^t} \right\|_2^2}$, ${\boldsymbol{\omega}} \in R$为自适应空间正则权重，融入样本信息，在解决边界效应的同时，使空间权重随着样本信息的变化而变化，实现空间的自适应性。$\dfrac{{{\lambda _2}}}{2}\left\| {{{\boldsymbol{\omega }}}{\rm{ - }}{{{\boldsymbol{\omega }}}_{\rm{r}}}} \right\|_2^2$为约束项，能够自适应调整目标区域内特征提取的权重，避免在求解最优空间权重时出现的过拟合现象。

根据Parseval定理，引入辅助变量${\hat g_k} \in {C^{NK \times 1}}$, $\hat {\boldsymbol{G}} = \left[ {{{\hat g}_1},{{\hat g}_2}, \cdots ,{{\hat g}_K}} \right]$，可将式(2)转化到频域

其中，$\hat y{\rm{ = }}\sqrt N {\boldsymbol{F}}y$, ${{{\hat x}}_k}{\rm{ = }}\sqrt N {\boldsymbol{F}}{x_k}$, ${\hat g_k}{\rm{ = }}\sqrt N {\boldsymbol{F}}{{{g}}_k}$为傅里叶变换，其中${\boldsymbol{F}} \in {C^{N \times N}}$为正交矩阵。

3.2   目标函数优化

由于式(3)为凸光滑可微函数，可采用交替方向乘子法(ADMM)进行迭代求解，以降低算法的复杂度，优化跟踪速度。其增广拉格朗日形式^[20]可以表示为

式中，$\hat {\boldsymbol{M}} = \left[ {{{\hat m}_1},{{\hat m}_2}, \cdots ,{{\hat m}_k}} \right] \in {R^{N \times K}}$为拉格朗日乘子。$\gamma$为步长参数。上角标${\rm T}$表示矩阵的转置。

引入${v_k} = \dfrac{1}{\gamma }{m_k}$, ${\boldsymbol{V}} = [{v_1},{v_2},\cdots,{v_k}]$，式(4)可转化为

通过使用ADMM算法，等式可分解为${{\boldsymbol{\hat G}}},{{\boldsymbol{H}}},{{\boldsymbol{W}}}$ 3个子问题，式(5)可通过对这3个子问题进行迭代解出最优值。

(1)求解$\hat G$：假设给定${\boldsymbol{H}}, {\boldsymbol{W}}, \widehat{{\boldsymbol{V}}}$, $\hat {\boldsymbol{G}} = [{\hat g_1},{\hat g_2}, \cdots ,{\hat g_k}]$，目标函数为

由上式可以看出，如果直接对${\hat g_k}$求导，第1项的求和运算会增加较大的计算复杂度。由于${\hat x_k}$为稀疏带状变量，并且$\hat y$只依赖${\hat x_k}$和${\hat g_k}$中的元素，所以可以考虑通过单独计算$\hat y$中的元素即${\hat y_k}(k = 1,2, \cdots ,K)$来简化计算。记${\zeta _j}(\hat {\boldsymbol{G}}) \in {R^{K \times 1}}$，表示在像素$j$上${\hat{\boldsymbol x}}$的所有K通道值的向量。那么式(6)可以转化为

其中，$\hat y \in R$, ${\zeta _j}\left( {\hat {\boldsymbol{X}}} \right) \in {R^{K \times 1}}$, ${\zeta _j}\left( {\hat {\boldsymbol{V}}} \right) \in {R^{K \times 1}}$, ${\zeta _j}\left( {\sqrt N {\boldsymbol{FH}}} \right) \in {R^{K \times 1}}$。根据离散Parseval定理的时域和频域能量相等，可以得到

对${\zeta _j}(\hat {\boldsymbol{G}})$求偏导，并令其等于0即

解得

式(10)时间复杂度为$O\left( {N{K^3}} \right)$，计算量较大，所以进一步利用Sherman Morrison公式对其化简得

其中，$\rho {\rm{ = }}{{{\hat y}}_j}{\zeta _j}\left( {{{\boldsymbol{\hat X}}}} \right) + \gamma {\zeta _j}\left( {\sqrt N {{\boldsymbol{FH}}}} \right) - \gamma {\zeta _j}\left( {{{\boldsymbol{\hat V}}}} \right)$。

由式(11)可以看出，对${\zeta _j}\left( {\hat {\boldsymbol{G}}} \right)$求解的时间复杂度为$O(NK)$，缩短了程序的运行时间。

(2)求解H：假设给定${{\boldsymbol{\hat G}}},{{\boldsymbol{W}}},{{\boldsymbol{\hat V}}}$, $H \in {R^{N \times 1}}$，其目标函数可以表示为

记${{\boldsymbol{W}}} = {\rm{diag}}({{\boldsymbol{\omega }}}) \in {R^{N \times N}}$，表示空间正则权重$\boldsymbol{\omega }$的对角矩阵，则有${{\boldsymbol{\omega }}} \cdot {{\boldsymbol{h}}} = {{\boldsymbol{Wh}}}$。并且令$\dfrac{{\partial {\varepsilon _{{h_k}}}}}{{\partial {h_k}}} = 0$，可以解得

由式(13)可以看出对${h_k}$的求解过程仅需逐元相乘和快速傅里叶逆变换(IFFT)得到，即${v_k} =$$\dfrac{1}{{\sqrt N }}{{\boldsymbol{F}}^{\rm T}}{\hat v_k}$, ${g_k} = \dfrac{1}{{\sqrt N }}{{\boldsymbol{F}}^{\rm T}}{\hat g_k}$。所以，对H进行求解的时间复杂度为$O(KN\lg N)$。

(3)求解自适应空间正则权重${\boldsymbol{\omega}}$：假设给定H，W，$\hat {\boldsymbol{V}}$，对$\omega$采用ADMM算法求解的迭代过程如下。

目标函数为

式中，${{{\boldsymbol{D}}}^t} = {\rm{diag}}({{{\boldsymbol{h}}}^t}) \in {R^{N \times N}}$。引入辅助变量q，则式(14)的增广拉格朗日形式可以表示为

式中，$\tau$为正则项步长参数，m为拉格朗日乘子。由于该目标函数为凸光滑可微函数，可再次使用ADMM算法将对目标函数的求解转化为对以下3个子问题的迭代求解。

式中，根据$\mu {\rm{ = min}}\left[ {\beta \tau ,{\tau _{\max }}} \right]$, β =10对参数μ进行更新。

本文算法在第1帧选取原基线算法STRCF的空间权重参数对自适应空间权重${\boldsymbol{\omega }}$进行初始化。在后续的跟踪过程中，使用式(14)对其进行更新。

(4)拉格朗日乘子更新

式中，$i, i+1$表示迭代次数，$\iota$为更新参数，${{{\boldsymbol{\hat G}}}^{i + 1}}$和${{{\boldsymbol{\hat H}}}^{i + 1}}$表示在第$(i + 1)$次迭代中，是式(6)子问题$\hat {\boldsymbol{G}}$和式(12)子问题$\hat {\boldsymbol{H}}$的解。

式中，$\beta \rm{=}10，{\iota }_{\rm{max}}=10000$。

3.3   目标定位

式中，${{\boldsymbol{R}}^{\boldsymbol{t}}}$为第t帧响应图，$\hat X_k^t$为第t帧搜索区域中提取出的特征的傅里叶形式，$\hat g_k^{t - 1}$表示第$\left( {t{\rm{ - }}1} \right)$帧中训练得到的相关滤波器的傅里叶形式。响应图最大值的区域设定为目标的中心位置。

3.4   异常分析

在目标跟踪过程中，由于搜索区域内包含较多的背景噪声，当目标发生遮挡、旋转或其他原因引起的外观变化时，易出现异常情况，从而使相关滤波器的训练不够准确，更降低了跟踪结果的可信度。因此，本文提出异常分析机制，当目标与目标模型发生较大差异时，会判定出现异常情况。

本文利用响应图能够揭示目标模型和目标对象之间相似性的特性，来估计当前帧检测到的目标和目标模型的相似值。本文设置验证分数score为验证标准，其值定义为

式中，${\boldsymbol{R}}_{t - 1}^{{\rm{model}}}$为上一帧生成的响应模型，${{{\boldsymbol{R}}}_t}$为当前帧生成的响应图。为使验证分数数值差异明显，设置参数a=10，b=10。当目标的运动状态相较平稳时，当前帧响应图与响应模型区别较小，此时score值较高；相反，当目标开始出现遮挡、形变等异常情况时，响应值发生改变，score值便会相应减小。具体实现过程见图1。图中曲线横坐标为OTB100数据集中选取的一个视频序列，纵坐标为序列每一帧的score的值。

图 1  视频序列异常分析示意图

下载: 全尺寸图片 幻灯片

从图1可以发现，当目标正常平稳运动时，目标外观的变化程度可以忽略不计，得到的验证分数会稳定在较高的数值；当目标出现运动模糊或者平面内/外旋转等目标模型的形变程度较小情况时，验证分数值相应减小；当目标发生遮挡或者出视野等目标模型的形变程度较大的情况时，验证分数数值大幅度降低。

本文所设计的验证分数通过计算目标外观模型的变化程度，进行异常分析，并验证跟踪结果的可信度。

3.5   模型更新

大多数目标跟踪算法在更新特征模型时，选择逐帧的方式进行更新，训练相关滤波器，增加计算量的同时忽视了对当前帧跟踪结果的检测。盲目地更新特征模型会使滤波器学习到错误的对象，从而导致跟踪失败。

为此，本文提出了一个新的模型更新机制，在视频输入第1帧图像时，生成特征模型，并训练相关滤波器。然后用训练好的相关滤波器与目标区域做相关运算，得到响应图模型。在后续帧的跟踪过程中，通过验证分数的值控制目标特征模型和响应图模型的更新。

从第2帧开始，根据每一帧生成的验证分数，利用sigmoid函数，动态分配特征模型的学习率η和响应图模型的学习率σ。

如图2所示，蓝色曲线为函数经过平移、伸缩变换后的函数图像。

图 2  参数取值示意图

下载: 全尺寸图片 幻灯片

式(24)中，α和β为学习参数。由于本文设定score的取值区间为[0, 10]，且在区间[6.5, 9.5]中波动较大。如图2所示，红色曲线为sigmoid原始函数曲线，函数自变量在区间[–5, 5]中波动较大，所以通过对参数a和b取值3.3和7.57，对函数图像进行平移、伸缩变换，将波动区间控制在[6.5, 9.5]中，得到蓝色曲线。

目标的特征模型$\hat {\boldsymbol{x}}_t^{{\rm{model}}}$和响应模型${\boldsymbol{R}}_t^{{\rm{model}}}$分别以动态学习率$\eta$和 $\sigma$进行更新，从而提高本文算法对处理目标旋转、背景杂乱、光照变化等异常情况的鲁棒性。

式中，下角标t为当前帧，${{\boldsymbol{\hat x}}}_{t{\rm{ - }}1}^{{\rm{model}}}$和${{\boldsymbol{R}}}_{t - 1}^{{\rm{model}}}$为上一帧训练得到的目标特征模型和响应图模型。其中${{\boldsymbol{\hat x}}}_t^{{\rm{model}}}$用于目标模型的更新，${{{\boldsymbol{\hat x}}}_t}$用于求解目标函数，训练相关滤波器；${{\boldsymbol{R}}}_{t - 1}^{{\rm{model}}}$用于分析异常情况，计算验证分数；${{\boldsymbol{R}}}_{t - 1}^{{\rm{model}}}$用于目标定位。

与其他基于相关滤波器的目标跟踪算法相比，改变只学习目标特征模型这一传统模式。本文不仅更新了目标特征模型，而且还更新了响应图模型。且该模型更新的设计方式能够使算法根据目标的形变程度，自适应增强或者降低框架中模型的更新速率。

图3为同一视频序列加入自适应模型更新前后的验证分数曲线，从图中可以看出，加入自适应更新后，验证分数的值上下起伏波动相较平缓，证明每帧的跟踪结果均相差不大。由此可见，本文所设计的模型更新策略，利用验证分数控制模型的更新速率，实现了根据跟踪结果的可信度，自适应选择外观模型和响应图模型的更新率，能够有效增强跟踪算法的鲁棒性。

图 3  自适应模型更新前后的验证分数曲线

下载: 全尺寸图片 幻灯片

4.   算法步骤

自适应空间异常的目标跟踪算法步骤如下：

(1)初始帧建模：框选出初始帧中的目标区域，使用STRCF算法中负高斯形状的权重矩阵对本文算法的自适应空间正则项权重进行初始化。同时提取目标区域的特征，建立特征模型，训练相关滤波器，得到响应图模型。

(2)目标定位：确定搜索区域，提取特征，与上一帧训练好的滤波器作相关运算，得到响应图，取响应图中值最大处为目标中心。

(3)权重更新：通过式(14)更新自适应空间正则项权重，并进行滤波器训练。

(4)模型更新：根据式(20)计算得到的验证分数，进行异常分析，利用式(21)分配动态更新速率控制特征模型和响应图模型的更新。

(5)循环跟踪：执行步骤(2)，继续对下一帧图像进行滤波器训练与模型更新。

本文算法是基于时空正则化相关滤波算法进行改进，因此选用STRCF算法作为基础框架。本文算法总体框架如图4所示。

图 4  总体框架图

下载: 全尺寸图片 幻灯片

5.   实验验证与分析

5.1   实验环境及参数配置

本文实验的操作系统为MacOS Catalina 10.15.7，选用的编程环境为GNU Octave，处理器为2.9 GHz双核Intel Core i7，内存为8 GB。

在本实验中，搜索区域选定边长为50像素点的正方形区域，目标函数中正则项系数${\lambda _1},{\lambda _2}$设定为1.20和0.005，使用ADMM算法求解的迭代次数为2，参数$\gamma {\rm{ = }}1$, $\mu {\rm{ = }}1$；模型更新时，特征模型的更新参数$\alpha {\rm{ = }}0.02$，响应图模型的更新参数$\beta {\rm{ = }}0.9$。本文算法的提取方式与STRCF算法的手工特征提取方式相同，为HOG和CN融合提取。其余参数与本文基线算法STRCF的参数设置保持一致。

为了对自适应空间异常的目标跟踪算法进行综合性能评估，本文选取了数据集OTB50和OTB100进行实验。数据集包括遮挡、运动模糊、复杂背景等11种不同属性，选取一次性通过评价(One-time Pass Evaluation, OPE)进行实验分析，并将跟踪成功率、准确率和跟踪速度作为评价指标。

5.2   实验结果分析

为了验证本文算法对受到光照变化、遮挡、形变等异常情况影响的跟踪具有优越性，在同一实验平台上，本文算法与近年其他效果较好的算法进行了大量的对比实验。对比算法有8种，分别是本文基线算法STRCF(2018)引用时间和空间正则项，以及SRDCF(2016)加入负高斯形状的空间权重；Staple^[21](2016)算法使用梯度和颜色融合的特征提取方式；BACF(2017)裁剪样本，训练分类器，提高样本质量；ECO^[22](2017)简化训练集，通过减少模型参数加快跟踪速度；ARCF(2019)抑制跟踪过程中出现的异常情况；ASRCF(2019)加入自适应空间正则项处理遮挡问题；AutoTrack(2020)引入局部响应变量以实现自适应的时空正则项。

5.2.1   定性分析

图5为两个数据集中具有快速运动、目标旋转等11种不同属性的视频序列，可以看出，与8种算法的对比中，本文算法的跟踪性能较优。

图 5  各种算法在部分序列上的跟踪结果对比

下载: 全尺寸图片 幻灯片

(1)运动模糊、超出视野。从图5(a)可以看到，序列Board中，在第122帧之前，各算法均能准确跟踪到目标。在第122帧时，目标开始逐渐超出视野，第489帧目标回到视野中央，此时ARCF, Staple和AutoTrack无法准确适应目标的外观变化，在第571～581帧时，目标与摄像机同时抖动，出现运动模糊，此时ASRCF, SRDCF, BACF和ECO由于学习到了错误的背景信息，因此跟踪过程相继出现漂移现象，到第665帧时，SRDCF, Staple, ARCF和AutoTrack彻底跟踪失败。在整个视频序列中，只有本文算法和ASRCF算法能够准确跟踪到目标。这是因为自适应的空间正则项能够有效处理运动模糊和超出视野的问题。

(2)非刚性形变、平面内/外旋转。非刚性形变是指目标在跟踪过程中外观的改变，是跟踪过程中最常见的问题。在图5(a)序列Board、图5(b)序列DragonBaby以及图5(c)序列girl上出现了由目标发生平面内/外旋转造成的形变，图5(f)序列soccer和图5(g)序列lemming出现了由遮挡造成的形变。在视频序列girl中，在第116帧之前，各算法均可准确跟踪到目标。从第116～259帧，目标出现了两次平面外旋转，第298～342帧，目标发生了两次平面内旋转。在这期间，SRDCF, ASRCF, ARCF, AutoTrack无法准确地更新目标的特征模型，只跟踪到目标一部分，在第411帧时，由于ECO, Staple, ARCF, STRCF和BACF没有自适应的空间正则项，所以当目标被相似物体遮挡时，无法降低被遮挡区域的权重，造成跟踪失败。由此可见，本文算法在处理平面内/外旋转变化和非刚性形变时的跟踪效果较好。

(3)快速运动。从图5(b)序列DragonBaby中可以看到，从第31帧开始，BACF, SRDCF, ASRCF出现漂移，在第52～83帧，ARCF, Staple和ECO相继出现跟踪漂移。第92帧，目标快速运动，尺度也发生了变化，BACF, ASRCF, ARCF和Staple没有及时跟踪到目标，跟踪失败。从初始帧到最后，目标发生快速运动和多次旋转，只有本文算法没有出现漂移。这是由于本文提出的异常分析机制，能够检测出异常情况，自适应提高或降低特征模型的更新率，使算法在处理快速运动的问题时具备较好的鲁棒性。

(4)低分辨率、尺度变换。在图5(a)中第489帧，Staple, ARCF和AutoTrack算法因为无法适应目标尺度的变化，使得跟踪框过大，学习到过多的背景信息，降低了跟踪精度和成功率，失去跟踪意义。从图5(d)Bolt2_1中可以看到，视频序列目标分辨率较低，从第10帧开始，由于相似物体的干扰，SRDCF, AutoTrack, ASRCF, ECO, BACF和ARCF均跟踪到错误的目标，跟踪失败。在第90帧时，Staple跟踪失败。由于本文算法和STRCF算法的时间正则项，避免了滤波器在相邻帧之间出现过拟合现象，能够准确跟踪。

(5)光照变化、复杂背景。光照变化是指当前帧的颜色组成相比上一帧发生了较大的变化，复杂背景是指背景区域中包含许多与目标区域形似的信息，两种属性均会影响跟踪效果。在图5(e)序列shaking中，第60帧，发生光照变化，此时由于本文算法的异常分析机制，能够降低或暂停模型的更新，表现出较好的跟踪效果。基于颜色直方图的Staple算法无法提取有效的特征，出现漂移。第266帧，由于复杂背景的干扰，ARCF, SRDCF和AutoTrack均学习到错误的样本信息，跟踪失败。图5(f)序列soccer中同样可以看到，第168帧，只有本文算法和BACF算法能够跟踪到目标，其他7种算法均发生了不同程度的漂移。因此，本文算法在光照变化和复杂背景的情况时，具有稳定的跟踪效果。但是由于处理此类情况时，容易提取到错误的样本信息，因此本文算法跟踪到的目标区域不够精准，因此本文算法对复杂背景情况的处理需要改进。

(6)遮挡。在图5(c)序列girl的第439帧和图5(d)序列Bolt2_1的第90帧，都出现了相似物体遮挡，由于Staple, AutoTrack, BACF, ARCF算法不具备空间正则项，无法抑制背景区域的空间权重，当搜索区域出现与目标相似的物体时，滤波器提取到错误的样本信息，导致跟踪失败。在图5(g)lemming序列中，第350帧时出现遮挡，只能利用目标的一小部分区域提取特征，进行跟踪。此时由于本文算法的自适应空间正则项，降低非目标区域的权重，在第628帧目标完全出现在图像中时，仍可以跟踪到全部目标。在遮挡情况下，本文算法和STRCF算法可以实现较好的跟踪。

5.2.2   定量比较

图6为本文算法和对比算法在数据集OTB50中的50组视频序列以及OTB100中的100组视频序列上得出的精确率和成功率曲线。从图中可以得到，本文算法在数据集OTB50中精确率为0.829，成功率为0.778，高于STRCF算法的精确率(0.827)和成功率(0.755)；在数据集OTB100中精确率为0.880，成功率为0.847，高于STRCF算法的精确率(0.864)和成功率(0.863)。

图 6  各种算法在数据集OTB100上的对比曲线

下载: 全尺寸图片 幻灯片

为了更清晰、更全面地比较本文算法与各主流算法的综合性能，表1、表2记录了9种算法在数据集OTB100上单个属性的跟踪精确率和成功率得分，其中粗体字表示对比最优结果，斜体字表示对比次优结果。

表 1  各种跟踪算法在数据集OTB100上各种属性的精确率得分

	本文	STRCF	SRDCF	Staple	BACF	ECO	ARCF	ASRCF	AutoTrack
光照变化	0.840	0.835	0.754	0.775	0.824	0.800	0.768	0.777	0.776
尺度变化	0.865	0.838	0.736	0.721	0.769	0.757	0.727	0.731	0.744
遮挡	0.858	0.812	0.726	0.724	0.740	0.720	0.683	0.691	0.713
形变	0.847	0.839	0.712	0.747	0.773	0.765	0.745	0.756	0.743
运动模糊	0.857	0.822	0.741	0.692	0.761	0.736	0.735	0.728	0.766
快速运动	0.843	0.803	0.763	0.710	0.807	0.789	0.745	0.733	0.770
平面内旋转	0.835	0.813	0.721	0.767	0.796	0.781	0.725	0.736	0.774
平面外旋转	0.878	0.848	0.725	0.736	0.785	0.767	0.723	0.755	0.751
超视野	0.832	0.771	0.621	0.668	0.765	0.748	0.671	0.677	0.723
复杂背景	0.854	0.875	0.738	0.748	0.830	0.800	0.787	0.761	0.758
低分辨率	0.810	0.746	0.631	0.610	0.739	0.741	0.707	0.582	0.764

下载: 导出CSV 

| 显示表格

表 2  各种跟踪算法在数据集OTB100上各种属性的成功率得分

	本文	STRCF	SRDCF	Staple	BACF	ECO	ARCF	ASRCF	AutoTrack
光照变化	0.802	0.797	0.697	0.708	0.797	0.776	0.749	0.749	0.746
尺度变化	0.815	0.750	0.650	0.596	0.695	0.689	0.646	0.689	0.648
遮挡	0.822	0.763	0.670	0.653	0.707	0.689	0.652	0.687	0.661
形变	0.788	0.744	0.640	0.656	0.705	0.693	0.694	0.715	0.686
运动模糊	0.840	0.784	0.708	0.639	0.734	0.727	0.711	0.711	0.731
快速运动	0.815	0.747	0.710	0.645	0.766	0.760	0.709	0.709	0.718
平面内旋转	0.792	0.730	0.630	0.668	0.714	0.704	0.651	0.686	0.667
平面外旋转	0.839	0.774	0.635	0.643	0.718	0.697	0.650	0.715	0.663
超视野	0.771	0.695	0.561	0.548	0.694	0.689	0.638	0.671	0.655
复杂背景	0.805	0.826	0.660	0.687	0.796	0.766	0.771	0.754	0.702
低分辨率	0.734	0.659	0.562	0.472	0.664	0.663	0.637	0.560	0.668

下载: 导出CSV 

| 显示表格

从表1和表2可以看出，本文算法在数据集OTB100上测试出的11属性的成功率和精确率得分中，除复杂背景外，本文算法的跟踪精确率均处于最优的位置且高于本文基线算法STRCF。由于算法在处理复杂背景时容易使特征模型学习到错误的样本信息，所以本文算法在处理此类情况时的跟踪效果不太稳定。结合图4(c)，图4(d)，本文算法的整体跟踪效果与8种对比算法相比性能较好，并且在多数情况下均可以保持准确鲁棒的跟踪。

5.2.3   跟踪速度

表3为本文在OTB100上对9种跟踪算法在CPU上的平均跟踪速度对比，计算方法为100组图像序列的总帧数除以总时间。

表 3  各种跟踪算法在数据集OTB100上平均跟踪速度(帧/s)

本文	STRCF	SRDCF	Staple	BACF	ECO	ARCF	ASRCF	AutoTrack
14.9	13.3	3.9	61.4	16.9	27.9	12.6	19.8	16.2

下载: 导出CSV 

| 显示表格

由表3可知，本文算法通过只记录当前帧和上一帧的样本信息，并采用ADMM迭代求解，降低计算复杂度，使得跟踪速度较原STRCF框架提升了12.0%。再结合表1和表2，在数据集OTB100上进行跟踪实验的过程中，本文所提出的自适应空间异常的目标跟踪算法具有较高的跟踪精度和成功率，且基本满足实时跟踪要求，性能较优。

6.   结论

本文提出了一种具有自适应空间异常的目标跟踪算法。通过在目标函数中引入自适应空间正则项权重，结合图像样本信息，降低非目标区域的权重。采用ADMM算法，将对最优滤波器和最优空间正则项权重模型的求解转化为对相应3个子问题的迭代求解。利用响应图分析异常情况，根据验证分数为特征模型和响应图模型分配动态更新率。

相比其他主流的跟踪算法，本文算法的优势为：(1)本文算法是在STRCF算法的框架下加入自适应空间正则项，结合样本信息，在保证跟踪速度的同时，实现对目标和背景区域权重的精准分配；(2)本文提出的异常分析机制，根据响应图信息分析异常情况，计算跟踪结果的置信度得分，控制特征模型和响应图模型的更新速率；(3)在处理最优滤波器和最优自适应空间正则项权重时，采用ADMM算法进行优化求解，降低算法复杂度。

通过在数据集OTB50, OTB100上与目前主流的8种跟踪算法进行的对比实验可以得出，本文算法可以有效缓解形变、遮挡、旋转等异常情况下易导致跟踪失败的问题。本文算法在成功率、精确率以及跟踪速度上，相比其他主流算法，均取得了较好的成绩。由于本文提出的异常分析机制是通过验证上一帧的跟踪结果是否准确再进行模型更新，下一步考虑在目标函数中构造正则项，从而缓解异常情况的发生。