标签敏感的多重集正交相关特征融合方法

赵前进; 平昕瑞; 苏树智; 谢军

doi:10.11999/JEIT210323

标签敏感的多重集正交相关特征融合方法

doi: 10.11999/JEIT210323

1.
安徽理工大学数学与大数据学院淮南 232001
2.
安徽理工大学计算机科学与工程学院淮南 232001

基金项目: 国家自然科学基金(61806006)，中国博士后科学基金(2019M660149)

详细信息

作者简介:
赵前进：男，博士、教授、硕士生导师，研究方向为计算机辅助几何设计和数字图像处理

平昕瑞：男，硕士生，研究方向为多模态信息融合，数据处理

苏树智：男，博士、副教授、硕士生导师，研究方向为多模态模式识别、特征学习、子空间融合、图像处理

谢军：男，硕士生，研究方向为模式识别

通讯作者:
苏树智　sushuzhi@foxmail.com

中图分类号: TN911.73; TP391.4
计量
- 文章访问数: 580
- HTML全文浏览量: 593
- PDF下载量: 59
- 被引次数: 3
出版历程
- 收稿日期: 2021-04-19
- 修回日期: 2022-08-25
- 网络出版日期: 2022-08-30
- 刊出日期: 2022-10-19

Feature Fusion Method Based on Label-sensitive Multi-set Orthogonal Correlation

1.
School of Mathematics and Big Data, Anhui University of Science & Technology, Huainan 232001, China
2.
College of Computer Science and Engineering, Anhui University of Science & Technology, Huainan 232001, China

Funds: The National Natural Science Foundation of China (61806006), The China Postdoctoral Science Foundation (2019M660149)

摘要

摘要: 典型相关分析(CCA)作为一种经典的特征融合方法，广泛用于模式识别领域，其目标是学习相关投影方向使两组变量间的相关性最大，但其没有考虑样本的类标签信息和样本间的信息冗余(MDOCCA)，从而影响了融合后特征的监督敏感性和鉴别力。为此，该文提出一种标签敏感的多重集正交相关特征融合方法，该方法在典型相关分析理论基础上，将类标签信息嵌入到特征融合框架，同时加入正交约束确保融合特征最大限度的不相关，减少特征信息冗余，提高鉴别力。在不同图像数据集上的实验结果显示该方法是一种有效的特征融合方法。
- 特征融合 /
- 典型相关分析 /
- 多重集 /
- 鉴别 /
- 正交
Abstract: As a classic feature fusion method, Canonical Correlation Analysis (CCA) is widely used in the field of pattern recognition. Its goal is to learn the relevant projection direction to maximize the correlation between the two sets of variables, but the class label information of the sample and the information between samples redundancy are not considered, which affects the supervisory sensitivity and discriminative power of the fused features. To this end, a label-sensitive Multi-set Discriminant Orthogonal Canonical Correlation Analysis (MDOCCA) feature fusion method is proposed. This method is based on canonical correlation analysis theory. The class label information is embedded into the feature fusion framework, and the orthogonal constraint is added to ensure the maximum fusion of features. Irrelevant, the redundancy of feature information is reduced and the discrimination is improved. Some experiments on multiple image data sets show that this method is an effective feature fusion method.
- Feature fusion /
- Canonical Correlation Analysis (CCA) /
- Multi-set /
- Discriminative /
- Orthogonal

HTML全文

1. 引言

近年来，随着大数据技术的发展，人们对不同属性不同种信息的有效融合有很大的需求。特征融合^[1]是一类重要信息融合方法，受到了广泛的关注。从同一样本中提取的多重特征能反映出该样本的不同特性。特征融合目的是对不同的特征进行优化和组合，以达到更好的分类性能。特征融合方法的优点在于能够组合不同特征，既保留多特征的有效判别信息，又在一定程度上消除冗余信息。在特征融合中，直接连接或集成不同类型的特征是早期主要的特征融合方法。后来一种新的融合策略是将两组特征向量重构为一个新的向量，分别称为串行融合方法和并行融合方法。这两种特征融合方法都能在特定范围内提高识别能力。但是上述方法都忽略了两特征集之间的内在相关性，无法实现有效的特征融合。为了获取能反映两组特征内在相关性的特征对，典型相关分析(Canonical Correlation Analysis, CCA)^[2]同时学习了两组特征向量的相关投影方向，使投影后的典型特征组之间具有最大的相关性。

基于CCA的方法首先从同一模式下提取两个不同的特征向量，然后建立相关准则函数，从两组特征向量中提取典型相关特征，最后形成有效的判别特征向量，用于模式识别。CCA方法早期是用于多元数理统计分析。目前已经广泛用于神经科学^[3]、情感识别^[4]、故障检测^[5,6]、过程监控^[7]、遥感图像^[8]等领域。CCA方法能很好地获取两样本之间的相关性，但是这种相关性并不能体现样本类的关系，即没有使用样本的类标签信息。通过引入类标签信息，Gao等人^[9]又提出一种新的多模态融合方法称为鉴别典型相关分析，该方法同时最大化类内相关性及最小化类间相关性，使用鉴别信息进行特征融合，更适合于图像识别任务。

CCA作为一种线性的特征融合子空间方法，难以发现两组特征间的非线性关系。目前处理非线性关系的方法主要有基于核函数的方法和基于深度准则的方法。核典型相关分析^[10]运用核技巧将数据非线性地转换到一个更高维的核空间，在核空间中原始的非线性数据具有高维线性可分的性质，在盲源分离^[11]中核典型相关分析已经被广泛应用。类似核典型相关分析，深度典型相关分析方法^[12]是一种两视图非线性数据转换到高度线性相关的方法，在前馈神经网络^[13]中普遍使用，同样能够实现非线性数据的融合。在模式识别领域，正交性^[14]是一种常用的投影方向的冗余判别标准。正交投影方法的优势在于对数据分布和噪声的影响不敏感，在特征提取融合过程中尽量保持样本间的欧氏距离。Wang等人^[15]在CCA中加入正交约束，提出一种新的正交典型相关分析方法。这是一种通过双特征分解获取正交典型投影向量的方法，在训练样本较小且维数高的情况下会有更高的识别率和鲁棒性。

经典CCA局限于描述双重特征数据集合间的一般线性关系，通常情况下，一组目标如果用多重特征数据集来表示，能更加全面展现出这组目标的特征关系，多重集典型相关分析^[16]是CCA由两组特征数据向多组特征数据的自然推广，能够同时融合两组或两组以上的特征数据，具有更广泛的应用基础。通过多重集典型相关分析能够实现多组数据的特征融合，用来分析多变量间的线性关系。结合标签信息，Gao等人^[17]提出基于标签的多重集典型相关分析方法，该方法利用训练样本的类内散布矩阵和多变量相关矩阵来提取鉴别信息，提高了最终识别能力。结合图结构信息，Chen等人^[18]提出图多视角典型相关分析(Graph Multiview Canonical Correlation Analysis, GMCCA)方法，通过图嵌入方法捕捉每个视角的低维表示，分析数据间的内在关系。

本文结合正交约束准则和监督散布结构提出一种标签敏感的多重集正交相关特征融合方法，即多重集鉴别正交典型相关分析(Multi-set Discriminant Orthogonal Canonical Correlation Analysis, MDOCCA)。本方法在典型相关分析理论基础上，将监督散布结构和正交投影约束嵌入到相关特征融合框架，实现了两组或两组以上特征的鉴别融合，并且融合后的特征不仅拥有更好的的鉴别力，而且又能一定程度上减少信息的冗余。为了验证提出算法的有效性，在佐治亚理工大学(Georgia Tech, GT)图像数据集、英国剑桥奥利维蒂研究实验室(Olivetti Research Laboratory, ORL)图像数据集、西班牙计算机视觉中心(Aleix martinez, Robert benavente, AR)图像数据集和美国卡耐基梅隆大学 (Pose, Illumination, Expression, PIE)图像数据集上的良好实验结果表明提出的方法是有效的特征融合方法。

本文其余内容分布如下：第2节是对CCA的方法进行回顾；第3节是详细描述MDOCCA方法的模型构建和优化求解；实验和总结分别在第4节和第5节。

2. CCA方法回顾

CCA的目的是找到两组变量的成对基向量，这两组变量在这些基向量方向上的投影最大相关。因此，所有的有效信息都通过投影得到最大限度的保留。

已知两组变量 ${x_1} \in {{{\boldsymbol{R}}}^p},\;{x_2} \in {{{\boldsymbol{R}}}^q}$ ，CCA找到一对方向 ${{{\boldsymbol{\omega}} }_{{{x}_1}}}$ 和 ${{{\boldsymbol{\omega}} }_{{{x}_2}}}$ 使 ${{{\boldsymbol{X}}}_1} = {{{\boldsymbol{\omega}} }_{{x_1}}^{\text{T}}}{x_1}$ 和 ${{{\boldsymbol{X}}}_2} = {{{\boldsymbol{\omega}} }_{{x_2}}^{\rm{T}}}{x_2}$ 的相关性最大，其数学表示为

${J_{{\rm{CCA}}}}\left( {{{{\boldsymbol{\omega}} }_{{x_1}}},{{{\boldsymbol{\omega}} }_{{x_2}}}} \right) = \frac{{{{{\boldsymbol{\omega}} }_{{x_1}}^{\text{T}}}{{{\boldsymbol{S}}}_{{x_1}{x_2}}}{{{\boldsymbol{\omega}} }_{{x_2}}}}}{{\sqrt {{{{\boldsymbol{\omega}} }_{{x_1}}^{\text{T}}}{{{\boldsymbol{S}}}_{{x_1}{x_1}}}{{{\boldsymbol{\omega}} }_{{x_1}}} \cdot {{{\boldsymbol{\omega}} }_{{x_2}}^{\text{T}}}{{{\boldsymbol{S}}}_{{x_2}{x_2}}}{{{\boldsymbol{\omega}} }_{{x_2}}}} }}$

(1)

其中， ${{{\boldsymbol{S}}}_{{x_1}{x_1}}}$ 与 ${{{\boldsymbol{S}}}_{{x_2}{x_2}}}$ 分别表示 ${x_1},{x_2}$ 的协方差矩阵，即反映了该组变量的全局散布信息， ${{{\boldsymbol{S}}}_{{x_1}{x_2}}}$ 表示 ${x_1},{x_2}$ 间的互协方差矩阵，反映 ${x_1},{x_2}$ 的组间关系。

3. 多重集鉴别正交典型相关分析

CCA方法本质上是一种线性无监督的特征融合方法。能够实现两组特征的线性融合，然而由于CCA忽略了样本的类信息，导致了识别性能的局限性，并且CCA方法构造的子空间是共轭正交的，受样本个数和维数的影响较大，对数据分布和噪声的影响较为敏感。为了使融合后的特征具有更好的鉴别力，本文将监督散布结构和正交投影约束嵌入到相关特征融合框架，以提取更多的判别特征和降低数据分布和噪声的影响，从而提出一种新的MDOCCA方法，实现了两组或两组以上特征的鉴别融合。MDOCCA的优势在于：(1)降低数据分布和噪声的影响，受个体和维数的影响较小；(2)保持样本间的欧氏距离，消除冗余信息；(3)加入样本类信息，提高判别力；(4)能够同时融合两组或两组以上的特征，提高方法的适用范围。

CCA方法是分析两组数据之间的相互关系，在数据多于两组时，则需要分析每两组之间的相互关系，由此可以得到多重集典型相关分析(Multi-set Canonical Correlation Analysis, MCCA)模型。给定 $m$ 组0均值随机变量 ${x_1} \in {{{\boldsymbol{R}}}^{{p_1}}},{x_2} \in {{{\boldsymbol{R}}}^{{p_2}}}, \cdots , {x_m} \in {{{\boldsymbol{R}}}^{{p_m}}}$ ，维数分别为 ${p_1},{p_2}, \cdots, {p_m}$ ，每组 $N$ 个变量，共计 $c$ 类

$\begin{split} & \begin{array}{c} {J}_{{\rm{MCCA}}}\\ {{\boldsymbol{\omega}} }_{{x}_{i}},{{\boldsymbol{\omega}} }_{{x}_{j}}\end{array}={\displaystyle \sum _{i=1}^{m}{\displaystyle \sum _{j=1}^{m}\frac{{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{j}}{{\boldsymbol{\omega}} }_{{y}_{j}}}{\sqrt{{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{i}}{{\boldsymbol{\omega}} }_{{x}_{i}}\cdot{{\boldsymbol{\omega}} }_{{y}_{j}}^{\text{T}}{{\boldsymbol{S}}}_{{y}_{j}{y}_{j}}{{\boldsymbol{\omega}} }_{{y}_{j}}}}}}\text{,}\\ & \qquad\qquad\qquad i\ne j\\[-10pt] \end{split}$

(2)

其中， ${{\boldsymbol{S}}_{{x_i}{x_i}}}$ 表示 ${x_i}(i = 1,2, \cdots ,m)$ 的协方差矩阵， ${{\boldsymbol{S}}_{{x_i}{x_j}}}$ 表示任意两组变量 ${x_i}$ , ${x_j}\left( {i \ne j} \right)$ 间的互协方差矩阵，反映任意两组的组间关系。这里有以下定理。

定理1　对于 $\forall k \in {\boldsymbol{R}}$

$\begin{split} &\begin{array}{c}{J}_{{\rm{MCCA}}}\\ k{{\boldsymbol{\omega}} }_{{x}_{i}},k{{\boldsymbol{\omega}} }_{{x}_{j}}\end{array}\\ & \qquad ={\displaystyle \sum _{i=1}^{m}{\displaystyle \sum _{j=1}^{m}\frac{k{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{j}}k{{\boldsymbol{\omega}} }_{{x}_{j}}}{\sqrt{k{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{i}}k{{\boldsymbol{\omega}} }_{{x}_{i}}\cdot k{{\boldsymbol{\omega}} }_{{y}_{j}}^{\text{T}}{{\boldsymbol{S}}}_{{y}_{j}{y}_{j}}k{{\boldsymbol{\omega}} }_{{y}_{j}}}}}}\\ & \qquad ={\displaystyle \sum _{i=1}^{m}{\displaystyle \sum _{j=1}^{m}\frac{{k}^{2}{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{j}}{{\boldsymbol{\omega}} }_{{x}_{j}}}{{k}^{2}\sqrt{{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{i}}{{\boldsymbol{\omega}} }_{{x}_{i}}\cdot {{\boldsymbol{\omega}} }_{{y}_{j}}^{\text{T}}{{\boldsymbol{S}}}_{{y}_{j}{y}_{j}}{{\boldsymbol{\omega}} }_{{y}_{j}}}}}}\\ & \qquad =\begin{array}{c}{J}_{{\rm{MCCA}}}\\ {{\boldsymbol{\omega}} }_{{x}_{i}},{{\boldsymbol{\omega}} }_{{x}_{j}}\end{array},i\ne j \\[-18pt] \end{split}$

(3)

根据上述尺度不变的性质，为了确保解的唯一性，本文固定分母 ${{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}{\text{ = }}1$ ，则MCCA可以重新描述为式(4)的优化求解问题

$\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {\max } \\ {{{\boldsymbol{\omega }}_{{x_1}}},{{\boldsymbol{\omega }}_{{x_2}}}, \cdots ,{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}\displaystyle\sum\limits_{i = 1}^m {\displaystyle\sum\limits_{j = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_j}}}{{\boldsymbol{\omega }}_{{x_j}}}} } } \\ {{\rm{s.t}}.{\text{ }}{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}} = 1{\text{,}}\;i = 1,2, \cdots ,m{\text{ }}} \end{array},i \ne j,$

(4)

从上述模型可以知道 ${{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}$ 的值是一个常数，将其加减到优化函数中并不改变结果。由此将MCCA问题重新描述为式(5)的问题

$\begin{split} & \begin{array}{*{20}{c}} {\max } \\ {{{\boldsymbol{\omega }}_{{x_1}}},{{\boldsymbol{\omega }}_{{x_2}}}, \cdots ,{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}\sum\limits_{i = 1}^m \sum\limits_{j = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_j}}}{{\boldsymbol{\omega }}_{{x_j}}}} \\ & \qquad - \sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}}, \\ & \qquad {{\rm{s.t}}.\sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}} = m} ,\;\;i \ne j \end{split}$

(5)

该优化模型最大化不同组间变量间的相关差异，最小化同组变量内的相互差异。下一步对上述模型加入正交准则，正交性可以更好地保留特征空间的度量结构，使提取的投影方向尽可能不相关，减少特征中存在的冗余。可以将该模型重写为

$\begin{split} & \begin{array}{*{20}{c}} {\max } \\ {{{\boldsymbol{\omega }}_{{x_1}}},{{\boldsymbol{\omega }}_{{x_2}}}, \cdots ,{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}\sum\limits_{i = 1}^m \sum\limits_{j = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_j}}}{{\boldsymbol{\omega }}_{{x_j}}}} \\ & \qquad -\sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}}, \\ & \qquad {{\rm{s.t}}.{\text{ }}\sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{\omega }}_{{x_i}}}} = 1{\text{ }}} , \;\; i \ne j \end{split}$

(6)

式(6)的模型不仅可以保留其中最大化不同组间关系，最小化组内关系的性质，还具有正交性，能减少数据分布和噪声的影响，保持样本间的欧氏距离。

类标签信息可以反映样本类之间的关系，如果忽略这种关系，则会导致得到的特征不是最优分类，损失识别性能。本文模型为了增强鉴别力，通过构建视图内类内散布矩阵，将类标签嵌入模型中。具体模型为

$\begin{split} & \begin{array}{*{20}{lllllllllll}} {\max } \\ {{{\boldsymbol{\omega }}_{{x_1}}},{{\boldsymbol{\omega }}_{{x_2}}}, \cdots ,{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}\sum\limits_{i = 1}^m \sum\limits_{j = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{{x_i}{x_j}}}{{\boldsymbol{\omega }}_{{x_j}}}} \\ & - \sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{S}}_{w{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}}}, \\ & {{\rm{s.t}}.{\text{ }}\sum\limits_{i = 1}^m {{{\boldsymbol{\omega }}_{{x_i}}^{\text{T}}}{{\boldsymbol{\omega }}_{{x_i}}}} = 1 } ,\;\;i \ne j \end{split}$

(7)

其中， ${{\boldsymbol{S}}_{w{x_i}}} = \displaystyle\sum\nolimits_{n = 1}^N {\left( {x_n^i - {\bar x_n^i} } \right)} {\left( {x_n^i - {\bar x_n^i} } \right)^{\text{T}}}$ ，表示类内散布矩阵， $\bar {x_n^i}$ 为 $x_n^i$ 所在类的类均值。

此模型既包含样本组间相关关系，又含有类标签信息和正交约束，有助于提高鉴别力。式(7)是一个典型的带有约束的多元函数极值问题，拉格朗日乘数法是解决这类问题的常用方法。

利用拉格朗日法对方程式(7)进行求解得到

$\begin{split} & L({{\boldsymbol{\omega}} }_{{x}_{1}},{{\boldsymbol{\omega}} }_{{x}_{2}},\cdots ,{{\boldsymbol{\omega}} }_{{x}_{m}})={\displaystyle \sum _{i=1}^{m}{\displaystyle \sum _{j=1}^{m}{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}}}{{\boldsymbol{S}}}_{{x}_{i}{x}_{j}}{{\boldsymbol{\omega}} }_{{x}_{j}}\\ & -{\displaystyle \sum _{i=1}^{m}{\omega }_{{x}_{i}}^{\text{T}}{{\boldsymbol{S}}}_{w{x}_{i}}}{{\boldsymbol{\omega}} }_{{x}_{i}}-\lambda \left({\displaystyle \sum _{i=1}^{m}{{\boldsymbol{\omega}} }_{{x}_{i}}^{\text{T}}{{\boldsymbol{\omega}} }_{{x}_{i}}}-1 \right)\text{,}\;\;i\ne j \end{split}$

(8)

其中， $L$ 分别对 ${{\boldsymbol{\omega }}_{{x_i}}}(i = 1,2, \cdots ,m)$ 的导数设为0，可以得到

$\frac{{\partial L}}{{\partial {{\boldsymbol{\omega }}_{{x_i}}}}} = \sum\limits_{j = 1}^m {{{\boldsymbol{S}}_{{x_i}{x_j}}}} {{\boldsymbol{\omega }}_{{x_j}}} - {{\boldsymbol{S}}_{w{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}} - \lambda {{\boldsymbol{\omega }}_{{x_i}}} = 0$

(9)

即可写为

$\sum\limits_{j = 1}^m {{{\boldsymbol{S}}_{{x_i}{x_j}}}} {{\boldsymbol{\omega }}_{{x_j}}} - {{\boldsymbol{S}}_{w{x_i}}}{{\boldsymbol{\omega }}_{{x_i}}} = \lambda {{\boldsymbol{\omega }}_{{x_i}}}$

(10)

式(10)可以转化为一个广义特征值问题

$\begin{split} & \left( {\begin{array}{*{20}{c}} { - {{\boldsymbol{S}}_{w{x_1}}}}&{{{\boldsymbol{S}}_{{x_1}{x_2}}}}& \cdots &{{{\boldsymbol{S}}_{{x_1}{x_m}}}} \\ {{{\boldsymbol{S}}_{{x_2}{x_1}}}}&{ - {{\boldsymbol{S}}_{w{x_2}}}}& \cdots &{{{\boldsymbol{S}}_{{x_2}{x_m}}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{{\boldsymbol{S}}_{{x_m}{x_1}}}}&{{{\boldsymbol{S}}_{{x_m}{x_2}}}}& \cdots &{ - {{\boldsymbol{S}}_{w{x_m}}}} \end{array}} \right)\left( {\begin{array}{*{20}{c}} {{{\boldsymbol{\omega }}_{{x_1}}}} \\ {{{\boldsymbol{\omega }}_{{x_2}}}} \\ \vdots \\ {{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}} \right) \\ & \qquad = \lambda \left( {\begin{array}{*{20}{c}} {{{\boldsymbol{\omega }}_{{x_1}}}} \\ {{{\boldsymbol{\omega }}_{{x_2}}}} \\ \vdots \\ {{{\boldsymbol{\omega }}_{{x_m}}}} \end{array}} \right)\\[-31pt] \end{split}$

(11)

求解式(11)特征值问题，得到前 $d$ 个最大特征值对应的多组特征向量构成的投影矩阵 ${{\boldsymbol{W}}_1} = \left( {{\boldsymbol{\alpha }}_{11}}, {{\boldsymbol{\alpha }}_{12}}, \cdots ,{{\boldsymbol{\alpha }}_{1{\boldsymbol{d}}}} \right)_{{p_1} \times d}, \cdots$ , ${{\boldsymbol{W}}_{{m}}} = \left( {{\boldsymbol{\alpha }}_{{{m}}1}},{{\boldsymbol{\alpha }}_{{{m}}2}}, \cdots , {{\boldsymbol{\alpha }}_{{{md}}}} \right)_{{p_m} \times d}$ ，该特征向量使典型变量 ${{\boldsymbol{W}}^{\text{T}}}x$ 之间的相关性最大。

对得到的典型相关特征可以采用以下串行和并行融合策略来计算典型相关判别特征 ${\boldsymbol{Z}}$ ，即

${{\boldsymbol{Z}}_1} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{W}}_1^{\text{T}}}{x_1}} \\ {{{\boldsymbol{W}}_2^{\text{T}}}{x_2}} \\ \vdots \\ {{{\boldsymbol{W}}_m^{\text{T}}}{x_m}} \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{W}}_1}}&{}&{} \\ {}&{{{\boldsymbol{W}}_2}}&{}&{} \\ {}& {}& \ddots &{} \\ {}& {}&{}&{{{\boldsymbol{W}}_n}} \end{array}} \right]^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{x_1}} \\ {{x_2}} \\ \vdots \\ {{x_n}} \end{array}} \right]$

(12)

${{\boldsymbol{Z}}_2} = {{\boldsymbol{W}}_1^{\text{T}}}{x_1} + \cdots + {{\boldsymbol{W}}_m^{\text{T}}}{x_m} = {\left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{W}}_1}} \\ {{{\boldsymbol{W}}_2}} \\ \vdots \\ {{{\boldsymbol{W}}_n}} \end{array}} \right]^{\text{T}}}\left[ {\begin{array}{*{20}{c}} {{x_1}} \\ {{x_2}} \\ \vdots \\ {{x_n}} \end{array}} \right]\;\;$

(13)

这两种融合策略都有很好的融合性能， ${\boldsymbol{Z}}_{1}$ 将两个特征集融合在一起，在融合过程中可能会丢失一些信息，而 ${\boldsymbol{Z}}_{1}$ 将两个特征集拼接在一起，不会丢失任何信息。本文中采用并行融合策略 $Z_{1}$ 对特征集进行融合，使用最近邻(K-Nearest Neighbor, KNN)^[19,20] 分类器对融合特征进行最终模式分类。

4. 实验结果和分析

为了验证所提方法的有效性，在GT图像数据集、ORL图像数据集、AR图像数据集和PIE图像数据集上设计了一些针对性实验来评估本文所提方法的图像识别性能。对每幅图像经过模态策略处理获取不同的模态数据。使用Coiflets, Daubechies和Symlets正交小波变换分解技术获取每幅图像的3个低频子图像，并且为了减轻小样本问题影响，采用主成分分析(Principal Component Analysis, PCA)^[21]方法将子图像的维数约简到100维。对于两变量集方法，本文将前两个低频子图像数据首尾相连组合在一起构成一个新的图像数据，与第3个低频子图像数据组合成两组变量。在实验部分，MDOCCA分别和图正则化多集典型相关(Graph regularized Multiset Canonical Correlations, GrMCC)^[22]、判别多重典型相关分析(Discriminative Multiple Canonical Correlation Analysis, DMCCA)^[9]、GMCCA, CCA进行对比分析。

4.1 在GT图像数据集上的实验

GT图像数据集采集共50个人的图像，每人15张不同角度、不同表情的正面照片，像素为640×480，图像表示格式为JPG。本实验分析方法如下，在图像数据集中每人分别选择n(n=5,6,7,8)幅图像作为训练样本，其余作为测试样本，总共进行10次随机试验。表1展示了在此数据集下不同训练样本在不同方法下对应的平均识别率。本文方法在不同训练样本数下对测试样本的平均识别率均是最高的，这体现了本文所提方法在人脸图像识别任务中表现更佳。

表 1 在GT图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	70.20±2.39	75.42±2.83	80.75±2.17	83.23±2.15
GrMCC	61.12±2.66	66.71±1.47	72.78±1.23	77.06±2.21
DMCCA	63.18±3.17	67.53±1.26	73.42±1.77	75.51±1.48
GMCCA	48.36±1.95	52.62±1.55	58.30±1.90	62.89±2.69
CCA	59.08±1.81	61.78±1.35	66.22±1.66	68.14±2.01
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

| 显示表格

CCA对所有数据进行同等考虑，只是将投影结果相关性最大化，没有掌握数据中结构信息和类别信息，在图像识别中表现一般。DMCCA将监督信息加入到在相关性分析框架中进行特征学习，具有较好的识别率。GrMCC不仅最大化数据集间累积相关性，而且通过在集内数据上使用最近邻图来最小化局部类内分散，同时最大化局部类间可分离性，在一定程度上优于CCA。MDOCCA在引入类信息的同时加入正交约束，既能增加鉴别力，又能减少信息冗余，从而使融合的相关特征更具鉴别力。从图1不难看出，在不同训练样本数下，MDOCCA方法在10次随机实验中均展示出最佳识别率，与其他方法相比均保持稳定的优越性，说明MDOCCA方法提取的特征鉴别力更强。

图 1 在GT人脸数据集上识别率随训练样本数变化情况

下载: 全尺寸图片幻灯片

4.2 在ORL图像数据集上的实验

ORL图像数据集共有400幅灰度图像，分别是在40个不同的对象里，每人采集10幅不同图像，像素为92×112。这些图像是在不同时间、光照遮挡、表情特征和面部细节条件下获取的。如表2所示，ORL数据集上的实验结果与GT数据集上的结果类似，CCA显示了较差的识别率， DMCCA在一定程度上有所提升，而本文所提MDOCCA算法仍然保持了最高的识别率，并且随着训练次数的增加，识别率变化平缓，这说明了本文所提方法具有良好的鲁棒性，同时也证明了正交性能的优势。这进一步表明，类信息的嵌入，能够有效提高低训练样本数下的识别率。

表 2 在ORL图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	94.15±1.45	96.50±1.87	97.67±1.61	99.50±0.65
GrMCC	93.40±1.94	95.88±1.15	96.75±1.59	99.38±0.88
DMCCA	93.50±1.73	95.44±1.82	96.92±1.62	99.50±0.65
GMCCA	85.50±1.68	88.75±2.41	91.92±2.78	95.50±2.22
CCA	90.35±1.83	93.19±1.94	93.83±1.68	97.25±1.15
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

| 显示表格

4.3 在AR图像数据集上的实验

AR数据集包含120个不同人的一些图像，每个人14幅图像。表3中，本文所提MDOCCA方法仍然保持了最高的识别率。与GT和ORL类似，MDOCCA的识别率随训练样本数的变化更加顺滑平缓，同时拥有较小的标准差，正交约束带来的鲁棒性优势更加明显。

表 3 在AR图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	98.50±0.45	98.85±0.59	99.19±0.34	99.21±0.28
GrMCC	95.56±0.88	97.38±0.81	98.38±0.36	98.82±0.30
DMCCA	98.27±0.49	98.72±0.58	99.05±0.37	99.18±0.23
GMCCA	93.09±1.18	95.25±0.34	96.60±0.78	97.26±0.42
CCA	97.09±0.70	97.86±0.60	98.46±0.35	98.58±0.20
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

| 显示表格

4.4 在PIE图像数据集上的实验

CMU PIE数据集包含68人在不同姿势、光照条件和面部表情下的41368张图像，在实验中选择了每人前70张图像，最终共有4760张图像。在图像数据集中每人分别选择n(n=10,15,20,25,30)幅图像作为训练样本，其余作为测试样本，进行10次随机试验。从表4可以看出，MDOCCA方法的识别率总是高于其他方法。MDOCCA和DMCCA将标签结构信息加入到相关性分析框架中进行特征学习，具有较好识别率，均在一定程度上优于其他方法，这说明标签结构的引入可以有效提高鉴别力。另外，MDOCCA在不同训练样本下均好于DMCCA，MDOCCA在引入类信息的同时加入正交约束，既能增加鉴别力，又能减少信息冗余，从而使融合的相关特征更具鉴别力。从表4不难看出，在不同训练样本数下，MDOCCA方法均展示出最佳平均识别率，说明MDOCCA方法提取的特征鉴别力更强。

表 4 在PIE图像数据集上的识别率变化结果(%)

	10训练样本	15训练样本	20训练样本	25训练样本	30训练样本
MDOCCA	79.04±0.65	85.41±0.84	87.99±0.65	90.58±0.63	91.12±0.50
GrMCC	64.00±1.03	75.47±1.21	81.39±0.97	85.47±0.70	87.27±0.52
DMCCA	75.71±0.82	82.61±0.82	85.53±0.51	88.31±0.63	89.15±0.42
GMCCA	65.37±0.98	74.33±1.16	79.16±0.86	82.57±1.07	84.46±0.52
CCA	68.99±0.92	77.06±1.29	81.03±0.75	84.12±0.85	85.41±0.44
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

| 显示表格

5. 结论

CCA作为一种经典的多模态特征融合方法，没有考虑样本的类信息，无法发现嵌入在数据样本中判别信息，同时它构建的共轭正交投影系统，难以剔除隐藏在样本特征中的冗余信息，受样本个数和维数的影响较大。为此，本文在将经典CCA方法从两组数据扩展到多重数据基础上，提出了一种新的MDOCCA方法。本方法通过在目标函数加入类标签敏感信息，同时构造正交约束，嵌入到CCA的相关理论中去，进而得到了MDOCCA的优化模型。正交性可以保证融合的特征尽可能不相关，更具鉴别力。在GT图像数据集、ORL图像数据集、AR图像数据集和PIE图像数据集上设计针对性实验，良好的实验结果表明MDOCCA是一种有效的特征融合方法。

图 1 在GT人脸数据集上识别率随训练样本数变化情况

下载: 全尺寸图片幻灯片

表 1 在GT图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	70.20±2.39	75.42±2.83	80.75±2.17	83.23±2.15
GrMCC	61.12±2.66	66.71±1.47	72.78±1.23	77.06±2.21
DMCCA	63.18±3.17	67.53±1.26	73.42±1.77	75.51±1.48
GMCCA	48.36±1.95	52.62±1.55	58.30±1.90	62.89±2.69
CCA	59.08±1.81	61.78±1.35	66.22±1.66	68.14±2.01
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

表 2 在ORL图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	94.15±1.45	96.50±1.87	97.67±1.61	99.50±0.65
GrMCC	93.40±1.94	95.88±1.15	96.75±1.59	99.38±0.88
DMCCA	93.50±1.73	95.44±1.82	96.92±1.62	99.50±0.65
GMCCA	85.50±1.68	88.75±2.41	91.92±2.78	95.50±2.22
CCA	90.35±1.83	93.19±1.94	93.83±1.68	97.25±1.15
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

表 3 在AR图像数据集上的识别率变化结果(%)

	5训练样本	6训练样本	7训练样本	8训练样本
MDOCCA	98.50±0.45	98.85±0.59	99.19±0.34	99.21±0.28
GrMCC	95.56±0.88	97.38±0.81	98.38±0.36	98.82±0.30
DMCCA	98.27±0.49	98.72±0.58	99.05±0.37	99.18±0.23
GMCCA	93.09±1.18	95.25±0.34	96.60±0.78	97.26±0.42
CCA	97.09±0.70	97.86±0.60	98.46±0.35	98.58±0.20
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

表 4 在PIE图像数据集上的识别率变化结果(%)

	10训练样本	15训练样本	20训练样本	25训练样本	30训练样本
MDOCCA	79.04±0.65	85.41±0.84	87.99±0.65	90.58±0.63	91.12±0.50
GrMCC	64.00±1.03	75.47±1.21	81.39±0.97	85.47±0.70	87.27±0.52
DMCCA	75.71±0.82	82.61±0.82	85.53±0.51	88.31±0.63	89.15±0.42
GMCCA	65.37±0.98	74.33±1.16	79.16±0.86	82.57±1.07	84.46±0.52
CCA	68.99±0.92	77.06±1.29	81.03±0.75	84.12±0.85	85.41±0.44
* A±B：A表示平均识别率，B表示相应的识别率标准差

下载: 导出CSV

参考文献(22)

[1]	刘政怡, 段群涛, 石松, 等. 基于多模态特征融合监督的RGB-D图像显著性检测[J]. 电子与信息学报, 2020, 42(4): 997–1004. doi: 10.11999/JEIT190297 LIU Zhengyi, DUAN Quntao, SHI Song, et al. RGB-D image saliency detection based on multi-modal feature-fused supervision[J]. Journal of Electronics &Information Technology, 2020, 42(4): 997–1004. doi: 10.11999/JEIT190297
[2]	YANG Xinghao, LIU Weifeng, LIU Wei, et al. A survey on canonical correlation analysis[J]. IEEE Transactions on Knowledge and Data Engineering, 2021, 33(6): 2349–2368. doi: 10.1109/TKDE.2019.2958342
[3]	WANG Haoting, SMALLWOOD J, MOURAO-MIRANDA J, et al. Finding the needle in a high-dimensional haystack: Canonical correlation analysis for neuroscientists[J]. NeuroImage, 2020, 216: 116745. doi: 10.1016/j.neuroimage.2020.116745
[4]	ZHENG Wenming. Multichannel EEG-based emotion recognition via group sparse canonical correlation analysis[J]. IEEE Transactions on Cognitive and Developmental Systems, 2017, 9(3): 281–290. doi: 10.1109/TCDS.2016.2587290
[5]	JIANG Qingchao, DING S X, WANG Yang, et al. Data-driven distributed local fault detection for large-scale processes based on the GA-regularized canonical correlation analysis[J]. IEEE Transactions on Industrial Electronics, 2017, 64(10): 8148–8157. doi: 10.1109/TIE.2017.2698422
[6]	BHOWMIK B, TRIPURA T, HAZRA B, et al. Real time structural modal identification using recursive canonical correlation analysis and application towards online structural damage detection[J]. Journal of Sound and Vibration, 2020, 468: 115101. doi: 10.1016/j.jsv.2019.115101
[7]	BAO Zhigang, HU Jiang, PAN Guangming, et al. Canonical correlation coefficients of high-dimensional Gaussian vectors: Finite rank case[J]. The Annals of Statistics, 2019, 47(1): 612–640. doi: 10.1214/18-AOS1704
[8]	SAMAT A, PERSELLO C, GAMBA P, et al. Supervised and semi-supervised multi-view canonical correlation analysis ensemble for heterogeneous domain adaptation in remote sensing image classification[J]. Remote Sensing, 2017, 9(4): 337. doi: 10.3390/rs9040337
[9]	GAO Lei, QI Lin, CHEN Enqing, et al. Discriminative multiple canonical correlation analysis for information fusion[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1951–1965. doi: 10.1109/TIP.2017.2765820
[10]	LAI P L and FYFE C. Kernel and nonlinear canonical correlation analysis[J]. International Journal of Neural Systems, 2000, 10(5): 365–377. doi: 10.1142/S012906570000034X
[11]	PATEL A M, LI J K J, FINEGAN B, et al. Aortic pressure estimation using blind identification approach on single input multiple output nonlinear Wiener systems[J]. IEEE Transactions on Biomedical Engineering, 2018, 65(6): 1193–1200. doi: 10.1109/TBME.2017.2688425
[12]	SHAO Jie, WANG Leiquan, ZHAO Zhicheng, et al. Deep canonical correlation analysis with progressive and hypergraph learning for cross-modal retrieval[J]. Neurocomputing, 2016, 214: 618–628. doi: 10.1016/j.neucom.2016.06.047
[13]	RU Lixiang, WU Chen, DU Bo, et al. Deep canonical correlation analysis network for scene change detection of multi-temporal VHR imagery[C]. The 2019 10th International Workshop on the Analysis of Multitemporal Remote Sensing Images (MultiTemp), Shanghai, China, 2019: 1–4.
[14]	CAI D, HE X, HAN J, et al. Orthogonal Laplacianfaces for face recognition[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3608–3614. doi: 10.1109/TIP.2006.881945
[15]	WANG Li, ZHANG Leihong, BAI Zhaojun, et al. Orthogonal canonical correlation analysis and applications[J]. Optimization Methods and Software, 2020, 35(4): 787–807. doi: 10.1080/10556788.2019.1700257
[16]	NIELSEN A A. Multiset canonical correlations analysis and multispectral, truly multitemporal remote sensing data[J]. IEEE Transactions on Image Processing, 2002, 11(3): 293–305. doi: 10.1109/83.988962
[17]	GAO Lei, ZHANG Rui, QI Lin, et al. The labeled multiple canonical correlation analysis for information fusion[J]. IEEE Transactions on Multimedia, 2019, 21(2): 375–387. doi: 10.1109/TMM.2018.2859590
[18]	CHEN Jia, WANG Gang, and GIANNAKIS G B. Graph multiview canonical correlation analysis[J]. IEEE Transactions on Signal Processing, 2019, 67(11): 2826–2838. doi: 10.1109/TSP.2019.2910475
[19]	ZHANG Shichao, LI Xuelong, ZONG Ming, et al. Learning k for kNN classification[J]. ACM Transactions on Intelligent Systems and Technology, 2017, 8(3): 43. doi: 10.1145/2990508
[20]	ZHANG Shichao, LI Xuelong, ZONG Ming, et al. Efficient kNN classification with different numbers of nearest neighbors[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(5): 1774–1785. doi: 10.1109/TNNLS.2017.2673241
[21]	JIANG Junjun, MA Jiayi, CHEN Chen, et al. SuperPCA: A superpixelwise PCA approach for unsupervised feature extraction of hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4581–4593. doi: 10.1109/TGRS.2018.2828029
[22]	YUAN Yunhao and SUN Quansen. Graph regularized multiset canonical correlations with applications to joint feature extraction[J]. Pattern Recognition, 2014, 47(12): 3907–3919. doi: 10.1016/j.patcog.2014.06.016

施引文献

期刊类型引用(2)

1.	刘梦欣，谢祯晃，吴伟志，朱康. 广义多尺度多重集值决策系统的最优尺度约简. 模式识别与人工智能. 2025(01): 2-21 . 百度学术
2.	王蕾晰，吴伟志，谢祯晃. 基于熵的多尺度多重集值信息系统的最优尺度选择与属性约简. 模式识别与人工智能. 2023(06): 495-510 . 百度学术

其他类型引用(1)

资源附件(0)

访问统计

图(1) / 表(4)

计量

文章访问数: 580
HTML全文浏览量: 593
PDF下载量: 59
被引次数: 3

1. 引言
2. CCA方法回顾
3. 多重集鉴别正交典型相关分析
4. 实验结果和分析
4.1 在GT图像数据集上的实验
4.2 在ORL图像数据集上的实验
4.3 在AR图像数据集上的实验
4.4 在PIE图像数据集上的实验
5. 结论

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

标签敏感的多重集正交相关特征融合方法

doi: 10.11999/JEIT210323

通讯作者:
苏树智　sushuzhi@foxmail.com

计量

Feature Fusion Method Based on Label-sensitive Multi-set Orthogonal Correlation

1. 引言

2. CCA方法回顾

3. 多重集鉴别正交典型相关分析

4. 实验结果和分析

4.1 在GT图像数据集上的实验

4.2 在ORL图像数据集上的实验

4.3 在AR图像数据集上的实验

4.4 在PIE图像数据集上的实验

5. 结论

期刊类型引用(2)

其他类型引用(1)

计量

目录

1. 引言

2. CCA方法回顾

3. 多重集鉴别正交典型相关分析

4. 实验结果和分析

4.1 在GT图像数据集上的实验

4.2 在ORL图像数据集上的实验

4.3 在AR图像数据集上的实验

4.4 在PIE图像数据集上的实验

5. 结论

留言板

标签敏感的多重集正交相关特征融合方法

doi: 10.11999/JEIT210323

通讯作者: 苏树智 sushuzhi@foxmail.com

计量

出版历程

Feature Fusion Method Based on Label-sensitive Multi-set Orthogonal Correlation

1. 引言

2. CCA方法回顾

3. 多重集鉴别正交典型相关分析

4. 实验结果和分析

4.1 在GT图像数据集上的实验

4.2 在ORL图像数据集上的实验

4.3 在AR图像数据集上的实验

4.4 在PIE图像数据集上的实验

5. 结论

期刊类型引用(2)

其他类型引用(1)

计量

出版历程

目录

1. 引言

2. CCA方法回顾

3. 多重集鉴别正交典型相关分析

4. 实验结果和分析

4.1 在GT图像数据集上的实验

4.2 在ORL图像数据集上的实验

4.3 在AR图像数据集上的实验

4.4 在PIE图像数据集上的实验

5. 结论

通讯作者:
苏树智　sushuzhi@foxmail.com