1.   引言

说话人识别技术是利用语音信号中所包含的说话人特征信息，识别某个说话人身份的技术^[1–3]。近年来，因子分析(Factor Analysis, FA)^[4–8]成为说话人识别领域的重要技术，其中，总变化因子分析在说话人识别中占据主导地位。总变化因子分析在空间建模时，将说话人信息和信道信息看作一个整体空间，即总变化空间。通过对包含说话人信息和信道信息的高斯混合模型(Gaussian Mixed Model, GMM)高维均值超向量在总变化空间上进行投影，得到低维的因子向量i-vector，并在其基础上进行分类建模和判决^[6,9]。

但是，总变化因子分析技术存在一定的不足。总变化因子分析技术实质是概率主成分分析(Probabilistic Principal Component Analysis, PPCA)^[10]的一种，只能够反映数据的整体结构。为了克服上述缺点，邻域保持嵌入(Neighborhood Preserving Embedding, NPE)等流形学习算法成功应用于说话人识别^[11–14]，有效地保持了数据流形上局部邻域结构信息，从而提高了说话人识别性能。然而，NPE算法^[11,15]在进行数据线性重构时，仅保持了同类(同一说话人)样本的局部结构，未考虑不同类(不同说话人)样本之间的判别性，而判别信息对说话人识别是非常重要的。

针对以上问题，本文提出一种基于判别邻域嵌入(Discriminant Neighborhood Embedding, DNE)算法的说话人识别系统。判别邻域嵌入算法通过结合邻域和类的信息，不仅能保持类内(同一说话人)样本数据的局部邻域结构，同时强调类间(不同说话人)样本数据间的判别信息，使得不同类样本的嵌入向量相互分类，因而具有更强的判别能力。

本文安排如下：第2节简要介绍基于i-vector的邻域保持嵌入算法，第3节是本文提出的判别邻域嵌入算法，第4节是在NIST SRE 2010电话-电话核心测试集上的实验结果，第5节是结论。

2.   基于i-vector的邻域保持嵌入技术

2.1   总变化因子分析

给定一段语音数据，基于总变化空间的说话人和信道相关的GMM均值超向量可表示为

其中，m是与说话人和信道无关的超向量，一般用通用背景模型(Universal Background Model, UBM)的均值超向量来表征；T是一个低阶的总变化矩阵，维数为CF×R_T，其中C是GMM高斯数，F为特征维数，R_T是总变化矩阵中所包含的特征向量的个数；w是一个随机向量，服从标准正态分布N(0, I)。向量w中的元素为总变化因子(Total Variability Factors, TVF)，称向量w为identity vector，简称i-vector。对于训练T和提取i-vector的具体过程详见参考文献[6]。

2.2   邻域保持嵌入(NPE)

给定训练数据集X={x₁, x₂, ···, x_N}，其中x_i∈R^L, i=1, 2, ···, N。x_i是i-vector向量，且具备说话人身份的标注信息。NPE的目的是在降维的同时，保持数据集固有的局部邻域流形结构不变。它寻找一个最优的映射变换矩阵P=[p₁, p₂, ···, p_K]，将R^L空间的数据嵌入映射到一个相对低维的向量空间R^K(K<L)中。数据点x_i在R^K空间中表示为邻域保持嵌入向量y_i，且y_i=P^Tx_i。

对于邻域保持嵌入空间矩阵P的训练过程详见文献[11,15]。

将邻域保持嵌入向量使用支持向量机(Support Vector Machine, SVM)分类建模，并选用余弦核作为核函数。在进行SVM建模时，需要进行信道补偿。常用的信道补偿技术有2种：类内协方差规整(Within-Class Covariance Normalization, WCCN)^[16]和线性判别分析(Linear Discriminant Analysis, LDA)^[17]，这两个方法以不同的准则对信道进行补偿，同时使用能够起到更优的效果。

将NPE算法作用在i-vector上，可以同时保持数据样本的整体结构和局部邻域结构，因此极大地提高了系统性能^[11]。但邻域保持嵌入算法在进行线性重构时，没有对邻域作类别判断和区别对待，使得不同类的邻近数据点在投影时存在相互重叠的情况，从而影响了识别性能。

3.   判别邻域嵌入(DNE)

判别邻域嵌入(DNE)是一种有效的子空间学习方法，已成功应用于人脸识别^[18,19]。通过与总变化因子分析相结合，能够从整体和局部更全面地反映数据的结构，同时能强调类的判别信息，对邻域作类别判断和区别对待。将DNE算法应用于说话人识别的思想如下：

给定训练数据集X={x₁, x₂, ···, x_N}，其中x_i∈R^L, i=1, 2, ···, N。x_i是i-vector向量，且给定说话人身份的标注信息。DNE在降维的同时，能保持类内数据样本固有的局部邻域流形结构不变，并最大限度地使类间数据样本彼此远离，有效提高降维后的分类效果。它寻找一个最优的映射变换矩阵A=[a₁, a₂, ···, a_K]，将R^L空间的数据嵌入映射到一个相对低维的向量空间R^K(K<L)中。数据点x_i在R^K空间中表示为z_i，且z_i=A^Tx_i。

判别邻域嵌入空间矩阵A的训练过程包括以下步骤：

(1)给定具有说话人身份标注信息的训练数据集X，第i个顶点代表第i条训练语句对应的i-vector向量x_i，构建数据集上的判别邻接图G。

(2)计算第i个顶点和第j个顶点之间的亲合权重B_ij和重构权重W_ij，从而得到亲合权重矩阵B和重构权重矩阵W。

(a) B_ij反映了不同类数据对之间的亲合力。如果x_i和x_j属于不同说话人的语句，且x_i是x_j的k个最近邻之一(或者x_j是x_i的k个最近邻之一)，则${B_{ij}} = {\rm{exp}}(||{{\text{x}}_i} - {{\text{x}}_j}|{|^2}/t)$，其中参数t为适当常量。否则B_ij=0。

(b) W_ij反映了同类数据x_j对重构x_i时的贡献。如果x_i和x_j属于不同说话人的语句，则W_ij=0。如果x_i和x_j属于同一说话人的语句，可以通过最小化重构损失函数

其约束条件为$\displaystyle\sum\nolimits_j {{W_{ij}} = 1}$, j=1, 2, ···, N。求解出重构权重矩阵系数W_ij。

(3)计算DNE映射变换矩阵A。DNE的思想是，在映射到低维空间后，类间样本彼此远离，类内样本局部结构保持不变，综合两方面考虑，给出以下2个最优化问题^[20]

约束条件为${{\text{A}}^{\rm{T}}}{\text{X}}{{\text{X}}^{\rm{T}}}{\text{A}}{\rm{ = }}1$。其中，式(3)中的${\text{H}} = {\text{D}} - {\text{B}}$, D为对角阵，${D_{ii}} = \displaystyle\sum\nolimits_j {{B_{ij}}}$；式(4)中${\text{M}} = {({\text{I}} - {\text{W}})^{\rm{T}}}({\text{I}} - {\text{W}})$。

定义类间邻域散度${{\text{S}}_B} = {\text{XH}}{{\text{X}}^{\rm{T}}}$，类内邻域散度${{\text{S}}_W} = {\text{XM}}{{\text{X}}^{\rm{T}}}$，上述2个最优化问题可以转换成下面的广义特征值求解问题，即

通过求解式(5)，可得到判别邻域嵌入空间矩阵A=[a₁, a₂, ···, a_K]，其中，a₁, a₂, ···, a_K是上述问题的前K个最大特征值对应的特征向量。

4.   实验

4.1   实验配置

本文使用NIST SRE 2010核心测试集(core-core)的电话训练、电话测试(tel-tel)作为测试集，采用等错误率(Equal Error Rate, EER)和最小检测错误代价(minimum Detect Cost Function, minDCF)对系统性能进行评价^[21,22]。

实验中所使用的特征为36维的梅尔频率倒谱系数(Mel Frequency Cepstral Coefficents, MFCC)特征，其每帧特征由18维的基本倒谱系数及其1次差分构成，并使用特征弯折(feature warping)技术对特征进行规整。使用NIST SRE 2004 1side的目标说话人训练数据训练2个与性别相关的UBM，高斯数为1024。使用NIST SRE 2004, 2005以及2006的电话语音数据来训练总变化矩阵T, NPE矩阵和DNE矩阵、WCCN转换矩阵以及LDA降维矩阵。选用NIST SRE 2004以及2005的部分数据来做负样本训练数据，使用SVMLight^[23]来训练支持向量。

4.2   实验结果

本节在测试集上对本文提出的DNE算法和已有的NPE算法在说话人识别系统中进行了对比试验。

表1列出了在没有任何信道补偿技术下DNE算法和NPE算法的实验结果。从表1中可以看出，DNE的性能要优于NPE。相对于NPE, DNE在男声测试集上EER和minDCF分别有8.33%和5.39%的性能提升；在女声测试集上，EER和minDCF分别有9.03%和8.20%的性能提升。

表 1  NIST SRE 2010电话-电话测试集上DNE和NPE的EER和minDCF比较(无信道补偿)

系统	男声			女声
	EER(%)	minDCF		EER(%)	minDCF
NPE	5.76	0.0575		6.98	0.0744
DNE	5.28	0.0544		6.35	0.0683

下载: 导出CSV 

| 显示表格

表2是NPE算法以及本文提出的DNE算法在后端经过LDA之后的性能比较。从表2可以看到，当经过LDA信道补偿后，DNE系统性能优于NPE算法，在男声测试集上EER和minDCF分别有11.04%和7.93%的性能提升；在女声测试集上，EER和minDCF分别有8.84%和4.58%的性能提升。

表 2  NIST SRE 2010电话-电话测试集上DNE和NPE的EER和minDCF比较(LDA信道补偿)

系统	男声			女声
	EER(%)	minDCF		EER(%)	minDCF
NPE+LDA	4.71	0.0492		6.11	0.0633
DNE+LDA	4.19	0.0453		5.57	0.0604

下载: 导出CSV 

| 显示表格

表3是NPE算法以及DNE算法在后端经过WCCN信道补偿之后的性能比较。从实验结果我们可以看到，当经过WCCN信道补偿后，相对于NPE, DNE系统性能在男声测试集上EER和minDCF分别有9.47%和6.64%的性能提升；在女声测试集上，EER和minDCF分别有10.17%和8.86%的性能提升。

表 3  NIST SRE 2010电话-电话测试集上DNE和NPE的EER和minDCF比较(WCCN信道补偿)

系统	男声			女声
	EER(%)	minDCF		EER(%)	minDCF
NPE+WCCN	5.07	0.0512		6.49	0.0677
DNE+WCCN	4.59	0.0478		5.83	0.0617

下载: 导出CSV 

| 显示表格

表4比较了NPE算法以及DNE算法在后端同时经过LDA和WCCN信道补偿之后的性能。从实验结果可以看到，当经过LDA和WCCN信道补偿后，DNE系统性能仍然优于NPE。相对于NPE, DNE系统性能在男声测试集上EER和minDCF分别有5.90%和8.82%的性能提升；在女声测试集上，EER和minDCF分别有8.39%和5.31%的性能提升。

表 4  NIST SRE 2010电话-电话测试集上DNE和NPE的EER和minDCF比较(LDA+WCCN信道补偿)

系统	男声			女声
	EER(%)	minDCF		EER(%)	minDCF
NPE+LDA+WCCN	4.41	0.0476		5.72	0.0584
DNE+LDA+WCCN	4.15	0.0434		5.24	0.0553

下载: 导出CSV 

| 显示表格

表5将本文提出的DNE算法(经过LDA和WCCN信道补偿)与目前说话人识别领域的主流算法——概率线性判别分析(Probability Linear Discriminant Analysis, PLDA)^[24,25]进行了性能对比，本实验中采用的是高斯PLDA算法。从实验结果可以看到，DNE算法与PLDA算法性能相当。

表 5  NIST SRE 2010电话-电话测试集上DNE和PLDA的EER和minDCF比较

系统	男声			女声
	EER(%)	minDCF		EER(%)	minDCF
DNE+LDA+WCCN	4.15	0.0434		5.24	0.0553
PLDA	4.12	0.0428		5.37	0.0532

下载: 导出CSV 

| 显示表格

5.   结论

针对邻域保持嵌入技术的不足，本文将判别邻域嵌入算法引入到基于i-vector的说话人识别中。与邻域保持嵌入技术相比，判别邻域嵌入算法结合邻域和类的信息，对邻域作类别判断和区别对待，因此，能够有效地克服邻域保持嵌入技术存在的缺点，可以进一步提高说话人识别性能。