1.   引言

滚动轴承是机械设备中易受损部件之一，其健康状况直接影响到整个设备的运转状态。因此，对轴承的剩余使用寿命进行有效预测将有利于避免严重威胁生命和财产安全的事故发生^[1-3]。

基于深度学习的轴承剩余使用寿命预测方法在近几年取得快速发展。如：Wang等人^[4]结合卷积神经网络和长短期记忆神经网络，提取轴承的时序特征和空间特征，对滚动轴承进行寿命预测；Yang等人^[5]将振动信号分解为固有尺度分量，并选择有效的分量重构信号并建立特征集，然后利用灰色回归模型修复通过融合改进的独立分量和马氏距离计算的退化指标得到健康指标并训练模型实现轴承的剩余使用寿命预测；Ding等人^[6]利用C均值聚类将轴承的全寿命数据分为正常运行、轻微退化、严重退化3阶段，并用粒子群算法优化网络，实现剩余使用寿命预测。上述方法能够对同一种工况下轴承的剩余使用寿命进行有效的预测，然而在实际应用中，大多数轴承在不同的工况下运行，跨工况条件下数据分布的差异导致剩余使用寿命(Remain Useful Life, RUL)预测模型的预测性能急剧下降^[7]。

在跨工况条件下，可通过挖掘源域特征和目标域特征之间的相似性关系，将源域的知识应用于目标域，提高目标域轴承RUL预测精度^{[8, 9]}。如：Hu等人^[10]通过多个自编码器提取源域和目标域轴承的私有特征和公共特征，并将公共特征进行领域适应实现RUL预测；Cheng等人^[11]通过可转移特征注意力和可转移实体注意力对目标域特征进行加权，提高了目标域轴承RUL预测精度；Zou等人^[12]通过重建的退化指标提取具有显著特征的退化样本，并输入到多域对抗网络以实现特征转移，最后通过双向长短期记忆网络(Bi-directional Long Short-Term Memory, Bi-LSTM)实现RUL预测。上述方法在跨工况条件下的轴承剩余使用寿命预测取得了一定的结果，但是上述方法在对齐源域和目标域数据时，只是通过距离度量拉近两个域的数据分布，未考虑决策边界模糊的问题，导致边界周围的样本依然难以实现有效预测；并且目标域轴承样本没有对应的标签，目标域样本的特征不能实现与真实RUL之间的映射，不同样本可能会被提取出相同或相近的特征，从而导致不同样本预测出相同的RUL。

为解决上述问题，本文提出一种正交约束的最大分类器差异方法 (Maximum Classifier Discrepancy network with Orthogonal Constraints, MCD_OC)。针对现有域适应方法的模型决策边界模糊的问题，使用最大分类器差异方法对源域和目标域特征进行领域适应。针对目标域轴承无标签导致难以提取反映轴承退化趋势的特征，在训练时对每个mini-batch的目标域特征正交约束，以增强不同剩余寿命状态下样本特征的可辨识性。最后，基于PHM2012数据集构建多个跨工况轴承剩余使用寿命预测实验，论证所提模型的有效性与稳定性。

2.   域适应描述

迁移学习是一种能够将现有知识应用于相关领域的方法。在迁移学习中被迁移的领域称为源域(Source domain)，待学习的领域称为目标域(Target domain)。源域获取的数据集$\left\{ {x_i^{\text{s}},y_i^{\text{s}}} \right\}_1^{{N_{\text{s}}}}$中，共有${N_{\text{s}}}$个样本，$y_i^{\text{s}}$是样本$x_i^{\text{s}}$对应的标签。源域中的样本来自样本空间${\chi ^{\text{s}}}$，标签来自空间${y^{\text{s}}}$，即$x_i^{\text{s}} \in {\chi ^{\text{s}}}$, $y_i^{\text{s}} \in {y^{\text{s}}}$，数据分布服从$P({\chi ^{\text{s}}})$。目标域获取的数据$\left\{ {x_i^{\text{t}}} \right\}_{i = 1}^{{N_{\text{t}}}}$中，包含${N_{\text{t}}}$个样本，样本来自于样本空间${\chi ^{\text{t}}}$，数据分布服从$Q({\chi ^y})$，并且Q≠P。

域适应是迁移学习的分支，能够充分利用源域和目标域与数据，从而解决两个域特征分布不一致的问题。通过源域的带标签数据训练模型，建立样本空间${\chi ^{\text{s}}}$到源域样本标签${y^{\text{s}}}$的非线性映射关系$f:{\chi ^{\text{s}}} \to {y^{\text{s}}}$，在源域上学习知识。为减小源域和目标域的数据分布存在的差异，适配源域与目标域的数据分布，使模型在源域学习到的知识应用于目标域。

3.   MCD_OC的轴承剩余寿命预测方法

目前大部分领域适应方法都是通过不同的度量方法度量两个分布的距离，或通过混淆域判别器将两域的特征对齐。然而对齐的结果只是拉近两个域的特征分布，没有考虑模糊的决策边界对预测造成的影响，处于边界周围的样本依然难以预测。此外，轴承不同退化程度的样本的特征存在差异，而目标域上存在的某些相似的样本特征可辨识性低，模型难以识别。

为解决上述问题，本文提出MCD_OC方法，通过最大分类器差异将源域和目标域的特征进行领域适应，同时为保证提取出能够反映目标域轴承退化的特征，求取点积作为损失优化网络参数，使目标域轴承特征保持正交。

3.1   最大分类器差异

如图1所示，普通域适应方法为减小源域和目标域的差异，只是将两个域的特征拉到相同的分布下，但是两个域的分布可能不能够准确对齐，会出现决策边界模糊的问题。由于模型已充分学习源域上的知识，因此能够准确预测源域上的样本，然而对目标域的样本预测时，模糊的决策边界导致分类器难以准确预测其RUL。为减小模糊的决策边界对RUL预测造成的影响，本文引入最大分类器差异^[13]。通过两个不同的分类器预测的目标域样本RUL，得到分类器差异损失${\text{Los}}{{\text{s}}_{{\text{disc}}}}$，再使用${\text{Los}}{{\text{s}}_{{\text{disc}}}}$交替训练特征提取器和分类器，不断优化模型的特征提取能力和决策边界，拉近源域和目标域之间的距离。优化方法分为以下3步：

图 1  普通的域适应方法和最大分类器差异

下载: 全尺寸图片 幻灯片

首先在源域数据上对轴承剩余寿命预测模型训练，构建对轴承剩余寿命的预测能力，以向目标域提供可迁移的预测知识

其中，${N_{\text{s}}}$是源域样本的个数，$x_i^{\text{s}}$为源域上第i个样本，$F( \cdot )$为模型的特征提取器，${C_1}( \cdot )$和${C_2}( \cdot )$为模型的两个分类器，通过特征提取器和分类器得出两个RUL预测结果${C_1}(F(x_i^{\text{s}}))$和${C_2}(F(x_i^{\text{s}}))$，并与真实RUL标签$y_i^{\text{s}}$计算损失${\text{Los}}{{\text{s}}_{{\text{reg1}}}}$和${\text{Los}}{{\text{s}}_{{\text{reg2}}}}$，优化整个网络。

然后，在保证模型的预测精度的同时，引入分类器差异损失${\text{Los}}{{\text{s}}_{{\text{disc}}}}$增大两个分类器的差异，即最大化${\text{Los}}{{\text{s}}_{{\text{disc}}}}$优化分类器。分类器差异损失${\text{Los}}{{\text{s}}_{{\text{disc}}}}$表示为

其中，${\text{sigmoid}}(x) = \dfrac{1}{{1 + {{\rm{e}}^{ - x}}}}$， $x_i^{\text{t}}$为目标域上第i个样本。

最后，为提高特征提取器的特征提取能力，最小化${\text{Los}}{{\text{s}}_{{\text{disc}}}}$并优化特征提取器。通过${\text{Los}}{{\text{s}}_{{\text{disc}}}}$优化特征提取器，使特征提取器能够提取出表达能力更强的特征，以减小两个不同分类器对难预测样本预测的分歧。

3.2   正交约束

使用源域有标签数据训练模型，模型学习到源域数据的特征，然后分类器通过建立特征和标签之间的映射关系，能够准确预测源域上轴承的RUL。然而目标域轴承的样本没有剩余寿命标签，模型不能直接构建特征与RUL之间的映射，因此经过无监督训练后模型的特征提取器依然可能难以提取能够反映目标域轴承的退化特征。轴承的寿命预测中，不同的样本对应不同的剩余使用寿命，因此将不同的样本表示为不同的类。如图2所示，对目标域特征施加正交约束，在一定程度上强制特征之间保持正交，能够增大类间的距离^[14]，从而增大样本之间的差异，确保不同样本的可辨识性。分类器根据存在差异的不同样本的特征，能够避免混淆不同样本。

图 2  对目标域特征正交约束增大特征差异

下载: 全尺寸图片 幻灯片

通过特征提取器能够提取轴承的深层特征，并沿batch维度将每个mini-batch中目标域深层特征$z$等分为两组样本特征集($z'$和$z''$)，进而基于划分的两组样本特征集，进行样本特征间的点积运算求得正交约束损失${\text{Los}}{{\text{s}}_{{\text{oc}}}}$

其中，${n_{z'}}$和${n_{z''}}$为$z'$和$z''$中各自的样本特征数量。${z'_i}$是$z'$中第i个样本特征，${z''_j}$是$z''$中第j个样本特征。将$z'$和$z''$的所有样本间的点积均值作为${\text{Los}}{{\text{s}}_{{\text{oc}}}}$。通过最小化${\text{Los}}{{\text{s}}_{{\text{oc}}}}$，优化特征提取器参数，对提取的特征正交约束，增大特征之间的差异。

3.3   寿命预测模型

网络结构如图3所示，主要由特征提取器$F( \cdot )$、分类器${C_1}( \cdot )$和分类器${C_2}( \cdot )$组成。其中，特征提取器$F( \cdot )$由卷积神经网络 (Convolutional Neural Networks, CNN)和门控循环单元(Gate Recurrent Unit, GRU)构成，通过CNN提取输入轴承的空间特征，连续的空间特征堆叠成时间序列，将提取的源域和目标域特征领域适应，同时在训练时对目标域特征正交约束，增大不同样本特征间的可辨识性。

图 3  MCD_OC 网络结构

下载: 全尺寸图片 幻灯片

用${\theta _F}$, ${\theta _{{C_1}}}$, ${\theta _{{C_2}}}$表示特征提取器、分类器${C_1}$、分类器${C_2}$的参数，$\varepsilon ,{\text{ }}\delta ,{\text{ }}\eta$为学习率。

首先用大量源域数据训练模型，提高模型在源域上的RUL预测精度，此时，模型的总损失${\text{Los}}{{\text{s}}_{{\text{all1}}}}$为

此时的优化目标

然后最大化分类器之间的差异，$\alpha$为${\text{Los}}{{\text{s}}_{{\text{disc}}}}$的系数。模型的总损失${\text{Los}}{{\text{s}}_{{\text{all2}}}}$为

此时优化目标为

最后，为保证特征提取器能够提取出表达能力更强的特征，减小分类器预测结果的差异，最小化${\text{Los}}{{\text{s}}_{{\text{disc}}}}$。同时，为了增大目标域特征的差异，最小化${\text{Los}}{{\text{s}}_{{\text{oc}}}}$，优化特征提取器。其中$\beta$为${\text{Los}}{{\text{s}}_{{\text{disc}}}}$的系数，$\gamma$为${\text{Los}}{{\text{s}}_{{\text{oc}}}}$的系数。模型总损失${\text{Los}}{{\text{s}}_{{\text{all3}}}}$为

优化目标为

4.   MCD_OC跨工况轴承RUL预测流程

MCD_OC方法预测流程如图4所示，分为3个步骤：振动信号采集与数据预处理；模型的建立与训练；轴承RUL预测性能验证。

图 4  正交约束域适应的跨工况滚动轴承剩余使用寿命预测方法流程

下载: 全尺寸图片 幻灯片

(1) 振动信号采集与数据预处理：采集振动信号，对源域上采集的轴承振动信号标记剩余使用寿命标签，提取源域和目标域轴承振动信号的频域特征。

(2) 模型的建立与训练：建立模型，用带标签的源域样本和无标签的目标域样本训练模型。将源域和目标域轴承的特征领域适应，使模型具有目标域样本寿命预测能力。

(3) 轴承RUL预测性能验证：用经训练的模型测试目标域测试集，将两个分类器得出的预测结果求取平均值，作为模型预测结果，分析所提方法的性能并与对比方法进行对比，证明模型的有效性和稳定性。

5.   实验验证

5.1   实验数据集介绍

本文采用PHM2012挑战数据集^[15]验证所提模型的性能，该数据集由PRONOSTIA实验台提供，包含加速度传感器采集的17组轴承的全寿命周期振动信号。信号的采样频率为25.6 kHz，采样间隔10 s，每次采样时间0.1 s，当振动信号的幅值超过20 g时设定轴承失效，停止采样。用轴承剩余寿命占全寿命的比值作为样本的标签，如式(11)所示

其中，${y_i}$为第i时刻的剩余使用寿命，T为轴承从开始运行到直到失效所用时间。

实验数据集包括3种不同的工况，各轴承的运行情况如表1所示。数据集划分如表2所示，通过6个预测任务评估模型性能，分别为工况1分别域适应学习工况2 、工况3；工况 2分别域适应学习工况1、工况3；工况3分别域适应学习工况1、工况2。6个预测任务的训练集包含源域的有标签数据和目标域的无标签数据，测试数据集包含目标域未标记数据。

表 1  轴承运行的3种不同工况

变量	工况1	工况2	工况3
压力(N)	4000	4200	5000
转速(r/min)	1800	1650	1500

下载: 导出CSV 

| 显示表格

表 2  MCD_OC试验数据集

任务	源域训练集	目标域训练集	测试集
工况1→工况2(C12)	轴承1-1～1-7	轴承2-1,2-2	轴承2-6
工况1→工况3(C13)	轴承1-1～1-7	轴承3-1,3-2	轴承3-3
工况2→工况1(C21)	轴承2-1～2-7	轴承1-1,1-2	轴承1-7
工况2→工况3(C23)	轴承2-1～2-7	轴承3-1,3-2	轴承3-3
工况3→工况1(C31)	轴承3-1～3-3	轴承1-1,1-2	轴承1-7
工况3→工况2(C32)	轴承3-1～3-3	轴承2-1,2-2	轴承2-6

下载: 导出CSV 

| 显示表格

5.2   数据预处理

采集轴承原始振动信号后，利用快速傅里叶变换将时域信号转换为频域信号作为模型的输入，此时每个时刻的频域信号包含128 0维特征。轴承时域信号和归一化后的频域信号如图5所示。为充分利用数据之间潜在的时序信息，将连续$n$个时刻振动信号的频域特征作为模型的输入，${x_i}$表示第$i$时刻信号的频域特征，此时模型每个样本${{\boldsymbol{X}}_i} = ({x_i},{x_{i + 1}},\cdots,{x_{i + n}})$，表示第$i$时刻到第$i + n$时刻信号的频域特征。数据集经重新排列后为

图 5  轴承2-1的时域信号和归一化后的频域信号

下载: 全尺寸图片 幻灯片

5.3   模型参数设置

本文所提模型参数如表3所示。特征提取器$F( \cdot )$由3层1维卷积层、3层池化层和1层GRU组成，分类器${C_1}( \cdot )$,${C_2}( \cdot )$都由3层全连接层组成，并且结构相同。由Adam优化器对网络的参数更新，学习率为0.000 2，训练批次大小为50，重复训练网络次数40次。为了减小随机性对实验结果的影响，本节中所有实验均独立重复3次。

表 3  模型参数

网络层	参数	激活函数
卷积层1, BN	卷积核大小7×1，数量 80，步长1	ReLU
最大池化层1	大小 8×1，步长8	\
卷积层2, BN	卷积核大小5×1，数量160，步长1	ReLU
最大池化层2	大小8×1，步长1	\
卷积层3, BN	卷积核大小3×1，数量 320，步长1	ReLU
最大池化层3	大小4×1，步长1	\
GRU	输出维度 1440	\
全连接层1	神经元个数128，Dropout 0.5	\
全连接层2	神经元个数32，Dropout 0.5	\
全连接层3	神经元个数1	\

下载: 导出CSV 

| 显示表格

5.4   实验结果与对比分析

为验证本文所提方法对于轴承寿命预测的有效性和稳定性，将模型与深度域混淆网络(Deep Domain Confusion, DDC)^[16]、域对抗迁移网络(Domain Adaptive Neural Network, DANN)^[17]、最大分类器差异网络(Maximum Classifier Discrepancy for Unsupervised Domain Adaptation, MCD_DA)^[13]、相关对齐网络(Correlation Alignment for Deep Domain Adaptation, CORAL)^[18]、正交约束深度域混淆网络(Deep Domain Confusion with Orthogonal Constraint, DDC_OC)方法进行对比，DDC_OC通过最大均值差异将源域和目标域的特征对齐的同时，对目标域特征正交约束。每个模型涉及相同模块的参数结构相同，6组实验结果如图6所示，图中横坐标为时间，纵坐标为剩余寿命量化指标。

图 6  不同方法在不同任务下的轴承寿命预测结果对比

下载: 全尺寸图片 幻灯片

为了定量分析本文提出MCD_OC方法的有效性和稳定性，本文采用平均绝对误差(Mean Absolute Error, MAE)、均方根误差(Root Mean Squared Error, RMSE)衡量3组实验的RUL预测结果。MAE和RMSE的计算公式如式(13)、式(14)所示

其中，${y_i}$表示RUL标签，${\hat y_i}$表示模型的RUL预测结果，N为测试集样本数量。

不同方法在不同任务中的MAE和RMSE的结果统计如表4所示。在部分任务中，DDC和DANN取得了一定的预测效果，但是在某些工况下的预测误差大，预测精度仍然需要进一步提高。CORAL通过将2阶统计量对齐，对比DDC和DANN，在C13任务中取得了最优结果，然而在C32任务中，预测误差在所有的方法中最大。通过对目标域特征进行正交约束，对比DDC， DDC_OC在5组实验中取得更优的MAE和RMSE结果，在C13, C21, C23实验中，MAE分别降低了0.038, 0.04, 0.017，RMSE分别降低了0.02, 0.035, 0.027，模型的预测能力明显上升。DDC,DANN,CORAL方法由于没有考虑到决策边界模糊的问题，因此平均MAE和RMSE均劣于MCD_DA。本文结合正交约束和最大分类器差异方法，在对目标域特征正交约束的条件下，增大了不同样本特征之间的可辨识度，同时解决了决策边界模糊的问题，在多组任务下取得了较优的结果。在不同的任务中，源域和目标域的数据分布存在差异，导致域适应任务存在差异性和不确定性，难以确保所有的任务都能取得最优的结果。虽然本文所提方法在C13中未取得最优结果，综合所有任务的MAE和RMSE，能够反映出本文方法具有更强的稳定性和有效性，对跨工况轴承剩余使用寿命具有一定预测能力。

表 4  MCD_OC和对比模型的预测结果

方法	评价指标	C12	C13	C21	C23	C31	C32	平均值
DDC	MAE	0.179	0.118	0.224	0.212	0.160	0.307	0.200
	RMSE	0.218	0.136	0.258	0.246	0.208	0.354	0.237
DANN	MAE	0.120	0.070	0.271	0.227	0.166	0.413	0.211
	RMSE	0.149	0.092	0.311	0.257	0.213	0.442	0.244
CORAL	MAE	0.146	0.065	0.230	0.198	0.162	0.414	0.202
	RMSE	0.167	0.080	0.269	0.238	0.234	0.435	0.237
DDC_OC	MAE	0.174	0.080	0.184	0.195	0.160	0.323	0.186
	RMSE	0.209	0.116	0.223	0.219	0.210	0.363	0.223
MCD_DA	MAE	0.125	0.068	0.229	0.217	0.165	0.385	0.198
	RMSE	0.150	0.086	0.274	0.253	0.219	0.426	0.235
MCD_OC	MAE	0.117	0.084	0.163	0.178	0.160	0.202	0.151
	RMSE	0.144	0.106	0.220	0.216	0.208	0.234	0.188

下载: 导出CSV 

| 显示表格

6.   结束语

针对跨工况条件下分类器决策边界模糊、目标域特征难以区分，导致跨工况条件下轴承剩余使用寿命预测精度低的问题，本文提出了一种正交约束域适应的跨工况滚动轴承剩余使用寿命预测方法。利用最大分类器差异将源域和目标域的特征分布对齐，解决了分类器决策边界模糊的问题，同时，通过正交约束增大特征之间的差异，加强特征的可辨识度，提高了目标域轴承的预测精度。最后，基于轴承寿命数据集开展了跨工况轴承寿命预测对比实验，本文所提正交约束域适应方法取得了最佳的平均MAE和RMSE结果，论证了本文所提方法在综合性能上具有更强的泛化性和稳定性。

本文所讨论的各跨工况滚动轴承剩余使用寿命预测方法均假设目标域轴承数据集为全寿命数据集，在实际应用场景，获取某些工况下轴承的全寿命数据集十分困难，因此，在后续的工作中拟开展在不具备全寿命数据集条件下的跨工况滚动轴承剩余使用寿命预测方法研究。