A Meta-learning Knowledge Reasoning Framework Combining Semantic Path and Language Model
-
摘要: 针对传统推理方法无法兼顾计算能力与可解释性，同时在小样本场景下难以实现知识的快速学习等问题，该文设计一款融合语义路径与双向Transformer编码(BERT)的模型无关元学习(MAML)推理框架，该框架由基训练和元训练两个阶段构成。基训练阶段，将图谱推理实例用语义路径表示，并代入BERT模型微调计算链接概率，离线保存推理经验；元训练阶段，该框架基于多种关系的基训练过程获得梯度元信息，实现初始权值优化，完成小样本下知识的快速学习。实验表明，基训练推理框架在链接预测与事实预测任务中多项指标高于平均水平，同时元学习框架可以实现部分小样本推理问题的快速收敛。
-
关键词:
- 知识推理 /
- 语义路径 /
- 双向Transformer编码表示 /
- 模型无关元学习
Abstract: In order to solve the problems that traditional knowledge reasoning methods can not combine computing power and interpretability, and it is difficult to learn quickly in few-shot scenarios, a Model-Agnostic Meta-Learning (MAML) reasoning framework is proposed in this paper, which combines semantic path and Bidirectional Encoder Representations for Transformers (BERT), and consists of two stages: base-training and meta-training. In base-training stage, the graph reasoning instances is represented by semantic path and BERT model, which is used to calculate the link probability and save reasoning experience offline by fine-tuning. In meta-training stage, the gradient meta-information based on the base-training process of multiple relations is obtained by this framework, which realizes the initial weight optimization, and completes the rapid learning of knowledge under few-shot. Experiments show that better performance in link prediction and fact prediction can be achieved by the base-training reasoning framework, and fast convergence of some few-shot reasoning problems can be achieved by the meta-learning framework. -
1. 引言
知识推理是一种通过已有知识排除错例或推断新知识的过程，是计算机获得认知智能的基础[1]。基于知识图谱的推理技术则将图谱作为先验知识，以剔除其中错误3元组、挖掘更多潜在的关联关系，为实体链接、推荐系统、智能问答等场景赋能，具有较高的落地价值[2]。传统基于路径或统计规则的推理方式在人的思维基础上完成推理，顾及了模型层面的可解释性，却存在复杂度高、计算困难等缺陷，例如Lao等人[3]提出的路径排序算法、Yang等人[4]提出逻辑规划框架等。近年来，各类神经网络与表示模型[5]相继被提出，知识推理在效率上取得长足的进步，刘藤等人[6]提出一种基于联合一阶逻辑(First Order Logic, FOL)规则的表示学习框架，通过优化得分函数使之适配大多数推理模型；Zhang等人[7]提出一种基于强化学习的推理方法，将推理问题转化为序列决策问题，取得了不错的效果。总的来说，神经网络凭借其良好性能极大方便推理活动的同时，也带来解释性不足等缺陷，同时无法全局考虑语义、路径等多种影响因素，泛化能力有待提升。随后，众多学者开始利用多种方法建模，混合推理方法逐渐被提出，Wang等人[8]利用长短期记忆网络(Long Short-Term Memory, LSTM)与注意力机制记录过往推理路径完成推理；陈海旭等人[9]提出一种基于嵌入和路径组合的表示模型，利用路径和关系向量相似度联合计算推理概率。总的来说，将图谱路径与深度学习模型结合是兼顾计算能力与可解释性的有效途径之一，但仍难以解决小样本下(few-shot)知识推理问题。文献[10]指出，在维基数据中，大约有10%的关系对应的3元组的数量不超过10个，需要更优秀的设计为推理活动赋能，元学习技术逐渐被用到知识推理中，例如Chen等人[11]提出关系元与梯度元等概念，通过转移元学习器中特定的参数完成小样本下的链接预测。Lü等人[10]提出一种基于长短期记忆网络和元学习的知识推理框架，有较深刻的启发意义。
基于传统推理方法无法兼顾计算能力与可解释性，并在小样本下推理困难的问题，本文提出一种基于语义路径与双向Transformer编码表示(Bidirectional Encoder Representations from Transformers, BERT)[12]的元学习推理框架，由基训练和元训练两个阶段构成，在基训练阶段提出一种路径表示方案保留框架整体可解释性，并利用BERT的自注意力机制更新语义向量，掌握语义间的关联程度，在框架之上继续添加微调层提升推理水平；在元训练阶段融合模型无关元学习(Model-Agnostic Meta-Learning, MAML)框架[13]获得优化后的初始参数，使小样本推理问题更快收敛。最后使用FB15K-237, WN18RR标准数据集以及OpenKG人物关系图谱、CN-DBpedia部分子集对框架进行验证，结果表明，与目前主流推理方法相比，该框架的多项性能指标高于平均水平，同时可以完成小样本推理问题的学习与快速收敛。
2. 相关工作
2.1 BERT模型
谷歌在2018年提出一种预处理语言表示模型BERT，旨在通过海量无监督文本中的词语相互关系获得词或句子级别的特征表示，在众多自然语言任务中具有良好表现。虽然XLNet[14]曾短暂超越BERT，但据脸书(Facebook)的相关研究表明，如果增加数据量并且训练更久，BERT依然可以重返最佳水平。其优势在于引入了自注意力方法与 Transformers结构，并设置掩码语言模型(Masked Language Model, MLM)和下一句预测(Next Sentence Prediction, NSP)联合预训练任务，取得不错的效果，同时证明了深度模型仍可能继续提升自然语言处理(Natural Language Processing, NLP)任务准确率。基于该模型设计知识推理框架，在提升计算水平同时离线保存推理经验，并将参数量巨大预训练模型快速赋能于推理行为，满足时效性要求。
2.2 MAML框架
模型无关元学习(Model-Agnostic Meta- Learning, MAML)框架是一个通用的元学习框架，通常由若干个子任务(Task)构成，每个Task有独立的损失函数。该框架旨在获得一组初始化参数，主要方法是通过对各个Task训练获得梯度经验信息，并针对初始化参数进行调整，从而完成新任务的快速收敛。该框架与传统训练方法对比如图1所示，φ0表示训练的初始化参数，当训练第m个子任务Task#m时，计算其损失函数可以获得其独有的梯度优化参数θm，如图1(a)φ0引出虚线所示；再基于θm计算任务m新的损失函数并得到其在θm上的梯度，此时该梯度会代回初始参数φ0中，在新的学习率下得到φ1，φ0～φ1的直线与θm引出的虚线应是平行的，表示梯度的传递。而传统训练方法摒弃了初始参数更新与梯度传递，导致过往训练信息无法保留。此时再对Task#(m+1)进行训练，经过一步梯度下降得到θn，计算损失函数在θn上的梯度并更新φ1，以此类推，最终提升模型的整体学习能力，快速高效地适应新任务。
MAML框架简单实用，能适应多种任务，有效解决小样本问题，本文场景下具有一定的应用价值。
3. 框架设计
本文在深入调研基础上，提出一种基于语义路径与BERT语言模型的元学习推理框架，基训练阶段设计基础的知识推理框架，元训练阶段提出一种小样本下的快速学习方案，设计如下。
3.1 基训练阶段
本文将基础的知识推理问题定义为实体间关联关系的判断与预测，由图谱中的已知路径作为依据。因此，首要任务是完成实体间路径挖掘。
框架首先在任意两实体间搜索N跳之内的其他路径获得训练数据。需要注意的是，并不是实体间所有路径都能转化为有效路径，某些核心节点例如“中国”、“美国”等可以延伸出非常多关系结构，同时也有很多实体因涉及国家3元组与这些核心节点产生关联，使得节点之间途径国家产生多跳关系，而实际上节点间的关系一般无法通过相同国家推断出。基于此，首先应剔除部分核心节点，避免产生无效推理。通过搜索得到的路径与实体间直连路径将被看作同义路径，作为一部分训练数据。跳数N设置越大，包含的路径越多，推理条件更宽松，但难以找到通识规律；N设置越小，推理条件越准确，但后续可供学习的训练数据减少，因此一般设置2～3为宜[15]，本文为了简化验证过程取2。此时，这些路径还无法直接与语言模型产生联系，需设计一种路径表示方案，定义部分标识如表1所示。
表 1 部分变量标识变量种类 变量含义 表示方式 元素标识 实体i Enti 关系j Relj 方向标识 正向标识符 [FWD] 反向标识符 [RVS] 语义标识 语义路径起始符 [CLS] 语义路径分隔符 [SEP] 每条路径用一个短分句表示，以[SEP]分隔，按照<节点/关系的方向标识/关系/节点>的顺序排列。给定节点之间的同义路径构成一条序列，以[CLS]起始，表示多种同义的推理关系，应当包含两条及以上的短分句。最终将各实例的子图结构转化为若干条序列，如图2所示。
任意推理路径均可利用上述方式构成序列表示的推理实例，作为一部分训练数据传入后续框架中。然而这些推理实例对框架来说都是正例，为了提升学习能力，还需要负采样一部分错误样本。本文参考百度ERNIE模型[15]，基于以下策略对正例进行修改构建负例：(1)随机替换语义路径下的1个或多个元素/方向标识；(2)随机替换语义路径下的某个短分句。等概率调用两者，且需要确认新的负例不在推理实例集合中。
将训练数据加入BERT模型中，通过给定的12层Transformer结构并添加一个额外的池化与输出层进行微调[16]以完成推理过程，如图3所示。
文献[12]提出取[CLS]的最终隐层状态c(c∈RH)作为输出，即最后一个Transformer的结果，H为BERT模型隐层单元数，取768。此时[CLS]的状态c经过自注意力变换可以对整个序列的特征进行表达。然而在实际使用过程中这种方式可能会导致过拟合情况的发生，泛化能力不佳。因此，本文在Transformer后增加一个池化层(Pooling)，采用均值-最大池化(Mean-Max-Pool)策略，对所有状态按维度取均值与最大值并进行拼接，以增加非线性特征的表达能力。最终得到整个序列表示记为cp(cp∈R2H)。
此外，还需要额外训练一层权重W(W∈R2H×K)，为了区分路径同义/不同义两种情况，K在此取2。用Sigmoid函数定义关系概率P，如式(1)
P=Sigmoid(cpWT) (1) P是一个2维向量，两个维度分别表示路径同义/不同义的概率，训练时的损失函数设置为交叉熵函数，如式(2)，其优势在于易于计算且能较好展示分布差异[17]
Loss = 1NN∑i=0Li=−1NN∑i=0[ylnˆy+(1−y)ln(1−ˆy)] (2) 其中，
y 表示语义相似标签，若语义相同则取1，否则取0，ˆy 表示模型预测结果，即P在不同维度下的取值。针对重点研究的关系预测问题，在某多跳路径Route已知的情况下，判断首尾实体Enti,Entj是否存在关系，依序构建判断序列式(3)、式(4)< [CLS]Route[SEP]Enti [FWD][MASK]Entj[SEP] > (3) < [CLS]Route[SEP]Enti [RVS][MASK]Entj[SEP] > (4) 将候选关系填入[MASK]中，经Transformer与池化(Pooling)后获得新的特征表示，并将训练好的权重W代入，获得同义概率。定义相信度阈值blv∈[0,1]，当概率大于该阈值时，认为填入关系是合理的，该值通过后文实验确定。
3.2 元训练阶段
将MAML框架应用到本文知识推理任务中，目标是获得更好的初始化权重W，使推理训练过程快速收敛，总体设计如图4所示。
本框架设计思路如下：沿用上一阶段的训练集，将不同的直连关系划分并依次用Task集合表示，所有Task构成任务池。同时，将每个Task中的序列实例按比例分为Support与Query集合，举例如表2所示。
表 2 Task举例与表示Task#1 (配偶) Support <[CLS]王健林[FWD]配偶林宁[SEP]王健林[RVS]父亲王思聪[FWD]母亲林宁[SEP]>··· Query <[CLS]约瑟夫·拜登[FWD]配偶吉尔·拜登[SEP]约瑟夫·拜登[RVS]父亲亨特·拜登[FWD]母亲吉尔·拜登[SEP]>··· Task#2 (所属地区) Support <[CLS]江汉路[FWD]所属地区武汉[SEP]江汉路 [FWD]所属地区汉口[FWD]所属地区武汉[SEP]>··· Query <[CLS]伊夫岛[FWD]所属地区普罗旺斯[SEP]伊夫岛 [FWD]所属地区马赛[FWD]所属地区普罗旺斯 [SEP]>··· Task#3 (前型级) Support <[CLS]f-35战斗机[FWD]前型级YF-22[SEP]f-35战斗机[RVS]衍生型f-22战斗机[FWD]前型级YF-22 [SEP]> ··· Query <[CLS]歼-16[FWD]前型级苏-27SK[SEP]歼-16 [FWD]前型级歼-11[FWD]前型级苏-27SK [SEP]>··· Task#m 设定一个随机初始化参数W，对Support集合进行训练，在Query集合上验证并计算损失函数，得到梯度信息。所有Task上的梯度信息一起构成梯度元信息，基于此不断调整初始化W，具体需要执行两步梯度下降算法，分别设置学习率α, β：
(1)在内层循环中，使m个Task都在W的基础上完成一次独立的梯度更新，得到m个优化后的结果，记为W1,W2,···,Wm，更新公式即为一般的梯度下降公式，如式(5)所示，此时Wi只对应于Task#i较优的权值，并非适用于所有任务。
Wi=W−α∇WLossi(fW) (5) (2)在外层循环中，以W1,W2,···,Wm为参数，在原始W上再进行1次梯度更新，得到优化后的权值Wnew，如式(6)所示，该参数可以适配更多训练任务
Wnew=W−β∇Wm∑i=1Lossi(fW) (6) 在实际使用过程中，使用改进的早停法(early stopping)防止过拟合情况的发生，即训练一定的周期后，在随后的每一个周期当中都计算框架在验证集上的误差，在误差变大时停止训练，取上一步的结果作为最终参数。
该元学习知识推理框架可有效赋能于图谱补全，基于碎片化知识中可能蕴含新关系类，该框架可以实现其快速学习并泛化到整个知识图谱中，如图5所示。当某文本中产生<歼20，中国代号，威龙>3元组，且“中国代号”关系在图谱中从未出现过时，该框架可以结合任务池中大量推理经验，对该任务进行学习并获得权重参数。随后通过遍历图谱预测出更多包含“中国代号”的3元组，例如<歼31，中国代号，鹘鹰>、<歼轰7，中国代号，飞豹>等。这些预测出的3元组经人工确认后方可以加入图谱，完成动态补全过程。该任务也将被加入任务池中，继续赋能于接下来的小样本新任务，实现“1生2，2生3”的知识完善过程。
4. 实验与分析
验证推理框架的有效性往往利用链接预测(Link Prediction, LP)与事实预测(Fact Prediction, FP)任务。链接预测旨在预测3元组中缺失的部分，主要评价指标包括平均排名(Mean Rank, MR)、平均排名倒数(Mean Reciprocal Rank, MRR)与正确3元组所在前K百分比(Hits@K)。其中MR越低，Hits@K越高，则推理方法表现越好。事实预测旨在判断3元组是否为真，利用平均精度均值(Mean Average Precision, MAP)，如式(7)所示，其中n是样本总和，ti为测试集，rank(true)与rank(false)为正、负样本的排名，该值越高则框架表现越好
MAP=1nn∑i=11|ti|⋅∑true∈ti|{rank(false)≤rank(true)},false∈ti|rank(true) (7) 共设置4个实验数据集，包含两个通用基准图谱数据FB15K-237与WN18RR，还加入了中文人物关系图谱以及从CN-DBpedia中抽取的部分子集。FB15K-237是大型知识库Freebase的子集，包含237种关系和14k种实体，其关系种类较多，实体之间的联系较频繁；WN18RR是大型知识库WordNet的子集，包含18种关系和40k种实体。相较于FB15K-237数据集，WN18RR有更多的实体，但关系种类非常少，展现较为稀疏；OpenKG中文人物关系图谱包含近100k条关系数据，可支撑多项应用尝试和科学研究工作，涉及人物71243个，大类关系102个，小类关系266条；CN-DBpedia是中文全领域知识图谱，从中抽取军事、体育、科技等部分领域3元组继续进行实验，约含有5K个3元组。同时，本文还继续对小样本下模型的学习能力进行验证。
4.1 参数设置
框架需要设定的参数除了部分已在模型设计中阐释外，还包括一些模型训练的基础参数与相信度阈值blv等，其中部分训练基础参数参考文献[12, 13]，采用给定的参数，如表3所示。
表 3 基础参数设定参数 值 (BERT) 最大句子长度 50(词) (BERT) 批处理数 64(条) (BERT) 学习率 5e-5 (MAML) α 0.01 (MAML) β 0.001 相信度阈值blv需要通过实验进行设定。本文在CN-DBpedia子集上进行小范围的监督训练，结果如图6所示，blv设置为0.92时准确率最高，达到95.24%，后文均以0.92为标准。
4.2 链接预测验证
本文利用链接预测任务验证基训练推理框架的特征表达能力，并与传统的联合表示学习方案进行比较，结果如表4所示，表4的部分数据取自先前论文，存在部分缺失值。在中文人物关系图谱上进行关系预测任务，剩下图谱上则等比例地完成关系与实体预测。
表 4 不同方案链接预测效果比较方案 FB15K-237 WN18RR 人际关系图谱 CN-DBpedia子集 MRR MR Hits@10 MRR MR Hits@10 MRR MR Hits@10 MRR MR Hits@10 TransE 0.294 357 0.465 0.226 3384 0.501 0.428 38 0.523 0.269 163 0.482 ComplEx 0.247 339 0.428 0.440 5261 0.510 0.440 34 0.600 0.331 132 0.525 R-GCNs 0.248 – 0.417 – – – 0.452 32 0.623 0.308 134 0.495 KBGAN 0.278 – 0.458 0.214 – 0.472 0.476 32 0.556 0.299 120 0.536 ConvKB 0.243 311 0.421 0.249 3324 0.524 0.436 26 0.621 0.324 146 0.461 VR-GCN 0.248 – 0.432 – – – 0.468 31 0.566 0.292 143 0.531 本文 0.288 321 0.443 0.285 3201 0.532 0.452 31 0.513 0.315 117 0.513 通过结果可知，本推理框架有3个指标达到最佳。同时，框架在WN18RR数据集上表现最好，在人际关系图谱上表现则相对平庸，但均在几种常见推理方案的平均水准之上。
4.3 事实预测验证
事实预测任务旨在验证框架识别3元组的能力，结果如表5所示。
表 5 不同方案事实预测效果对比方案 FB15K-237 WN18RR 关系图谱 DB子图 TransE 0.277 0.243 0.310 0.203 ComplEx 0.309 0.210 0.413 0.231 R-GCNs 0.289 0.255 0.382 0.198 KBGAN 0.313 0.243 0.369 0.228 ConvKB 0.301 0.241 0.425 0.235 VR-GCN 0.324 0.236 0.401 0.242 本文 0.317 0.289 0.411 0.225 本框架在事实预测任务中表现相对稳定，在WN18RR仍然表现最佳。总体而言，在两个实验共计16个评价指标中，该框架有4项排名第1，共计14项指标排名前3。同时，不同的推理方法往往适用于不同图谱，例如TransE方法[18]在FB15K-237数据集中表现最佳、R-GCNs[19]更适合人际关系图谱等。该框架在WN18RR总共4项评价指标中有3项位于第1，优于其他推理方案。
4.4 小样本学习能力验证
为了验证框架在小样本下的推理能力，本文在CN-DBpedia子集中人工标注6种小样本关系(配偶、所属地区、前型级、具备能力、队友、合作)，分别记为关系1～6，并将其直接代入推理框架进行200代训练，记录训练过程中的损失变化曲线(如图7红线所示)。再依次将某关系看作小样本Task，其余关系代入MAML框架，获得优化后的初始W。将W作为初始化参数代入小样本推理框架中，同样进行200代训练并记录损失变化曲线(如图7蓝线所示)，结果如下。
由结果可知，在MAML框架赋能下，有3种关系获得了更快的收敛能力(关系1、关系5、关系6)。除此之外，关系4获得了损失更少的起始点，关系2、关系3在训练中的跳变程度更小，训练更稳定。总体上看，MAML框架使小样本推理问题平均提前收敛近10代，有效提升了学习能力。
5. 结论
本文提出一种基于语义路径与BERT的元学习推理框架，在基训练阶段通过语义路径表示方案获得图谱推理路径，保留整个框架的可解释性；再利用BERT微调建模，基于语义特征进行训练并保留预训练模型，继而判定推理关系。元训练阶段利用MAML框架对若干子任务进行训练并保留元信息，获得更优的初始化参数，为小样本下的推理问题赋能。实验表明，该文推理框架在16个指标中均高于平均水平，并有4个达到最优。同时，引入MAML框架可以使部分任务更快收敛，在本文数据集下平均提前约10代，满足智能化解决推理问题的需求。
-
表 1 部分变量标识
变量种类 变量含义 表示方式 元素标识 实体i Enti 关系j Relj 方向标识 正向标识符 [FWD] 反向标识符 [RVS] 语义标识 语义路径起始符 [CLS] 语义路径分隔符 [SEP] 
下载: 导出CSV
表 2 Task举例与表示
Task#1 (配偶) Support <[CLS]王健林[FWD]配偶林宁[SEP]王健林[RVS]父亲王思聪[FWD]母亲林宁[SEP]>··· Query <[CLS]约瑟夫·拜登[FWD]配偶吉尔·拜登[SEP]约瑟夫·拜登[RVS]父亲亨特·拜登[FWD]母亲吉尔·拜登[SEP]>··· Task#2 (所属地区) Support <[CLS]江汉路[FWD]所属地区武汉[SEP]江汉路 [FWD]所属地区汉口[FWD]所属地区武汉[SEP]>··· Query <[CLS]伊夫岛[FWD]所属地区普罗旺斯[SEP]伊夫岛 [FWD]所属地区马赛[FWD]所属地区普罗旺斯 [SEP]>··· Task#3 (前型级) Support <[CLS]f-35战斗机[FWD]前型级YF-22[SEP]f-35战斗机[RVS]衍生型f-22战斗机[FWD]前型级YF-22 [SEP]> ··· Query <[CLS]歼-16[FWD]前型级苏-27SK[SEP]歼-16 [FWD]前型级歼-11[FWD]前型级苏-27SK [SEP]>··· Task#m
下载: 导出CSV
表 4 不同方案链接预测效果比较
方案 FB15K-237 WN18RR 人际关系图谱 CN-DBpedia子集 MRR MR Hits@10 MRR MR Hits@10 MRR MR Hits@10 MRR MR Hits@10 TransE 0.294 357 0.465 0.226 3384 0.501 0.428 38 0.523 0.269 163 0.482 ComplEx 0.247 339 0.428 0.440 5261 0.510 0.440 34 0.600 0.331 132 0.525 R-GCNs 0.248 – 0.417 – – – 0.452 32 0.623 0.308 134 0.495 KBGAN 0.278 – 0.458 0.214 – 0.472 0.476 32 0.556 0.299 120 0.536 ConvKB 0.243 311 0.421 0.249 3324 0.524 0.436 26 0.621 0.324 146 0.461 VR-GCN 0.248 – 0.432 – – – 0.468 31 0.566 0.292 143 0.531 本文 0.288 321 0.443 0.285 3201 0.532 0.452 31 0.513 0.315 117 0.513
下载: 导出CSV
表 5 不同方案事实预测效果对比
方案 FB15K-237 WN18RR 关系图谱 DB子图 TransE 0.277 0.243 0.310 0.203 ComplEx 0.309 0.210 0.413 0.231 R-GCNs 0.289 0.255 0.382 0.198 KBGAN 0.313 0.243 0.369 0.228 ConvKB 0.301 0.241 0.425 0.235 VR-GCN 0.324 0.236 0.401 0.242 本文 0.317 0.289 0.411 0.225
下载: 导出CSV
-
[1] 马忠贵, 倪润宇, 余开航. 知识图谱的最新进展、关键技术和挑战[J]. 工程科学学报, 2020, 42(10): 1254–1266. doi: 10.13374/j.issn2095-9389.2020.02.28.001MA Zhonggui, NI Runyu, and YU Kaihang. Recent advances, key techniques and future challenges of knowledge graph[J]. Chinese Journal of Engineering, 2020, 42(10): 1254–1266. doi: 10.13374/j.issn2095-9389.2020.02.28.001 [2] 官赛萍, 靳小龙, 贾岩涛, 等. 面向知识图谱的知识推理研究进展[J]. 软件学报, 2018, 29(10): 2966–2994. doi: 10.13328/j.cnki.jos.005551GUAN Saiping, JIN Xiaolong, JIA Yantao, et al. Knowledge reasoning over knowledge graph: A survey[J]. Journal of Software, 2018, 29(10): 2966–2994. doi: 10.13328/j.cnki.jos.005551 [3] LAO Ni and COHEN W W. Relational retrieval using a combination of path-constrained random walks[J]. Machine Learning, 2010, 81(1): 53–67. doi: 10.1007/s10994-010-5205-8 [4] YANG Fan, YANG Zhilin, and COHEN W W. Differentiable learning of logical rules for knowledge base completion[J]. arXiv: 1702.08367, 2017. [5] 康世泽, 吉立新, 张建朋. 一种基于图注意力网络的异质信息网络表示学习框架[J]. 电子与信息学报, 2021, 43(4): 915–922. doi: 10.11999/JEIT200034KANG Shize, JI Lixin, and ZHANG Jianpeng. Heterogeneous information network representation learning framework based on graph attention network[J]. Journal of Electronics &Information Technology, 2021, 43(4): 915–922. doi: 10.11999/JEIT200034 [6] 刘藤, 陈恒, 李冠宇. 联合FOL规则的知识图谱表示学习方法[J]. 计算机工程与应用, 2021, 57(4): 100–107. doi: 10.3778/j.issn.1002-8331.1911-0436LIU Teng, CHEN Heng, and LI Guanyu. Knowledge graph representation learning method jointing FOL rules[J]. Computer Engineering and Applications, 2021, 57(4): 100–107. doi: 10.3778/j.issn.1002-8331.1911-0436 [7] ZHANG Linli, LI Dewei, XI Yugeng, et al. Reinforcement learning with actor-critic for knowledge graph reasoning[J]. Science China Information Sciences, 2020, 63(6): 169101. doi: 10.1007/s11432-018-9820-3 [8] WANG Heng, LI Shuangyin, PAN Rong, et al. Incorporating graph attention mechanism into knowledge graph reasoning based on deep reinforcement learning[C]. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, 2019: 2623–2631. [9] 陈海旭, 周强, 刘学军. 一种结合路径信息和嵌入模型的知识推理方法[J]. 小型微型计算机系统, 2020, 41(6): 1147–1151. doi: 10.3969/j.issn.1000-1220.2020.06.005CHEN Haixu, ZHOU Qiang, and LIU Xuejun. Knowledge graph reasoning combining path information and embedding model[J]. Journal of Chinese Computer Systems, 2020, 41(6): 1147–1151. doi: 10.3969/j.issn.1000-1220.2020.06.005 [10] LÜ Xin, GU Yuxian, HAN Xu, et al. Adapting meta knowledge graph information for multi-hop reasoning over few-shot relations[C]. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, 2019: 3376–3381. [11] CHEN Mingyang, ZHANG Wen, ZHANG Wei, et al. Meta relational learning for few-shot link prediction in knowledge graphs[C]. The 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), Hong Kong, China, 2019: 4217–4226. [12] DEVLIN J, CHANG Mingwei, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Minneapolis, USA, 2019. [13] FINN C, ABBEEL P, and LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks[C]. The 34th International Conference on Machine Learning, Sydney, Australia, 2017: 1126–1135. [14] YANG Zhilin, DAI Zihang, YANG Yiming, et al. XLNet: Generalized autoregressive pretraining for language understanding[C]. The 33rd Conference on Neural Information Processing Systems, Vancouver, Canada, 2019. [15] SUN Yu, WANG Shuohuan, LI Yukun, et al. ERNIE: Enhanced representation through knowledge integration[J]. arXiv: 1904.09223, 2019. [16] SUN Chi, QIU Xipeng, XU Yige, et al. How to fine-tune BERT for text classification?[C]. The 18th China National Conference on Chinese Computational Linguistics, Kunming, China, 2019: 194–206. [17] 任进军, 王宁. 人工神经网络中损失函数的研究[J]. 甘肃高师学报, 2018, 23(2): 61–63. doi: 10.3969/j.issn.1008-9020.2018.02.019REN Jinjun and WANG Ning. Research on cost function in artificial neural network[J]. Journal of Gansu Normal Colleges, 2018, 23(2): 61–63. doi: 10.3969/j.issn.1008-9020.2018.02.019 [18] BORDES A, USUNIER N, GARCIA-DURÁN A, et al. Translating embeddings for modeling multi-relational data[C]. The 26th International Conference on Neural Information Processing Systems, Lake Tahoe, USA, 2013: 2787–2795. [19] SCHLICHTKRULL M, KIPF T N, BLOEM P, et al. Modeling relational data with graph convolutional networks[C]. The 15th International Conference on The Semantic Web, Heraklion, Greece, 2018: 593–607. 期刊类型引用(3)
1. 马兰，孟诗君，吴志军. 基于BERT与生成对抗的民航陆空通话意图挖掘. 系统工程与电子技术. 2024(02): 740-750 . 
百度学术2. 肖朝晖. 基于Web的数字化资源共享信息查询系统设计. 微型电脑应用. 2024(02): 192-196 . 百度学术3. 穆维松，刘天琪，苗子溦，冯建英. 知识图谱技术及其在农业领域应用研究进展. 农业工程学报. 2023(16): 1-12 . 百度学术其他类型引用(8)
-
下载:
百度学术
计量
- 文章访问数: 922
- HTML全文浏览量: 579
- PDF下载量: 132
- 被引次数: 11
下载:
