基于柯西-施瓦茨不等式的知识图谱稠密表示方法

林 霞,王 聪,李 敏,李俊华

1(四川师范大学 计算机科学学院,成都 610101)2(四川警察学院 计算机科学与技术系,四川 泸州 646000)

1 引 言

进入21世纪以来,人们对于互联网的依赖不断加深,促进了互联网行业的高速发展,随之产生了大量数据,数据分析成为了时代的主流,互联网进入了大数据时代.知识图谱稠密表示是大数据时代有效的表示方式之一,是一个巨大的知识网络,网络中的节点表示实体,节点之间的边表示实体和实体之间的关系[1].

知识图谱稠密表示的主要目的是在向量空间中映射多关系实体和关系数据的语义信息,例如具有相似语义信息的实体cat、kitten、feline、meow表示为实值向量后,在低维的欧氏空间中彼此靠近,从而实现知识图谱稠密表示,其具有隐式知识、弱逻辑约束、不易解释、对接神经网络的特点.

三元组是知识图谱稠密表示的基本组成单元,主要以(实体,关系,实体)或者(实体,属性,属性值)两种形式表示,其中实体表示生活中真实存在的事物,关系或者属性表示各种实体之间的某种联系.

对于知识图谱稠密表示中的三元组(实体,关系,实体),传统的知识图谱稠密表示方法在知识嵌入过程中使用三元组的实体和关系之间的欧氏距离构造损失函数.同时为了达到在低维空间中嵌入最佳向量的目的,通常采用随机梯度下降法极小化损失函数,更新三元组中实体和关系的向量,以找到最优的参数,使得损失函数的值最小.目前,TransH[2]、TransR[3]等经典模型都是在TransE[4]模型的基础之上,在关于三元组的损失函数上探求突破点以改进模型.随机梯度下降优化方法计算原理简单,计算效率高,通常将该方法应用于大规模数据,但是在训练参数时,因为梯度方向随着知识向量的不断更新而变化,所以随机梯度下降法对梯度的估计往往出现偏差,造成损失函数曲线收敛速度慢,甚至出现收敛不稳定的现象,在收敛位置附近伴有剧烈抖动,最终得到的结果不一定是全局最优值,可能得到局部最小值,从而导致实体和关系向量表示的精确度不高.

目前如何提高知识图谱稠密表示的精确度是研究者广泛关注的热点问题.为解决传统知识图谱稠密表示方法所带来的以上问题,提出了一种基于柯西-施瓦茨不等式的知识图谱稠密表示训练方法,将实体和关系保存到欧氏空间.该方法在解决知识图谱符号化表示方面具有重要意义:解决了知识图谱的大规模和数据稀疏性问题;在保留原始图谱特定属性的同时,将知识图谱映射为连续的向量空间,使得一大批高效的数值化计算和推理方法得以适用[5];实体和关系的向量表示可以作为机器学习算法的输入,从而使知识图谱在其他人工智能领域的应用成为可能.

2 相关工作

知识图谱稠密表示是以图形的形式展现众多实体之间复杂的语义关系,提出知识图谱最主要的目的是利用实体及其实体之间的关系提升用户的检索效率.知识图谱稠密表示的基本思想是将抽象的实体和关系表示为欧氏空间下的实值向量,为接下来相关的数值计算奠定基础[6].为了将知识图谱嵌入到欧氏空间中,文献[4]提出了基于翻译操作的实体嵌入学习模型(Translating Embedding,TransE),TransE将实体嵌入到低维向量空间以后,通过三元组中实体和关系之间的翻译操作确定关系在欧氏空间中的位置.在TransE中,关系在嵌入空间中表示为平移,当(h,r,t)成立时,在稠密低维向量空间中,尾实体向量应该接近头实体向量加上关系向量.TransE利用简单的计算原理构建多元关系数据模型,并且实验结果表明在真实知识数据集中,TransE模型关于链接预测方面明显优于之前的方法.该模型计算复杂度低,可为大规模数据构造知识图谱,但是TransE模型仍然存在不足之处:TransE不能充分表示所有关系类型,只能在一对一关系类型中有很好的实验结果.为了解决TransE的不足,不断产生新的模型来改进和补充TransE.

文献[2]提出TransH模型(Embedding by Translating on Hyperplanes),顾名思义TransH利用三元组的结构将实体投影到关系所在的超平面以后,将三元组的实体和关系平移,最终将知识图谱嵌入到欧氏空间中.TransH不仅和TransE保持同样少的参数和同样低的计算复杂度,而且弥补了TransE不能很好处理实体之间多对多、多对一、一对多等复杂关系的缺陷,实验结果表明在处理复杂关系时,TransH模型较TransE有显著的改进.但是同一实体在不同的关系中可能会有不同的含义,例如三元组(李晨,参演,北京爱情故事)和(李晨,主持,武林大会)中,李晨即可以表示为演员李晨,又可以表示为主持人李晨,TransH模型在同一欧氏空间中嵌入实体和关系,因此它不足以表示以上情况中的实体和关系.

针对TransH的不足,文献[3]提出TransR模型,TransR首先将欧氏空间分为实体的欧氏空间和关系的欧氏空间,随后基于三元组的结构特点,将实体空间中的实体映射到关系空间中,最后在完成投影的关系空间中,头实体h和尾实体t通过平移关系r连接起来.但是在同一关系下,因为头尾实体能表现出不同的角色,所以为头尾实体构建同一个关系向量空间不足以执行翻译操作.因此在TransR模型的基础上,利用分段线性回归将头尾实体聚类成不同的簇,学习每个簇不同的关系,故命名为基于簇的TransR(CTransR).通过对比实验证明TransR/CTransR较之前的模型有显著的改进,各实验度量标准均优于先前的模型,并且CTransR的性能优于TransR,其中CTransR表明采用细粒度模型可以划分关系中复杂的内部属性.但是该模型仍有不足之处:某一特定关系所含有的所有实体共同使用相应的关系映射矩阵.同时在知识嵌入过程中,较TransE和TransH,TransR/CTransR需要更多的计算参数,因此难以应用于大规模知识图谱.

TransM模型[7]在以上模型基于翻译操作,利用三元组中的不同的关系映射属性计算三元组的权重大小,从而进行知识图谱稠密表示.TransM模型与TransE具有相当的参数复杂性,同样适用于大型知识图谱.并且能够灵活地处理多种关系类型,实验结果表明该模型在链路预测和三元组分类方面明显优于其他模型.尽管以上知识图谱稠密表示模型在处理实体和关系方面不断取得进步,但它们仅仅考虑了实体之间的直接关系,而忽略了实体之间存在的多步关系路径.

因此为了解决这一问题,PTransE[8]模型将TransE与关系路径模型相结合,提出基于路径的TransE(PTransE).PTransE模型的关系路径是实体之间基于关系的转换过程,但是实体之间的关系路径并不全是可靠的,因此为了解决这一问题,PTransE提出了一种基于路径约束的资源分配算法.在实际数据集上进行对比实验后分析得知:PTransE模型不仅有利于知识图谱稠密表示,而且在文本关系提取方面取得了显著而持续的改进.

知识图谱稠密表示模型通过计算损失度量来构建实体和关系向量,但由于损失度量过于简化,不足以构建知识图谱中复杂的实体和关系.为了解决这个问题,文献[9]提出了TransA模型,利用自适应Mahalanobis度量和椭圆等势面有效地模拟知识图谱中各种复杂的实体和关系,实验结果表示该模型在链路预测与三元组分类方面取得了显著的进步.

以上模型的性能均优于TransE,并且每个三元组的关系具有唯一的投影空间,但是逻辑上相关的关系或者概念上相似的关系可能具有不同的投影空间,因此引入了更多的参数,导致数据稀疏性问题.所以ITransF[10]通过学习发现共享关系投影矩阵,利用稀疏注意机制将共享矩阵组合成特定关系的投影矩阵,从而解决数据稀疏性问题.

但是以上模型利用严格的几何形式构造代数系统,导致模型不能准确地表示知识图谱,从而不能进行精确的链接预测.因此ManifoldE[11]将平移翻译规则替换为基于流形的规则,引入了特定关系参数,解决了局限的几何形式所引起的链接预测精确度不高的问题.实验表明,ManifoldE模型相对于最新的基线,在与之保持相当计算效率的同时,在链接预测任务中也取得了实质性的改进.

知识图谱稠密表示模型通常对数据采用以下处理方法:在计算实体和关系距离之前,对所有的初始化数据都进行了归一化,从而达到避免向量空间无限扩张的目的.但是归一化数据以后,实体和关系只能勉强满足h+r≈t这一原则.所以TorusE[12]将映射空间由普通向量空间转换成李氏群,增加了空间的紧致性,从而不再需要归一化.

但是TorusE模型和以上模型具有同样的不足之处:过于简化的实体表示低估了实体的复杂性,无法在知识图谱中准确描述实体,并且这些模型都是基于评分准则h+r≈t训练三元组,该评分准则描述了三元组中实体对h和t的共同外在特征r,从而忽略了关系的内在抽象表示.GTrans模型[13]为了反映实体的外在特征和内在特征,将每个实体建模为本征态和模拟态,然后对不同的状态分配不同的权重来构建动态关系空间.通过分析基准数据集中的实验结果可得:该模型在链路预测和三元组分类方面均优于主流模型.尽管以上模型在处理实体和关系方面取得了成功,但是这些模型通过将关系表示为从头部实体到尾部实体的过渡矢量,无法很好地解决三元组的各种关系映射属性.

因此为了解决这一问题,TransMS模型[14]保留以上模型所提出的翻译操作,改进评分函数h+r≈t,使用非线性函数将头实体/尾实体和关系的语义信息传递给尾实体/头实体,从而表示知识图谱的结构.TransMS模型与TransE具有相当的参数复杂性,在大规模知识图谱中有更好的可伸缩性,实验结果表明,TransMS模型能够灵活地处理多种关系类型,针对拥有更多关系类型的FB15k数据集,TransMS模型有利于预测多对一复杂关系的头实体、一对多复杂关系的尾实体.

最后,尽管以上知识图谱稠密表示方法各有千秋,但总结分析发现它们均采用随机梯度下降的方法更新损失函数的参数.面对海量数据而引起的庞大计算量,以及随机梯度下降法无法得到全局最优值的情况,传统的随机梯度下降法所得知识图谱稠密表示方法并不是特别理想.

3 算法描述

3.1 知识图谱稠密表示方法

训练集S包含三元组(h,r,t),三元组由实体h,实体t和关系r组成,例如三元组(余华,创作,活着),其中余华和活着是三元组的两个实体,创作表示两个实体之间的关系.知识图谱稠密表示的基本思想是关于关系r的函数对应于欧氏空间中嵌入的翻译操作[15],即当h+r≈t时,(h,r,t)成立,三元组基于能量框架的势能函数等于d(h+r,t),定义损失函数L,如公式(1)所示,最后在训练集中最小化损失函数L,实现实体和关系的稠密低维向量嵌入.

(1)

其中S是正确三元组集合,S′是负例三元组集合,γ表示边际超参数,是一个常数,d(h+r,t)是正确三元组的势能函数,d(h′+r,t′)是负例三元组的势能函数,[x]+表示max(0,x).

损失函数L中的势能函数d(h+r,t)为L2-norm,在TransE[4]模型中势能函数如下:

(2)

通过优化特定的距离函数,将实体嵌入到低维稠密向量空间,从而利用实体的坐标计算任意实体间的关系.根据公式(1)与公式(2),三元组中尾实体t的误差函数可表示为:

(3)

将知识图谱稠密表示转换为一个最优化问题,求解尾实体向量t,满足dt=min(d).

(4)

dt,h=‖t-h‖

(5)

(6)

其中头实体h、尾实体t、关系r在欧氏空间中的n维向量分别为(h1,h2,…,hn)、(t1,t2,…,tn)、(r1,r2,…,rn).

(7)

(8)

又因柯西-施瓦茨不等式在n维欧氏空间中表示为:

|(A,B)|≤‖A‖·‖B‖

(9)

其中(A,B)表示A和B的内积,‖A‖和‖B‖是范数.

(A,B)=a1b1+a2b2+…+anbn

(10)

(11)

(12)

正如以上公式所示,柯西-施瓦茨不等式在n维欧氏空间中的范数表示与知识图谱稠密表示中的实体关系之间的距离函数表示相同,因此使用柯西-施瓦茨不等式极小化公式(3),从而得到公式(13),以优化损失函数L,而损失函数L中的势能函数d(h′+r,t′)仍然基于随机梯度下降法优化.

dt≤(dt,h)2+‖r‖·‖r‖-2‖r‖·‖t-h‖

(13)

定义一个M×N的坐标矩阵C用于存储所有实体的坐标向量,其每一行i分别表示训练集中每个实体i的坐标,即C=[…iT…]T,引入一个临时矩阵Z用于存储实体更新后的临时向量和临时函数d′,并定义m×m矩阵L与矩阵LZ,其中m是实体嵌入个数:

(14)

(15)

其中‖t-h‖尾实体t与头实体h的距离,‖Zt-Zh‖是临时矩阵Z中实体t与h的距离,inv定义为:

(16)

则根据柯西-施瓦茨不等式公式(14)可转化为:

(17)

其中C包含实体的向量坐标,CT是矩阵C的转置,Tr是矩阵的秩.

当且仅当LC=LZZ时,d′取极小值.如果将临时矩阵Z表示为坐标矩阵C的估计,则存储实体坐标矩阵C的迭代为[16]:

LC(n+1)=LC(n)C(n)

(18)

其中C(n)是第n伦迭代中矩阵C的取值,C(n+1)是第n+1伦迭代中矩阵C的取值.

结合公式(18)与公式(15)、公式(16),推导出尾实体具体的计算公式为:

(19)

其中|·|运算取集合的势,d表示尾实体t求解时的具体维度.

然而优化三元组(h,r,t)中的头实体和关系时,对公式(1)采用随机梯度下降的方法,某一个头实体h公式有:

(20)

(21)

因此头实体h的参数更新有公式(22):

(22)

本文根据TransE、TransH、TransR中不同的势能函数,分别基于柯西-施瓦茨不等式将知识向量最优化后嵌入低维向量空间.针对TransE模型,基于柯西-施瓦茨不等式的知识图谱稠密表示方法TransE_CS详细的过程如算法1所示:首先将参数S,E,L,γ,k,epochs,batches作为算法的输入,然后算法中的步骤a—c随机初始化三元组的实体和关系[17].步骤d将epochs带入迭代过程中,对随机初始化后的实体向量进行归一化以后,在训练集S随机采样b个三元组获得Sbatch,并带入迭代算法,然后对于Sbatch中每一个三元组,通过替换头实体或者尾实体得到负例三元组,最后采用基于柯西-施瓦茨不等式的方法更新损失函数L的参数,从而得到三元组的实值向量,具体的嵌入过程如算法1.根据算法1同理可得基于柯西-施瓦茨不等式的TransH_CS和TransR_CS的知识图谱稠密表示算法.

算法1.TransE_CS算法

输入:S,E,R,γ,k,epochsandbatches

输出:t,h,r向量

b)R←r/‖R‖ for eachr∈R;

d) forepochinepochsdo

E←e/‖e‖ for eache∈E;

forbatchinnbatchesdo

Sbatch← sample(S,b) //集合S={(h,l,t)}表示训练集

Tbatch←φ

for(h,r,t)∈Sbatchdo

Tbatch←Tbatch∪{(h,r,t),(h′,r,t′)}

end for

for(h,r,t)∈Tbatch

ift∈(h,r,t)andh!=t:

Neighbor(t)←Neighbor(t)+1

t←h+δt,h(t-h)

t←t+1

end for

Update embeddings w.r.t.

end for

end for

3.2 知识图谱稠密表示测试方法

知识图谱稠密表示测试方法的核心思想是利用公式(2)计算三元组的相异度后,并按升序对其排序,从而得到算法度量标准MR(Mean Rank)、Hits@10、MRR(Mean Reciprocal Rank)和Hits@1.

a)MR:正确的三元组相异度在所有测试集中的平均排名;

b)Hits@10:排名前10名中有正确三元组的百分比;

c)MRR:正确的三元组相异度排名的倒数在所有测试集中的平均数;

d)Hits@1:排名前1名中有正确三元组的百分比.

知识图谱稠密表示测试方法如算法2所示:对于测试集T中每一个三元组,步骤a首先移除三元组头部实体,并依次由实体训练结果数据集E中的实体替换得到corrupted_head,再利用模型计算其相异度,步骤b采用同样的方法计算corrupted_tail的相异度.步骤c和步骤d将以上相异度以从低到高的顺序排列后,步骤e表示在相异度排序范围内如果测试三元组的头实体等于负例三元组的头实体,则该负例三元组为正确三元组,随后依次将位于前1位正确三元组的个数、位于前10位正确三元组的个数、所有正确三元组个数、所有正确三元组相异度排名的倒数相加,步骤f同理求得替换尾实体而得的负例三元组中正确三元组个数,最后步骤g—步骤j分别除以测试集T中三元组的个数得到MR、Hits@10、MRR和Hits@1.具体的测试过程见算法2.

算法2.知识图谱稠密表示测试算法

输入:h,t,r向量

输出:MR、Hits@10、MRR和Hits@1

a) forh′∈Edo //E是实体的集合

corrupted_head←(h′,r,t)

rank_head_dict←distance(h′,r,t)

end for

b) fort′∈Edo

corrupted_tail←(h,r,t′)

rank_tail_dict←distance(h,r,t′)

end for

c)rank_head_sorted←sorted(rank_head_dict)

d)rank_tail_sorted←sorted(rank_tail_dict)

e) fori∈range(len(rank_head_sorted))do

ifT[0]∈rank_head_sorted[i][0]:

ifi< 1:

hits1←hits1+1

ifi< 10:

hits←hits+1

rank_sum←rank_sum+i+1

MRR←MRR+1/(i+1)

end for

f) fori∈range(len(rank_tail_sorted)) do

ifT[1]∈rank_tail_sorted[i][1]

ifi< 1:

hits1←hits1+1

ifi< 10:

hits←hits+1

rank_sum←rank_sum+i+1

MRR←MRR+1/(i+1)

end for

g)Hits@10←hits/(2 * len(T))

h)Hits@1←hits1 /(2 * len(T))

i)MR←rank_sum/(2 * len(T))

j)MRR←MRR/(2 * len(T))

4 实验结果与分析

4.1 实验数据来源

本文涉及的实验数据使用和基准知识图谱稠密表示模型相同的数据集:FB15k和WN18.FB15k数据是从Freebase抽取到的一系列三元组,数据集FB15k包含entity2id.txt,relation2id.txt,train.txt,valid.txt,test.txt,其中entity2id.txt,relation2id.txt每一行分别包含了一个实体和关系的标识,剩余文件每一行依次用头实体、尾实体、关系表示三元组.数据集WN18是WordNet的子数据集,其数据集的结构和FB15k类似,FB15k和WN18数据集详情如表1所示.

表1 数据集详情Table 1 Data set details

4.2 实验运行硬件及参数设置

本实验运行于Windows10 64位操作系统环境下,Intel Core i7-8700 CPU,3.2GHz主频,16G RAM,NVIDIA GeForce GTX 2070.

模型参数包括随机梯度下降的学习率λ、边际超参数γ、嵌入维度k和相异度度量d,为了确定模型参数对模型性能的影响,在基于柯西-施瓦茨不等式的知识图谱稠密表示训练方法中,学习率、边际超参数、嵌入维度分别在经典模型TranseE、TransH、TransR的参数选择范围内选择最优参数,由于柯西-施瓦茨不等式适用于L2距离函数,所以相异度度量参数为L2.实验参数选取情况如表2、表3、表4所示.

表2 TransE_CS实验参数Table 2 TransE_CS experimental parameters

表3 TransH_CS实验参数Table 3 TransH_CS experimental parameters

表4 TransR_CS实验参数Table 4 TransR_CS experimental parameters

4.3 实验度量标准

本实验采用平均等级MR、Hits@10、 MRR和Hits@1作为度量标准,其中MR表示知识图谱中实体的平均等级,Hits@10表示排名在前10的有正确实体的比例,MRR表示为正确的三元组相异度排名的倒数在所有测试集中的平均数,Hits@1表示排名在前1的有正确实体的比例,较低的平均等级MR或者较高的Hits@10、MRR、Hits@1意味着模型具有更好的性能.实验度量标准计算过程如上述算法2所示.

4.4 实验对比结果

为了验证模型性能,将本文提出的表示方法分别与TransE模型[4]、TransH模型[3]、TransR模型[2]在FB15k和WN18数据集上对比:

1)TransE将三元组中的头实体h和尾实体t通过平移关系r连接起来,其评分函数是fr(h,t)=‖h+r-t‖.

3)TransR在关系r所在的关系空间中,将三元组中关于规范化向量Mr的头实体h和尾实体t通过平移关系r连接起来,其评分函数是fr(h,t)=‖(hMr+r-tMr)‖.

在相同参数的前提下,其结果与本文提出的基于柯西-施瓦茨不等式的知识图谱稠密表示训练方法运行结果对比如表5所示.其中TransE_CS、TransH_CS、TransR_CS依次表示基于柯西-施瓦茨不等式分别优化TransE模型、TransH模型、TransR模型.

表5 实验结果统计Table 5 Statistics of experimental results

从表5中的实验结果可以看出,针对知识图谱稠密表示TransE模型,本文提出的TransE_CS知识图谱稠密表示训练方法在FB15k数据集中所有实验度量标准均优于TransE,其中MeanRank降低7%,Hits@10、MRR、Hits@1分别提高了17%、30%、60%.在WN18数据集中,Hits@10提升了6%,但是度量标准MR、MRR和Hits@1在该数据集中并不理想,实验结果没有改进.针对TransH模型,本文提出的TransH_CS训练方法在FB15k数据集中Hits@10提高了7%,在WN18数据集中,Hits@10提升了7%,除此之外FB15k数据集和WN18数据集中的其他度量标准均没有得到优化.针对TransR模型,本文提出的TransR_CS训练方法同样没有在所有度量标准中有所改进,在FB15k数据集中Hits@10提高了5%,在WN18数据集中,Hits@10提升了1%,MRR提升了13%,Hits@1提升了3%.

分析表中FB15k数据集与WN18数据集两者中的实验结果发现:因为WN18数据集具有稀疏的结构特性,使得模型训练时没有足够的数据,从而导致模型无法得到充分训练,所以WN18数据集上Hits@10的改进程度均不及FB15k.其次,在FB15k和WN18数据集中,度量标准MR并没有得到相应改进,但是需要注意的是如果固定三元组在向量空间中的位置,即可降低该度量标准,因此度量标准MR实际上并不重要[18].最后,针对TransE、TransH和TransR 3个模型,本文提出的TransE_CS在FB15k上4个度量标准均优于TransE,这是因为TransE模型计算复杂度更低,损失函数构造更简单,由此说明TransE更适合利用柯西-施瓦茨不等式优化知识向量.

另外,相比于WN18数据集FB15k拥有更多的关系,因此本实验将FB15k数据集的关系分为1-1,1-Many,Many-1,Many-Many 4种类型后,依次进行对比实验.

在FB15k的测试集中,给定三元组(h,r,t),首先确定包含r、t的三元组并统计其总数,随后在此基础上统计包含头实体h的三元组个数,以求得h的平均数,若平均数低于1.5,则头实体h的类型为1,否则为Many.同理可求得尾实体t的类型,最终可得三元组(h,r,t)中r的关系类型.通过以上方法可得FB15k的测试集中26.2%为1-1关系类型,22.7%为1-Many关系类型,28.3%为Many-1关系类型,22.8%为Many-Many关系类型.依次在4种关系类型中预测三元组的头实体和尾实体,其hits@10度量标准对比结果如表6所示.

表6 不同关系类型实验结果统计(%)Table 6 Statistics of experimental results of different relationship types(%)

针对FB15k数据集,表6表示了不同关系映射属性的单独评估结果,从实验结果可以看出,与知识图谱稠密表示TransE模型相比,本文提出的TransE_CS知识图谱稠密表示训练方法在所有关系类型的hits@10均优于TransE.对比于TransH模型,本文提出的TransH_CS训练方法除开Many-1关系类型,Hits@10均有所改进.对比于TransR模型,本文提出的TransR_CS训练方法除开Many-Many关系类型,Hits@10均有所改进.

分析表6中的验结果发现:TransE_CS、TransH_CS和TransR_CS训练方法提高了实体和关系之间复杂内在联系的精确度,在TransE_CS的各种关系类型中,hits@10均有提高,但是TransH_CS的Many-1关系类型和TransR_CS的Many-Many关系类型没有改进,这是因为TransE模型计算复杂度更低,损失函数构造更简单,TransE更适合利用柯西-施瓦茨不等式优化知识向量.

总结以上所有实验结果可得:为了提高对比实验的说服力,本文将提出的基于柯西-施瓦茨不等式知识图谱稠密表示训练方法依次与模型TransE、TransH、TransR比较,所得实验结果表明,本文提出的改进方法不仅保持了以上基准模型计算复杂度低、有效处理多关系数据等优点,还提高了以上模型的度量标准Hits@10,尤其在TransE的对比实验中,比较标准MeanRank和Hits@10在FB15k数据集中均优于TransE,实验结果表示本文提出的改进算法在模型的复杂度与知识嵌入表示精确度之间找到了较好的折中点.

5 总 结

知识图谱中实体和关系编码的稠密低维实值向量作为机器学习算法的输入,从而使知识图谱在人工智能领域具有重要的意义与实用价值.为提高知识图谱稠密表示的准确性,本文提出一种知识图谱稠密表示方法.借助传统的知识图谱嵌入模型中的翻译操作,采用势能函数表示实体和关系在向量空间中关系,利用柯西-施瓦茨不等式最小化势能函数等过程,最终在向量空间中表示实体和关系的稠密低维向量.本实验的知识图谱稠密表示方法与传统算法相比较,具有以下优势:与传统知识图谱稠密表示方法保持相同时间复杂度的基础上,提高了知识图谱中实体和关系表示的准确性.

由于现行知识图谱稠密表示将关系和实体嵌入到欧几里得空间,受限于空间维度的限制[19],无法充分体现实体之间的时间相关性.因此下一步的工作中,将着力探索知识图谱稠密表示涉及的实体间时间相关性.