时间:2024-07-28
贾 珺,胡晓峰,贺筱媛
(1.国防大学信息作战与指挥训练教研部,北京 100091; 2.军事科学院运筹所,北京 100091)
网络结构特征与链路预测算法关系研究
贾 珺1,2,胡晓峰1,贺筱媛1
(1.国防大学信息作战与指挥训练教研部,北京 100091; 2.军事科学院运筹所,北京 100091)
以美国航空网络、科学家合作网络和线虫新陈代谢网络等5种实际网络为例进行了综合实验,用结果数据定量化描述了同配系数、集聚系数和网络效率等网络结构特征参数,与基于局部信息和全局信息的两类链路预测方法结果之间的关系。通过对结果的分析,得到了网络同配系数为正且聚集系数大于阈值(约0.1)时适用基于局部信息的预测方法,否则适用基于全局信息的预测方法;以及集聚系数、网络效率与局部信息预测方法的结果成正比,与全局信息预测方法成反比等结论。这些结论为通过网络特征参数进行链路预测方法的选择提供了定量化的参考依据。
链路预测;同配系数;集聚系数;网络效率;预测精度
链路预测是研究如何在已知链路和节点属性等信息条件下,预测未知的链路是否存在、是何类型以及权重多少等问题[1]。从计算机领域的数据挖掘[2-3]到社交网络中的朋友推荐[4-5],从恐怖分子网络中的威胁发现到生物领域中的蛋白质交互[6],链路预测的广泛应用已使其成为了复杂网络研究中的热点领域之一[7]。在实际进行网络的链路预测应用时,面对具体的网络和已有的几十种成熟预测方法,如何快速选择最适合的方法进行预测,以得到较高精度的预测结果,是链路预测应用中要解决的首要问题。
现有的成熟预测方法,可划分为有监督和无监督两类。其中有监督方法一般都是将传统的机器学习与网络特征参数相结合,通过构建相关映射函数来最终实现对链路的预测,此类方法在最近的研究与应用中越来越受到重视[8-10]。但这类方法有个重要的条件,就是一般都需要节点的属性信息,而这种属性信息很多时候是很难获得的[7]。因此,更简单和直观的进行链路预测的就是无监督方法。具体来说就是通过计算节点间的拓扑相似性来进行链路的预测。其中常见的包括基于节点、路径和随机游走等[1,7],同时还有针对整体网络结构进行预测的[11]。在最近的研究中还出现了通过广义聚集系数[15]、网络社团结构[12]以及通过对网络邻接矩阵进行扰动[13]等进行网络预测的。这些方法一般计算复杂度都不高,同时还能获得不错的预测精度。
可以看出,无监督方法主要是从网络拓扑结构的微观、中观和宏观角度出发,进行链路预测的。因此不同预测方法所产生的结果与网络拓扑结构之间可能会存在着某些内在的联系。在链路预测应用时,就可以利用这种联系,通过已知的网络结构,选择相对适用的链路预测方法,得到较好的预测结果。
对于网络拓扑结构的研究,一直是复杂网络研究的基础领域[16-18],而已有的研究更多的是关注于结构对网络整体性能、传播、同步以及网络控制的影响[19-22]。对于不同网络结构与具体链路预测方法之间的关系,则只有对WS和BA两种模型生成网络的参数与预测结果之间关系的初步研究[23],还缺乏以现实中实际网络结构特征为对象的定量化研究。因此本论文以美国政治博客网络(PoliticalBlogs)、美国航空网络(USAir)、科学家合作网络(NetScience)[27]、线虫新陈代谢网络(metabolic)[28]和爵士乐手网络(Jazz)[26]等5个实际网络为例,通过单网络与多网络两类实验,研究了集聚系数、同配系数和网络效率等参数与不同预测算法结果之间的相关关系,发现了同配系数和集聚系数对预测算法选择的关键作用,为今后针对不同网络选择准确率相对较高的预测方法,提供了定量化的参考依据。
1.1 问题描述
为了检验预测函数fi的准确率,通常的做法是将已知网络的链路集E分为训练集ET和测试集EP,使ET∪EP=E且ET∩EP=Φ,使用预测函数可得到一个结果集ER,然后通过专门的评价算法g对ER和EP进行比较,最终得到一个衡量算法准确率的值PScorefi。
1.2 网络结构特征参数
常见的网络结构有规则、随机、小世界和无标度等。为了描述不同网络结构的特征,人们建立了一系列的特征参数,这些参数从不同的侧面将不同结构的网络区分开来。为了达到研究的目的,本论文选用了网络密度(d)、幂指数(α)、联通集团数量(nc)、同配系数(r)、网络效率(e)和集聚系数(C)等6项常见的网络整体指标,作为衡量网络结构特征的参数。
1.3 典型链路预测算法
1) 共同邻居(CN)
共同邻居是最基本的相似性指标,对于网络中不存在链接的节点对x和y,它两个之间具有链接的可能性值取决于两个节点邻居的数量,数量越多,可能性越大。用公式可以表示为
(1)
其中,Sxy即为节点对x和y之间存在链路的定量化表示。
2) 优先链接(PA)
PA这一指标相对与其他指标考虑的因素也较少,因而计算复杂度较低,具体来说对于网络中不存在链接的节点对x和y,它两个之间具有链接的可能性值取决于两个节点度的乘积。用公式可以表示为
(2)
3)Jaccard
Jaccard是完全利用网络节点的局部信息进行链路预测的。具体来说对于网络图中不存在链接的节点对x和y,它两个之间具有链接的可能性值取决于两个节点邻居的交集与邻居的并集之间的比值。用公式可以表示为
(3)
其中,Sxy即为节点对x和y之间存在链路的概率,可以证明0≤Sxy≤1。
4)Adamic-Adar(AA)
AA是通过计算共同邻居的节点情况来进行链路预测的,但是其基本思想是共同邻居的数量越多,同时每个共同邻居节点的度越低,则两点之间存在链接的可能性越大,反之如果共同邻居越少,同时共同邻居节点的度越大,则可能性越低。用公式可以表示为
(4)
5)Katz
S=βA+β2A2+β3A3+…+βLAL
(5)
6) 平均通勤时间(ACT)
(6)
1.4 准确率评价方法
通过链路预测算法得出相应的结果后,就需要对预测结果的准确率进行检验。常见的评判算法准确率的指标有AUC、Precision和RankingScore3种。本论文选用AUC和Precision两个值进行算法精度的评价。
1)AUC
AUC指标主要是从全局角度考虑预测的正确率。具体的计算方法是从测试集EP中随机选取一条链路,然后再随机选择一条不存在的链路,比较这两个链路在结果集ER中的结果值,如果测试集中链路的值大于不存在的链路,那么比较的结果值即为1;若两个值相等,则比较结果记为0.5;若测试集中链路的值小于不存在的链路,则结果记为0。独立的比较n次,若其中有n′次结果为1,n″次结果为0.5,n″′次结果为0,则最终的AUC值可记为
(7)
由式(7)可以看出AUC的取值范围是0≤AUC≤1,若AUC≤0.5说明预测算法的正确率还不如随机选择的正确率高。
2)Precision
Precision主要考虑的是前L个预测结果的正确率。具体来说就是将预测结果集按照预测得到的值进行排序,取前L个预测结果与测试结果集进行比对,如果有l个相同,则预测结果的正确率为两个数的比值。用式(8)可以表示为
(8)
同理,对于不同的预测方法,若AUC值基本相同,则Precision值越高的,预测精度越高(本论文的所有算法中L=100)。
对于网络结构参数和链路预测算法之间关系的分析,需要搭建完整有效的实验环境。那么如何选择能够满足研究要求的工具和平台,以及有代表性的数据集,就成为了实验准备最基本的两个环节。下面分别介绍这两部分的情况。
2.1 工具与平台
现有成熟的复杂网络分析工具包括C语言编写的igraph、C++的Boost Graph Library(BGL)、DotNet平台下的QuickGraph以及Python下的networkx等。其中networkx是目前应用最广泛也是最专业的复杂网络分析工具包之一。它能够创建和操纵复杂网络,并对复杂网络的结构、功能和动力学进行研究,同时networkx还提供了目前相对最完整的复杂网络分析算法集[24]。但由于networkx是使用Python语言编写的,因此其执行效率要远低于前几种基于C或C++的工具包。
鉴于本实验主要关注的是算法的精度和准确度,对效率的要求并不高。同时,由于在计算网络结构时,需要对网络度分布的幂律进行拟合,而这方面现在最权威的分析工具是Python下的powerlaw分析包[25]。因此,本实验的基础平台采用Python2.7,IDE采用pywin32-219,网络分析工具采用2014年9月发布的networkx-1.9.1。
2.2 数据集
实验数据的选择在很大程度上影响着实验结果。为了使本论文的研究更具有普适性和实际应用价值,本论文采用美国政治博客网络(PoliticalBlogs)、美国航空网络(USAir)、科学家合作网络(NetScience)、线虫新陈代谢网络(metabolic)和爵士乐手网络(Jazz)等5种典型的实际网络。这几种网络归属于不同的领域,其规模和形成机理都不一致,具体的网络结构特征参数值如表1所示。5种网络的度分布如图1所示。
在已有实验工具、平台和数据基础上,需要对实验进行合理设计,才能达到系统研究结构特征与预测方法关系的目标。本论文将实验分为两大部分,一是首先对某一单独网络进行实验,考察其结构特征参数值的变化与预测方法之间的关系;然后是多网络实验,具体又分为两种情况。一是考察多个网络不同结构参数值与预测方法之间的关系;二是考察多个网络相近参数值与预测方法之间的关系。在以上实验基础上,通过对结果数据的深入分析,找到网络结构特征参数值与预测方法之间可能存在的联系。
表1 实验对象网络结构特征参数统计Tab.1 the Structure Features of Experiment Networks
图1 实验对象网络度分布图Fig.1 The degree distributions of experiment networks
3.1 单网络结构特征与预测算法关系实验
单网络的结构特征与预测算法关系实验,主要可分为以下几个步骤:
第2步:按照α将对象网络随机分为训练集EP和测试集ET,计算EP的结构参数,并按照指定的链路预测算法进行预测,计算结果正确率。
第3步:重复第二步N次,记录结构参数变化与结果正确率之间的关系,并同时求出在这一比率下结构参数的均值和结果正确率的均值。
第4步:改变α,重复第2、3步,记录不同α下的结构参数值和结果正确率。
本论文选择度分布符合幂律特性的metabolic作为单网络实验的对象,按照上述步骤,分别进行实验。首先进行第1、2、3步实验。设定α=0.1,随机对网络进行抽取,并采用6种方法分别进行预测。重复进行N=25次实验中,抽取的训练集网络结构特征参数值中只有同配系数和集聚系数在随机抽取中会发生比较明显的变化,其余都基本与平均值一致。各参数平均值如表2所示。(同配系数和集聚系数的变化情况如图2所示。)
表2 metabolic训练集网络特征参数均值 (a=0.1)Tab.2 The features’ mean values of metabolic training set at the rate of 0.1
图2 单网络实验中(α=0.1)同配系数与集聚系数变化情况Fig.2 The changing values of training set’s assortativity and clustering in single network experiment (a=0.1)
图3 单网络实验(α=0.1)中6种预测方法的结果精度(AUC)Fig.3 The AUC of six prediction algorithms in single network experiment (a=0.1)
图4 单网络实验(α=0.1)中6种预测方法的结果精度(precision)Fig.4 The precision of six prediction algorithms in single network experiment (a=0.1)
通过实验,6种预测方法分别获得的预测精度值如图3所示。
由图4可以看到,6种预测方法最终的预测精度基本上是围绕各自的一个平均值在上下震动,只是震动幅度不太一致。但明显可以看出Katz的预测精度要好于其他算法。
由图5可以看到,平均聚集系数、平均网络效率、网络密度(上面3个)与训练集中的链路数量变化成正比,平均联通集团数量与其变化成反比,同配性和幂律则基本不变。6种预测方法的预测结果如图6所示。
由图6可以看到,综合考虑两类指标可以看出6种预测算法中Katz和ACT的预测精度要好于另一类算法,说明基于全局信息的算法更适用于此种网络的预测,同时预测精度的变化说明聚集系数、网络密度和网络效率等结构参数与CN、Jaccard等局部算法的预测结果呈正比,与Katz和ACT的预测结果成反比。下面使用多网络实验,测试不同网络结构特征参数与不同预测算法间的关系。
3.2 多网络结构特征与预测算法关系实验
对多个网络的结构特征参数与预测算法之间的关系进行实验,主要可以分为以下几个步骤:
第1步:设定网络分解比率α,按照这一比率对多个对象网络进行分解,并记录训练集的相关结构特征参数值。
第2步:按照给定的链路预测算法,对所有对象网络进行预测,记录预测结果。
第3步:重复第1、2两步N次,求出每个训练集结构特征参数和预测结果的平均值。
第4步:指定某个结构特征参数值,改变对象网络,使其训练集的这一结构特征参数值与指定数值基本相等,然后进行预测实验,记录预测结果。
根据上述步骤,设定网络分解比率α=0.1,按照上面的第3步重复进行N=50次实验,得到各网络按照比率为0.1进行抽取后的训练集网络,其特征参数均值结果如表3所示。
图5 单网络实验(变化)中网络特征参数变化Fig.5 The structure features' values in single network experiment with different ratio
图6 单网络实验(α变化)中6种预测结果的精度Fig.6 The accuracy of three algorithms in single network experiment with different ratio α
表3 5个训练集(α=0.1)网络特征参数均值Tab.3 The averages of five networks training set’s structure features’ mean value (α=0.1)
5种网络分别按照6种典型链路预测方法进行预测,统计后可得,各预测结果的均值如表4所示。
由表4可以看到,不同的网络适用不同的链路预测方法,表中的阴影方格是综合考虑AUC和Precision后的最佳预测结果。从这个结果初步可以看出,当同配系数为正时,基于局部信息的预测算法正确率较高,当同配系数为负时,基于全局信息的预测算法正确率较高。接下来进行第4步,根据前面的实验可以得出,由于网络密度、效率和集聚系数与链路数量的变化成正比,现选择PoliticalBlogs和Jazz两个网络,减少Jazz网络的链路数量,使其结构特征参数逐渐逼近PoliticalBlogs,Jazz的网络密度、集聚系数、网络效率和同配系数随着链路数量减少,其变化如图7所示。
表 4 多网络实验(α=0.1)中6种预测结果均值Tab.4 The six algorithms’ accuracy in multi-network experiment
注:表中加框的为网络对应的最优预测结果。
图7 Jazz网络结构参数均值变化情况Fig.7 The changing of Jazz’s structure features’ mean values
由图7可以看到,当抽取比率为0.5时,Jazz的聚集系数与PoliticalBlogs的相同;当抽取比率为0.7时,Jazz的网络效率与PoliticalBlogs的相同;当抽取比率为0.8时,Jazz的网络密度与PoliticalBlogs的相同;当抽取比率为0.9时,网络的同配系数为负。按照相对应的抽取比率,从0.5开始,分别生成新的网络,然后使用6种预测方法分别进行预测,具体的预测结果如图8所示。
图8 新Jazz网络预测结果变化情况Fig.8 The changing of Jazz’s prediction’s result
图9 网络结构参数与预测算法选择关系Fig.9 The relationship between structure features and prediction algorithms
由图8可以看出,随着网络密度、集聚系数、网络效率等的降低,基于局部信息的预测算法(CN、Jaccard、AA等)明显与这些参数的变化成正比,而基于全局信息的预测算法(Katz、ACT)则并不明显,甚至有时还成反比。当抽取比率大于0.8(新网络的集聚系数大约小于0.1、同配系数小于0)时,基于全局信息的预测算法精度开始优于基于局部信息的优化算法。这再一次证明了同配系数和集聚系数这两个参数对于预测算法的选择起着至关重要的作用。
3.3 结论与分析
根据前面的实验结果,可以初步得到以下结论:
结论1:同配系数的正负和聚集系数的高低两个因素是选择局部或全局算法的关键。由表4可以看出当某个网络的同配系数大于零时,基于局部信息的预测算法(AA等)结果较好;而当同配系数小于零时,基于全局信息的预测算法(Katz)结果较好。同时根据表4和图8还可以看出,当聚集系数较大时,局部信息的预测算法结果较好,当聚集系数小于阈值(0.1)时,即使同配系数为正,基于全局信息的预测算法结果都要优于局部信息的预测算法。因此同配系数、集聚系数与预测算法选择之间的关系可如图9所示。
这一结论主要是因为同配系数和聚集系数从不同角度反映了网络中节点之间的链接情况,若同配系数大于零,说明同类节点存在链接的概率更大,小于零则反之;当聚集系数较大时,说明节点间互相连接情况较多,较小时则相反。因此可以得出,基于局部信息的相似性算法更加依赖网络的聚集性,因此在保证同配系数为正的情况下,网络聚集系数越高基于局部信息的预测结果会越好;而对于全局信息的相似性算法则是依赖更多的长路径,因此在保证同配系数为负的情况下,集聚系数越低则预测精度越高。
结论2:集聚系数和网络效率与局部预测算法的结果成正比,与全局预测算法的结果成反比。由图5、图6和图8可以看出,通过减少训练网络的链路数量,使得集聚系数和网络效率等参数值降低时,局部预测算法的预测精度也同样降低。这一结论是由于基于局部信息的相似性预测算法,主要是通过节点的邻居和度等信息进行节点对的相似性计算,而减少网络链路数量过程中,必然降低节点度和减少节点邻居,这在降低网络集聚系数、网络密度的同时,也降低了相似性算法中节点对的值,因此必然降低预测精度。而在全局预测算法中,计算主要使用的是各种长度的路径。在不同的网络中,更低的集聚系数或者网络效率意味着网络中相对存在着更多更长的路径,而这种长路径的存在会导致预测算法结果的增大。因此使得聚集系数和网络效率与预测结果之间呈现出反比。这一情况在图4或表5、6中也可以看到,由于链路数量的减少,降低了集聚系数和网络效率,同时使得网络中长路径相对增加,使得Katz算法的结果下降趋势明显小于其他两种算法。
本文通过CN、Jaccard、PA、AA、Katz和ACT 6种预测方法在PoliticalBlogs、 USAir、NetScience、metabolic和Jazz等5种实际网络上的两类实验,发现并证明了网络的同配系数、集聚系数和网络效率与不同类型的预测方法结果精度之间的关系,为今后链路预测应用中方法的选择提供了定量化的参考依据。
但还是要看到,以上的结论还是比较粗略的。这是由于在网络特征结构方面,本文所选择的同配系数、集聚系数和网络效率等参数之间相互影响,是否能通过一个单一的网络结构参数确定预测方法还需要进行更进一步的实验。在预测方法的选择方面,本文的预测方法仅仅局限于无监督方法中常见的局部和全局信息两类,对于一些中观角度出发的基于社团结构和广义聚集系数等还未进行相关关系的分析。这也是导致实验中某些网络的最佳预测结果并不令人满意的原因。同时,现在更多的预测方法是通过引入机器学习的有监督方法,逐步通过回馈调整预测算法中的某些参数,使预测结果达到最佳。如何将两者关系与有监督方法相结合,通过提高机器学习的效率最终提高预测精度,也是下一步需要深入研究的内容。
[1]Al Hasan M,Zaki M J.A survey of link prediction in social networks[M].Social network data analytics,Springer US,2011:243-275.
[2]Sarukkai R R.Link prediction and path analysis using markov chains[J].Computer Networks,2000,33(1):377-386.
[3]Getoor L,Diehl C P.Link mining:a survey[J].ACM Sigkdd Explorations Newsletter,2005,7(2):3-12.
[4]Liben-Nowell D,Kleinberg J.The link prediction problem for social networks[J].Journal of the American Society for Information Science and Technology,2007,58(7):1019-1031.
[5]Dong Y,Tang J,Wu S,et al.Link prediction and recommendation across heterogeneous social networks[C]// 2012 IEEE 12th International Conference on Data Mining.2012:181-190.
[6]Cannistraci C V,Alanis-Lobato G,Ravasi T.From link-prediction in brain connectomes and protein interactomes to the local-community-paradigm in complex networks[J].Scientific Reports,2013,3(4):1613.
[7]Lü L,Zhou T.Link prediction in complex networks:a survey[J].Physica A:Statistical Mechanics and Its Applications,2011,390(6):1150-1170.
[8]Al Hasan M,Chaoji V,Salem S,et al.Link prediction using supervised learning[J]//Proc of Sdm Workshop Link Analysis Counterrorism & Security,2005,30(9):798-805.
[9]Miller K,Jordan M I,Griffiths T L.Nonparametric latent feature models for link prediction[J]//Advances in Neural Information Processing Systems.2009:1276-1284.
[10]Fire M,Tenenboim L,Lesser O,et al.Link prediction in social networks using computationally efficient topological features[C].Privacy,Security,Risk and Trust (PASSAT) and 2011 IEEE Third Inernational Conference on Social Computing (SocialCom),2011 IEEE Third International Conference on.IEEE,2011:73-80.
[11] Clauset A,Moore C,Newman M E J.Hierarchical structure and the prediction of missing links in networks[J].Nature,2008,453(7191):98-101.
[12] Ding J,Jiao L,Wu J,et al.Prediction of missing links based on multi-resolution community division[J].Physica A:Statistical Mechanics and Its Applications,2015,417:76-85.
[13] Lü L,Pan L,Zhou T,et al.Toward link predictability of complex networks[J].Proceedings of the National Academy of Sciences,2015,112(8):2325-2330.
[14] Liu H K,Ln L Y,Zhou T.Uncovering the network evolution mechanism by link prediction[J].Sci Sin Phys Mech Astron,201l,41:816-823
[15] Huang Z.Link prediction based on graph topology:the predictive value of generalized clustering coefficient[J].Social Science Electronic Publishing,2010:1634014.
[16] Milward H B,Provan K G.Measuring network structure[J].Public Administration,1998,76(2):387-407.
[17] Newman M E J.The structure and function of complex networks[J].SIAM Review,2003,45(2):167-256.
[18] Newman M J.The structure of scientic collaboration networks[J].Proc of the National Acad of Sciences,2001,98(2):404-409.
[19] Lazer D,Friedman A.The network structure of exploration and exploitation[J].Administrative Science Quarterly,2007,52(4):667-694.
[20] Reagans R,McEvily B.Network structure and knowledge transfer:the effects of cohesion and range[J].Administrative Science Quarterly,2003,48(2):240-267.
[21] Wagner C S,Leydesdorff L.Network structure,self-organization,and the growth of international collaboration in science[J].Research Policy,2005,34(10):1608-1618.
[22] Jalili M,Sichani O A,Yu X.Optimal pinning controllability of complex networks:dependence on network structure[J].Physical Review E,2015,91(1):012803.
[23] Ahn M W,Jung W S.Accuracy test for link prediction in terms of similarity index:the case of WS and BA models[J].Physica A:Statistical Mechanics and Its Applications,2015.
[24] Schult D A,Swart P J.Exploring network structure,dynamics,and function using NetworkX[C].Proceedings of the 7th Python in Science Conferences,2008:11-16.
[25] Alstott J,Bullmore E,Plenz D.Powerlaw:a python package for analysis of heavy-tailed distributions[J].PLoS One,2014,9(1):e85777.
[26] Gleiser P M,Danon L.Community structure in jazz[J].Aduances in Complex Systems,2003,6(4):565-573.
[27] Newman M E J.Finding community structure in networks using the eigenvectors of matrics[J].Physical Review E,2006,74(3):036104.
[28] Watts D J,Strogatz S H.Collective dynamics of small-world networks[J].Nature,1998,393(6684):440-442.
(责任编辑 耿金花)
On the Relationship Between Network Structure Features and Link Prediction Algorithms
JIA Jun1,2,HU Xiaofeng1,HE Xiaoyuan
(1.The Department of Information Operation Command Training,National Defense University,Beijing 100091,China; 2.The Department of Graduate,National Defense University,Beijing 100091,China)
This paper experimented with five virtual networks,such as the Air network of US,the Coauthorship network of Scientists,the Neural network of the nematode C,etc.and quantified the relationship between the network structure features and the link prediction algorithms by the experiment’s data.The network structure features could be measured by assortativity coefficient,clustering coefficient,etc.and the link prediction algorithms could be divided into local-information based and global-information based.After analyzed the data,we found that if the value of network’s assortativity coefficient is positive and the value of network’s clustering coefficient is greater than the threshold which is about 0.1,the local-information based would be the better choice,otherwise the global-information based would be better.And the clustering coefficient and the network efficiency is proportional to the result of link prediction algorithms based local information and is reverse proportional to the result of algorithms based global information.These conclusions provide quantitative basis for selecting the right algorithm.
link prediction; assortativity coefficient; clustering coefficient; network efficiency; accuracy of prediction
1672-3813(2017)01-0028-10;
10.13306/j.1672-3813.2017.01.005
2015-04-07;
2015-10-11
国家自然科学基金 (U1435218,61174035,61273189,61374179)
贾珺(1981-),男,陕西西安人,博士研究生,助理研究员,主要研究方向为军事运筹学。
TP391.9
A
我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!