基于WordNet的英语词语相似度计算
的假设的基础上。第二类方法建立在两个词汇具有某种程度的语义相似当且仅当它们出现 在相同的上下文中这个假设的基础上。
基于语义词典的方法通常依赖于比较完备的大型语义词典。一般同义词词典都是将所 有的词组织在一棵或几棵树状的层次结构中。我们知道，在一棵树形图中，任何两个结点 之间有且只有一条路径。于是，这条路径的长度就可以作为这两个概念的语义距离的一种 度量。如 Rada R. etc 和 Lee J.H. etc 通过计算在 WordNet 中词节点之间上下位关系构成的 最短路径来计算词语之间的相似度。有些学者考虑的情况更复杂。Resnik,P.根据两个词的 公共祖先节点的最大信息量来衡量两个词的语义相似度。Agirre & Rigau (1995)在利用 WordNet 计算词语的语义相似度时，除了结点间的路径长度外，还考虑到了其他一些因素。 例如：概念层次树的深度：路径长度相同的两个结点，如果位于概念层次的越底层，其语 义距离较大；概念层次树的区域密度：路径长度相同的两个结点，如果位于概念层次树中 高密度区域，其语义距离应大于位于低密度区域的。由于 WordNet 中概念描述的粗细程度 不均，有些领域概念的描述极其详尽，而有些区域的概念描述又比较粗疏，所以加入了概 念层次树区域密度对语义距离的影响。基于词典的方法比较直观而且简单有效，但它受人 的主观影响比较大有时不能反映客观现实。
WordNet 现在已经发布了 2.0 版本，本文的实验是基于 1.6 版本进行的。Version 1.6 主要
包括名词、动词、形容词和副词四类实词，虚词不予考察。在上述四类实词中，WordNet 着重 描写的是名词和动词。WordNet 中词汇概念的语义关系主要包括：上下位、同义、反义、整体 和部分、蕴含、属性、致使等。WordNet Version 1.6 种描写了四类实词 99643 个概念节点和超 过 5000000 个语义关系，形成了一张庞大的概念语义网络。
3 基于 WordNet 的英语词语词义相似度计算
3.1：本文的工作目标 我们相似度计算的最终目标是要服务于一个实用的英语信息检索系统。在信息检索中，
用户的 query 一般都很短，我们能获得的信息很少。虽然，在英语中我们根据用户的 query 一 般可以判断出检索词的词性。但对于多义词，我们往往无法判断出用户到底想检索含有哪个 义项的文档，比如用户输入“bank”，我们很难判断出用户是想查询关于银行方面的文档还是 查询关于河岸方面的文档。在这儿，我们引入相似度计算的方法，目的是为信息检索提供一 个以检索词为中心按照相似度从高到低排列的相似词语的集合，根据这个集合我们可以向用 户返回检索结果或进行问题扩展。我们的方法区分词语的不同词性，对多义词，我们不区分 它的不同义项，只提供一个基于 WordNet 的相似词语的集合。
Ks=1.5: 同义词特征的权重， Kc=1: 类属特征的权重， Ke=0.5:意义解释的权重，
QU ：出现 wi 的指标集，
Qv ：出现 w j 的指标集
• 词语相似度
∑ ∑ Similarity(W1,W2)
=
i∈{1,..,|SW 1|}
max
j∈{1,..,|SW
(Similarity(SW
基于 WordNet 的英语词语相似度计算
颜伟 荀恩东 北京语言大学 语言信息处理研究所 北京 100083
E-mail: {yanwei,edxun}@ 摘要：本文主要介绍一种基于 WordNet 的英语词语相似度的实现方法，我们从 WordNet 中提取同义词并采取向量空间方法计算英语词语的相似度，我们的向量包括三方面： (1)WordNet 的同义词词集（Synset）(2) 类属信息（Class） (3)意义解释（Sense explanation）。 实验结果表明这是计算英语词语相似度的一种可行的方法。 关键词：WordNet，词语相似度
WordNet 是一个在线的词汇参照系统，它的独特之处在于它是依据词义而不是依据词形来 组织词汇信息。WordNet 使用同义词集合（Synset）代表概念（Concept），词汇关系在词语之 间体现，语义关系在概念之间体现。WordNet 构造的核心是如何表示词汇概念节点，以及在这 些概念节点之间建立起各种语义关系。WordNet 将英语词汇组织为一个同义词集合(Synset)， 每个集合标明一个词汇概念；同时力图在概念间建立不同的指针，表达上下位、同义反义等 不同的语义关系。这样就构成了一个比较完整的词汇语义网络系统。经过这样的过程，原本 抽象的概念就被形式化了，变得具体而且可以通过词汇意义加以操作，概念之间还可以建立 多种语义关系的联系和推理。这是在传统的义素分析法外简单而有效地表达词汇语义的另一 种新的方式和途径。
成语义相似度由高到低的序列。我们的工作目标是研制一个实用的信息检索系统，语义相似
度对于提高信息检索的精确度和召回率都有重要的实用价值。
比如，用户想检索含有“sanctity”的相关文章，但我们的文档中没有这个词，我们就
可以依据相似度计算（见表 1）结果，在相似词序列中按相似度从高到低的顺序检索出相关文 档返回给用户。
× IDF(wi )2 ×
K × IDF(wj )2
i∈QU ,K∈{Ks,Kc,Ke)
j∈Qv ,K∈{Ks,Kc,Ke)
其中：
No(SW): W 意义的顺序。例如，the first sense =1, the second sense =2……
IDF（ wi ）: 从 WordNet 中训练得到的构建 WordNet 时出现某个 wi 的文档的倒数
English Word Similarity Calculation Based
on WordNet
Yan Wei Xun Endong Language Information Processing Center Beijing Language and Culture University Beijing 100083 E-main: {yanwei,edxun}@ Abstract: In our approach, English WordNet is used as the general synonym resource. The algorithm extracts synonym and use vector based method to calculate the English word similarity. The vector includes three kinds of information.(1)WordNet synonym. (2) Class. (3)Sense explanation. It is a feasible way to calculate the similarity of the English words in the experiments. Keywords: WordNet, word similarity
1 引言
随着自然语言处理技术的发展，语义研究，特别是词汇语义研究，成为目前自然语言 处理领域的热点和前沿课题。本文介绍一种基于 WordNet 英语词语相似度计算的实现方 法，希望能对英语词语间语义关系进行一些数量化研究。同时也希望能对中文信息处理及 双语翻译提供一些方法和借鉴。
词语距离的计算方法大体上可以分成两类：一类是根据某种世界知识（ontology）来 计算，主要是基于按照概念间结构层次关系组织的语义词典的方法，根据在这类语言学资 源中概念之间的上下位关系和同位关系来计算词语的相似度。在这方面，许多学者已经基 于 WordNet 做了大量的工作。另一类方法利用大规模的语料进行统计，这种基于统计的方 法，主要将上下文信息的概率分布作为词汇语义相似度的参照。第一类方法建立在两个词 汇具有一定的语义相关性当且仅当它们在概念间的结构层次网络图中存在一条通路这样
人工的排列结果进行比较，结果表明前述方法的计算结果和人工按照语义相似度的排序结果
基本一致。在后续的工作中我们打算把相似度检索结果作为信息检索系统的一个部分，具体
考察词语相似度计算对我们工作的贡献。
语义相似度计算，其单个词与中心词语义相似度的具体取值并不重要，那只是统计意义
上的一个数值，重要的是这些词汇相对于中心词可以依照语义相似度的取值相互比较，并形
在我们的工作方案中，我们首先以 WordNet 的词汇语义分类作为基础，抽取出其中的同 义词，然后采用基于向量空间的方法计算出相似度。工作流程如下：
3.2：基于 WordNet 的英语词语相似度计算
3.2.1：特征提取 我们利用 WordNet 提供的接口函数，从 WordNet 的同义词词集（Synset）、属类词（Class
2|}
1i
,
SW
2
j
)
+
i∈{1,..,|SW
2|}
| SW1 | + | SW 2 |
max
j∈{1,..,|SW
(
1|}
Similarity(SW
2i
,
SW1j )
其中： |SW1|：W1 的 sense 的个数， |SW2|：W2 的 sense 的个数。
4 实验结果及分析
我们对实验结果进行了人工的评价，评价方法主要是对计算得到的语义相似度的序列和
• 意义相似度
∑ ∑ ∑ ∑ ∑ Similarity(SWi , SW j )
=
1
×
No(SWi) × No(SWj)
Ks ×IDF (wi )2
wi ∈{Wsi}∩{Wsj}
K
+
Kc × IDF(wi )2 +
Ke × IDF (wi )2
wi∈{Wci}∩{Wcj}
wi∈{Wei}∩{Wej}
word）和意义解释（Sense explanation）这三个集合中抽取出候选同义词，然后进行特征 ) = {{Ws},{Wc},{We}}
基于中文WordNet的中英文词语相似度计算
基于中文WordNet的中英文词语相似度计算吴思颖;吴扬扬【摘要】介绍一种基于中文WordNet的中英文词语相似度计算方法.在WordNet同义词集的上下位关系图中,引入了距离、密度、深度3个因素来估计同义词集之间的相似度,采用一个自适应的方案来解决候选同义词集组合的权重和取舍问题.实现了一个可以计算英-英、汉-英、汉-汉词语之间相似度的算法,所得结果比较符合人们对词语的理解.【期刊名称】《郑州大学学报（理学版）》【年(卷),期】2010(042)002【总页数】4页(P66-69)【关键词】中文WordNet;词语相似度;语义相似度【作者】吴思颖;吴扬扬【作者单位】华侨大学计算机科学与技术学院,福建,厦门,361021;华侨大学计算机科学与技术学院,福建,厦门,361021【正文语种】中文【中图分类】TP391Wo rdNet是按语义关系组织的,它使用同义词集合代表概念,词汇关系在词语之间体现,语义关系在概念之间体现,一个词语属于若干个同义词集,而一个同义词集又包含若干个词语.由于语义关系是一种词义之间的关系,而词义是用同义词集合来表示,因此很自然地把语义关系看作为同义词集合之间的关系. WordNet中词汇概念的语义关系主要包括上下位、同义、反义、整体和部分、蕴含、属性、致使等不同的语义关系.中文Wo rdNet建立在普林斯顿大学开发的英文Wo rdNet词典的原理基础上,实现了一个约118 000中文词和115 400同义词集的中文-中文词典的功能,是使用了现有的英-汉词典库对英文WordNet中的词进行手工翻译而得到的.它同样也具有同义词、同等词、泛词等在英-英词典中提供的功能.词语相似度的计算方法主要分为两类[1-2]:一类方法称为基于上下文的方法,它利用大规模的语料或词语定义,收集统计数据,来评估词汇语义相似度;另一类是利用词典中的关系和层次结构,如概念之间的上下位关系和同位关系来计算词语的相似度.文献[3]利用了同义词集在WordNet中的最短距离和这条路径的转向次数来计算词语的相似度;文献[4]引入了本体和语料库,以2个同义词集的公共子结点的范围和公共的信息来计算其相似度;文献[1]从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度.但由于Wo rdNet词典的语言限制,它们都局限于英文词语的语义相似度分析.文献[5]讨论了义原的相似度计算方法、集合和特征结构的相似度计算方法,并在此基础上提出了利用《知网》进行词语相似度计算的算法.本文利用中文Wo rdNet,在Wo rdNet同义词集的上下位关系图中,引入了距离、密度、深度3个因素来估计同义词集之间的相似度,用一个自适应的方案来解决候选同义词集组合的权重和取舍问题,设计并实现了一个能计算英-英、英-汉、汉-汉词语之间相似度的算法,所得结果比较符合人们对词语的理解.要计算2个词语之间的相似度,首先需要分别查出这2个词语所属的所有同义词集,并两两组合计算其相似度,最后根据这些同义词集组合的相似度计算出2个词语之间的相似度.下面分别介绍同义词集和词语的相似度计算.在WordNet中,同义词集(synset)之间的上下位关系形成了一个图结构,每个synset有0个或若干个上位和下位synset.因此,基于以下原则来计算同义词集之间的相似度[6]:1)在上下位关系图中,任意2个synset结点的距离越远,语义相似度越小.2)图中结点所处的位置密度越高,说明该局部的词义划分越细,相似度越低.3)在上下位关系图中相同距离的2个synset结点,所处的层次越深,描述的事物越具体,因此相似度越大.引入距离因子、密度因子、深度因子来衡量同义词集之间的相似度.距离因子σ计算公式为其中,lenth为2个synset之间的距离,θ为阈值参数.距离越大,σ值就越小,当距离大于阈值θ时,距离因子为0.密度越大,语义相似度越低.密度的计算可从局部结点的个数入手,具体方法为:分别从2个当前结点出发向上走3层,每一层的结点个数分别记PN1,PN2,PN3.期间2个结点若相遇,则终止,并将其上层结点数计为0,最终计算局部结点个数PN为其中,PN1是当前结点所在层次的结点个数,PN2,PN3依次为其上层结点个数.则密度因子φ为PN值越大表示密度越大,密度因子越小,且PN≥1,使得0<φ≤1.此外,深度越深,语义相似度越大.深度因子ω的计算公式为其中,dep th为该节点的深度,Ed为整棵语义树中所有结点的平均深度.即当结点的深度大于均值时,其深度因子为正,否则为负.综合考虑距离、密度、深度3个因素,则2个同义词集之间的相似度为若sim>1,则取sim=1.-φ和-ω分别为2个词的密度因子和深度因子的均值;α和β分别为密度因子和深度因子的权重.由于每个词语有一个或多个词义(sense),即它属于若干个同义词集,因此采用如下步骤计算2个词语之间的相似度:1)用联合查询语句在中文Wo rdNet词典数据库的各个翻译版本中,查找出被比较的词(英文单词或中文词语)所有可能出现的同义词集的id.2)将中文单词所属同义词集的标识synset_id转换为对应的英文同义词集的synset_id.3)令词a有m个词义(属于m个同义词集),词b有n个词义,即a,b所属的同义词集有m×n对组合.计算这m×n对同义词集的相似度,并排序.4)从大到小排序后,第1对同义词集所占的比重最大,令其权重为ρ,则第2对同义词集所占的权重为剩余比重×ρ,以此类推.设置一个阈值参数δ(0<δ<1),计算过程中仅考虑所有组合的前百分比阈值,如δ=0.3,则仅计算所有同义词集组合相似度最大的前30%.在实际操作中,当同义词集组合个数较多时,常出现1对或前几对同义词集的相似度非常大,因此首对权重ρ不宜过大,否则将失去综合权衡的意义.为了能够综合考虑被选取的同义词集组合的影响力,考虑根据选取的同义词集组合的数量来调节各组合所占的权重.因此,提出了一个根据同义词集组合个数num自适应调节参数ρ的公式,使得ρ∈[0.5,0.9],即当入选的同义词集组合个数num越小,首对同义词集的权重ρ越高(最大0.9),而ρ值随num的增加而递减(最小0.5),计算公式为其中,num=m×n.根据上述方法,实现了一个基于中文WordNet的词语相似度计算程序模块.在实验中,根据多次尝试中取得的经验,将文中提到的几个参数设置如下:距离因子中的阈值参数θ=7;深度因子中所有结点的平均深度经计算得Ed=8.624 3;密度因子权重α=0.1;深度因子权重β=0.1;同义词集组合前百分比阈值δ=0.2,即取相似度最大的前20%的组合考虑.对于词语相似度计算结果的评价,最好是放到实际的系统中(如本课题后期研究的数据空间的进化将利用此结果数据模式进行匹配),观察不同的计算方法对系统性能的影响,在条件不许可的情况下采用人工判别的方法.对比了文献[5]中介绍的同样能计算中文词语相似度的基于《知网》的词汇语义相似度计算方法,对比结果如表1所示,方法1为文献[5]中介绍的方法,方法2为本文介绍的基于中文WordNet的相似度计算方法.对比表1结果,方法2的实验结果与人们的理解比较一致,方法1得到的相似度与人们的理解相对差别大一些.例如,方法1对“论文”、“文章”、“文献”这样词义接近的词汇的相似度估计相差巨大,因为方法1中计算词语相似度时采用了2个词之间各个概念相似度的最大值.而方法2计算结果中,“论文”与“文章”、“文献”的相似度比较接近,都在0.91以上,因为方法2对词语各个概念(同义词集)的各种组合采取了一种动态加权和的办法,能自适应地调整组合之间的权重.本算法的另一个独特之处是兼容中英文双语的相似度计算,表2给出另外一些测试结果.从实验结果可以看出,“父亲”和“father”同为正式用语,相似度高于“父亲”和“爸爸”,而同为口语的“爸爸”和“dad”也有较高的相似度;“中国”和“亚洲”的相似度高于“中国”和“欧洲”也是较为合理的;“猫”直接类属于“动物”,因此“猫”和“动物”的相似度大于“猫”和“狗”的相似度.总体上看,该方法得到的大部分结果是较为准确的.本文主要分析了中文WordNet的体系结构,根据影响词语相似度的距离、密度和深度3个因素,定义了完整的同义词集之间的相似度算法,并采用了自适应的方法对被查词语的同义词集组合进行了取舍和权重定义.最后,实现了一个计算中英文词语相似度的算法,并进行了实验.测试结果表明:本方法得到的结果与人工判别结果基本一致,比基于《知网》的词汇语义相似度计算方法更符合人们的理解.下一步研究将把词语相似度算法应用于数据空间管理系统的进化和检索中,使数据空间的查询结果更为准确有效.【相关文献】[1] 荀恩东,颜伟.基于语义网计算英语词语相似度[J].情报学报,2006,25(1):43-48.[2] Sebti A,Barfrous A A.A new wo rd sense similarity measure inWordNet[C]//Proceedingsof the International M ulticonference on Computer Science and Information Technology.Washinton D C:IEEE Computer Society,2008:369-373.[3] Hirst G,St-Onge D.Lexical chains as rep resentationsof context fo r the detection and correction of malap ropisms[M]// WordNet:an Electronic Lexical Database.Cambridge M A:M IT Press,1998.[4] Resnik ing information content to evaluate semantic similarity in ataxonomy[C]//Proceedingsof the 14th International Joint Conference on A rtificial Intelligence.San Francisco:Mo rgan Kaufmann Publishers Inc,1995:448-453.[5] 刘群,李素建.基于《知网》的词汇语义相似度计算[J].计算语言学及中文信息处理,2002,7(2):59.[6] 张承立,陈剑波,齐开悦.基于语义网的语义相似度算法改进[J].计算机工程与应用,2006,42(17):165-166.。
基于WordNet的概念语义相似度研究
性 、信息搜 寻和捡索 、自动推理和 自然语 言处理。基于该共 享知识本体 ，提出了一种计算两概念语义相似度 的方法。根据该 方法实现 了一个计算程序模块 ，并将计算结果同人类的主观判 断进行 了比较 ，验证 了该 方法的有 效性 。该研 究工作可以在 面
向 Ｗｅ 知识 检 索领 域 中得 到应 用 ，还 可 以 为本 体 的 相 关研 究 提 供 一 定 的理 论 基础 。 ｂ的
其中，ｗｅｇ ｔ是连接 Ｃ． 的最短路径 ．第 条边 的权值 。 ｉｈ￣ Ｃ： ｝ ＝
如果不考虑其它任何因素的影响，也即最简单的情况下，每 条边对语义距离计算的贡献部是相同的，树中两 点的最短路径 距离就是连接它们的最短路径ｔ边的条数。所以起初，我们可以
把 树中所行边的权值都赋ｆ为 １ ｆ ＝ ，即 ｗ ｉｈｆ 。 【 ｅｇ ｔ＝Ｉ
第２ ９卷 第 １ 期 ２
２ ０ 年 Ｊ ０８ ２
湖 南 科技 学 院 学 报
Ｊ ｒ ａ ｆＨ ｕｒｈ Ｕｎｉ ｒ ｉｙｏｆＳｃｅ ｅａ ｄ Ｅｎｇ ｎ ｅｉ ｇ ｏｕ ｎ ｌｏ ｒ ａ ｖｅ ｓｔ ｉｎｃ ｎ ｉ ｅ ｒｎ
Ｖｏ ．９ ＮＯ．２ １２ １ Ｄｅ ． ｏ８ ｃ２ｏ
（ ２ ）
对于一颗树 ｒ的深度 Ｄ ｐｈＴ ，本文定义它 为树 中概念的最 ｅｔ ） （
２ 基于 Ｗ ｒＮｔ的概念语义相似度 ｏｄ ｅ
２ 语 义距 离与语 义相似度 ． １
（） ３
同语义相似度一样 ，语义距离也是语言学中经常提到的一个
其中 ，ｃ为树 Ｔ 中的任一概念 。按照本文 的定义 ，所有从概念 Ｃ
基 于 Ｗ ｒＮ ｔ的概 念 语 义相似 度研 究 ｏｄｅ
李
摘
熙
徐德智
基于知网的词汇语义相似度计算1
我们的工作主要包括： 1. 研究《知网》中知识描述语言的语法，了解其描述一个词义所用的多个义 原之间的关系，区分其在词语相似度计算中所起的作用；我们采用一种更
1 *
+
本项研究受国家重点基础研究计划（973）支持，项目编号是 G1998030507-4 和 G1998030510。 北京大学计算语言学研究所 & 中国科学院计算技术研究所 E-mail: liuqun@ Institute of Computational Linguistics, Peking University & Institute of Computing Technology, Chinese Academy of Science 中国科学院计算技术研究所 E-mail: lisujian@ Institute of Computing Technology, Chinese Academy of Sciences
基于《知网》的词汇语义相似度计算1 Word Similarity Computing Based on How-net
刘群* ﹑李素建+
Qun LIU , Sujian LI
摘要
词义相似度计算在很多领域中都有广泛的应用，例如信息检索、信息抽取、文 本分类、词义排歧、基于实例的机器翻译等等。词义相似度计算的两种基本方 法是基于世界知识（Ontology）或某种分类体系（Taxonomy）的方法和基于统 计的上下文向量空间模型方法。这两种方法各有优缺点。 《知网》是一部比较详尽的语义知识词典，受到了人们普遍的重视。不过，由 于《知网》中对于一个词的语义采用的是一种多维的知识表示形式，这给词语 相似度的计算带来了麻烦。这一点与 WordNet 和《同义词词林》不同。在 WordNet 和《同义词词林》中，所有同类的语义项（WordNet 的 synset 或《同 义词词林》的词群）构成一个树状结构，要计算语义项之间的距离，只要计算 树状结构中相应结点的距离即可。而在《知网》中词汇语义相似度的计算存在 以下问题： 1. 2. 每一个词的语义描述由多个义原组成； 词语的语义描述中各个义原并不是平等的，它们之间有着复杂的关系，通 过一种专门的知识描述的词汇语义相似度计算
词语语义相似度的计算
Outline
Background( aim and related work) Brief Introduction to Hownet •Semantic dictionary Implementation •A knowledge base system Experiment Conclusion
Implementation
Word similarity
– max
Concept similarity
– My method – Refer to Liu method
Sememe similarity
– Three point – Information theory
Word similarity A word may have several meanings, which is called concept in hownet. Hownet gives each concept a definition/ description. E.g. “打”:“打架”，“打太极”，“打猎”
Target:
– the similarity between the two concepts.
That is, How to get integrate similarity by composition similarity.
Concept similarity-Cont1.
Max match. E.g.
Experiment-1
Experiment-2
Experiment-2-cont.
Examples and analyze the difference
– 珍宝<－>宝石（0.130 0.859)
一种基于WordNet语义相似度的改进算法
一种基于WordNet语义相似度的改进算法作者：田姗来源：《数字技术与应用》2013年第08期摘要：随着信息的快速发展，计算词语语义相似度在很多领域得到了广泛应用与研究，包括信息检索，信息抽取，词义排歧，基于实例的机器翻译，文本分类等等。
本文在相关研究的基础上除了考虑路径外考虑了节点所在树中的深度和宽度，提出一种基于WordNet语义相似度的改进算法。
关键词：WordNet 语义距离语义相似度中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2013）08-0113-01语义相似度计算在很多领域都有着广泛的应用，如自然语义处理，信息检索，词义排歧，文本分类以及基于实例的机器翻译等。
随着Internet技术的高速发展，语义相似度成为信息检索研究的重要组成部分。
当前语义相似度计算方法大致可以分为两类：一类是根据世界知识或者某种分类体系的方法来计算，主要是基于按照概念间结构层次关系组织的语义词典的方法，根据在这类语言学资源中概念之间的上下位关系和同位关系来计算词语的相似度；第二类是基于统计的方法，主要将上下文信息的概率分布作为词汇语义相似度的参照。
现有的研究中有的通过词结点之间上下位关系构成的最短路径计算语义相似度，文献[1-2]通过两个词的公共祖先结点的最大信息量计算语义相似度，文献[3-5]通过结合结点间的路径长度，概念层次树的深度，概念层次树的区域密度等因素综合考虑计算语义相似度。
国外很多研究者利用WordNet 中的同义词集组成的树状层次体系结构计算语义相似度。
1 WordNet简介WordNet是由Princeton 大学的心理学家，语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典，它不只把单词以字母顺序排列，而且按照单词的意义组成一个“网络”。
由于包含了语义信息，所以WordNet有别于通常意义上的字典。
WordNet描述对象包括复合词、短语动词、搭配次词、成语、单词，其中单词是最基本的单位。
nltk计算词向量相似度
nltk计算词向量相似度
当使用 NLTK（自然语言处理工具包）计算词向量相似度时，可以使用其中的`word_similarity`函数来实现。
下面是一个示例代码，演示了如何使用 NLTK 计算词向量相似度：
```python
from nltk.corpus import wordnet
from nltk.metrics import word_similarity
# 定义两个词
word1 = "猫"
word2 = "狗"
# 计算词向量相似度
similarity = word_similarity(word1, word2)
# 打印相似度结果
print("相似度:", similarity)
```
在上述示例中，我们首先导入了`wordnet`和`word_similarity`模块。
然后，定义了两个要比较的词`word1`和`word2`。
接下来，使用`word_similarity`函数计算了这两个词的相似度，并将结果存储在`similarity`变量中。
最后，打印出相似度的结果。
需要注意的是，NLTK 的`word_similarity`函数基于 WordNet 词典来计算相似度，它考虑了词的语义关系和词汇层次结构。
然而，该函数仅适用于英文词汇。
如果你要处理其他语言或需要更高级的词向量相似度计算方法，可能需要使用其他的自然语言处理库或工具，如 GloVe、ELMo、BERT 等。
希望这个示例对你有帮助。
如果你有任何进一步的问题，请随时提问。
基于WordNet的英语词语相似度计算
3.1：本文的工作目标 我们相似度计算的最终目标是要服务于一个实用的英语信息检索系统。在信息检索中，
用户的 query 一般都很短，我们能获得的信息很少。虽然，在英语中我们根据用户的 query 一 般可以判断出检索词的词性。但对于多义词，我们往往无法判断出用户到底想检索含有哪个 义项的文档，比如用户输入“bank”，我们很难判断出用户是想查询关于银行方面的文档还是 查询关于河岸方面的文档。在这儿，我们引入相似度计算的方法，目的是为信息检索提供一 个以检索词为中心按照相似度从高到低排列的相似词语的集合，根据这个集合我们可以向用 户返回检索结果或进行问题扩展。我们的方法区分词语的不同词性，对多义词，我们不区分 它的不同义项，只提供一个基于 WordNet 的相似词语的集合。
2|}
1i
,
SW
2
j
)
+
i∈{1,..,|SW
2|}
| SW1 | + | SW 2 |
max
j∈{1,..,|SW
(
1|}
Similarity(SW
2i
,
SW1j )
其中： |SW1|：W1 的 sense 的个数， |SW2|：W2 的 sense 的个数。
4 实验结果及分析
我们对实验结果进行了人工的评价，评价方法主要是对计算得到的语义相似度的序列和
WordNet 现在已经发布了 2.0 版本，本文的实验是基于 1.6 版本进行的。Version 1.6 主要
包括名词、动词、形容词和副词四类实词，虚词不予考察。在上述四类实词中，WordNet 着重 描写的是名词和动词。WordNet 中词汇概念的语义关系主要包括：上下位、同义、反义、整体 和部分、蕴含、属性、致使等。WordNet Version 1.6 种描写了四类实词 99643 个概念节点和超 过 5000000 个语义关系，形成了一张庞大的概念语义网络。
基于语义网计算英语词语相似度
基于语义网计算英语词语相似度
荀恩东;颜伟
【期刊名称】《情报学报》
【年(卷),期】2006(025)001
【摘要】本文介绍一种基于WordNet的计算英语词语相似度的实现方法:从WordNet中提取同义词并采取向量空间方法计算英语词语的相似度.向量包括三方面:(1)WordNet的同义词词集(Synset),(2)类属信息(Class),(3)意义解释(Sense explanation).实验结果表明,这是计算英语词语相似度的一种可行的方法.
【总页数】6页(P43-48)
【作者】荀恩东;颜伟
【作者单位】北京语言大学语言信息处理研究所,北京,100083;北京语言大学语言信息处理研究所,北京,100083
【正文语种】中文
【中图分类】G35
【相关文献】
1.基于边权重的WordNet词语相似度计算 [J], 郭小华;彭琦;邓涵;朱新华
2.基于信息内容的词林词语相似度计算 [J], 彭琦;朱新华;陈意山;孙柳;李飞
3.基于改进TF-IDF的百度百科词语相似度计算 [J], 杨欣;郭建彬
4.基于《知网》的词语相似度计算算法研究 [J], 徐智威
5.基于Word2Vec的WordNet词语相似度计算研究 [J], 陈丹华;王艳娜;周子力;赵晓函;李天宇;王凯莉
因版权原因，仅展示原文概要，查看原文内容请购买。
一种基于《知网》的词语相似度计算方法
收 稿 日期 ： ２ ０ １ ６ － １ ２ — １ ５ 作 者简介 ： 史俊 冰 （ １ ９ ８ ５ 一） ， 男， 山 西 临汾 人 ， 太原学院 ， 硕 士， 研究方 向： 人 工智能。
一
６ ９ —
史俊 冰 ： 一 种 基 于《 知 网》 的 词 语 相 似 度 计 算 方 法
第 １期
筹 。
关 键 词 ：知 网 ； 词语 相 似度 ； 自 然 语 言 处 理
中图 分 类 号 ： Ｔ Ｐ ３ ９
文 献标 识 码 ： Ａ
文章编号 ： ２ ０ ９ ６ — １ ９ １ Ｘ（ ２ ０ １ ７ ） ０ １ — ０ ０ ６ ９ — ０ ４
ＤＯＩ ： １ ０ ． １ ４ １ ５ ２ ／ ． ｃ ｎ ｋ ｉ ． ２ ０ ９ ６ — １ ９ １ Ｘ ２ ０ １ ７ ． ０ １ ． ０ １ ９
检 索 、 机 器 翻 译 等 方 面 都 有 着 重 要 的 作 用 。 文 章 以《 知 网 》 作 为知 识 库 ， 通 过 考虑 义原地 位 的 不 同 ，
采 用 不 同的 计 算 方 法 ， 综 合 得 出词 语 相 似 度 ， 经过 实验验证 ， 此算 法与传 统 算 法相 比 ， 合 理 性 更 胜 一
提 出 了公 式 （ ２ —３ ） ：
ｃ ｓ… Ｓ ， 一
ｚ ｎ ｏ
《 知网》 是 以汉 语 和英语 的词语 所代 表 的概 念为
描述 对象 ， 以揭示 概 念 与 概念 之 间 以及 概 念 所 具 有
引 言
随着 信 息技 术 的发展 ， 信 息检 索 、 机器 翻译 等 应 用 越来 越 得 到广 泛 的应用 。词 语相 似 度是其 重 要 的
基础 。 目前词 语 相 似 度计 算 方 法 主要 有 两 大 类 ： 一 是 利用 大 规模 语料 库 进 行 统 计 ； 二 是基 于某 种 世 界
wordnetsimilarity介绍
本文利用WordNet Similarity 工具包进行词义相似度的计算以下十种相似度计算方法：①Path方法该方法主要依据Rada提出的基于最短路径的相似度度量方法[126]，将两个词义概念在WordNet层次结构树上最短路径长度的倒数作为两者的相似度。
②Hso方法该方法即Hirst与St-Onge所提出的基于词汇链的相似度计算方法[128]，如2.4节公式(2.5)所示。
两个词义概念之间的词汇链越长，发生的转向次数越多，则相似度越低。
③Lch方法该方法由Leacock与Chodorow提出，其对Rada的最短路径方法作了改进，引入了两者在WordNet层次结构树上的深度，如公式(3.2)所示[172]。
其中，表示两个概念在WordNet层次结构树上最短路径的距离，D表示两者在WordNet 概念层次结构树中深度的较大值。
12 (, )dss④Lesk方法该方法即2.4节介绍的Lesk所提出的基于释义重叠的相似度计算方法，将两个词义概念的释义的重合词语数量作为两者的相似度[13]。
⑤Lin方法Lin从信息论的角度来考虑词义概念的相似度，认为相似度取决于不同词义概念所包含信息的共有性（Commonality）和差别性（Difference）[136]。
该方法将相似度定义为公式(3.3)：其中c表示s1与s2在WordNet层次结构树上的最深父结点，P(s)表示任选一个词义概念属于类别s的概率。
⑥Jcn方法该方法由Jiang和Conrath提出，将词义概念层次结构与语料统计数据结合，将基于最短路径的方法[126]和基于概念结点信息量[133]的方法融合，计算方法如2.4节公式(2.12)所示[135]。
⑦Random方法该方法将随机生成数作为两个词义概念之间的相似度，仅作为一种基线对照方法。
⑧Resnik方法该方法为由Resnik提出的基于概念结点信息量的相似度计算方法，根据两个概念所共有的最深父结点的信息量，衡量两者的相似度[133]。