基于《知网》词语相似度计算
词语相似度计算

词语相似度计算[原创]当事物可以计算的时候就产生了智能----Alert一、词语相似度词义相似度计算在很多领域中都有广泛的应用,例如信息检索、信息抽取、文本分类、词义排歧、基于实例的机器翻译等等。
国内很多论文主要是基于同义词林和知网来计算的。
本文的词语相似度计算是基于《同义词词林》的。
二、同义词林介绍《同义词词林》是梅家驹等人于1983年编纂而成,这本词典中不仅包括了一个词语的同义词, 也包含了一定数量的同类词, 即广义的相关。
《同义词词林》的编写年代久远,之后没有更新。
哈工大花费了大量的人力物力完成了一部具有汉语大词表的哈工大信息检索研究室《同义词词林扩展版》,《同义词词林扩展版》收录词语近7万条。
原版的《同义词词林》目录如下:哈工大《同义词词林扩展版》保留《同义词词林》原有的三层分类体系,并在此基础上对词语继续细分类,增加两层,得到最终的五层分类体系,这样词典中的词语之间就体现了良好的层次关系,如下图表示的词语树形结构:例如:“东南西北”的编码为Cb02A01=C是第1层、b是第二层、02是第三层、A是第四层、01是第五层,=号有特殊的意义。
词语的编码规则如下:表中的编码位是按照从左到右的顺序排列。
第八位的标记有3种,分别是“=”、“#”、“@”, “=”代表“相等”、“同义”。
末尾的“#”代表“不等”、“同类”,属于相关词语。
末尾的“@”代表“自我封闭”、“独立”,它在词典中既没有同义词,也没有相关词。
三、词语相似度定义1 语义相似度。
给定两个词汇w1和w2,它们之间的相似度通过 Sim(w1,w2):S*S->[0,1],表示集合S中的两个词汇w1和w2的相似程度。
简单的说相似度函数是个值域在[0,1]间的函数。
本文的计算公式参考了《基于同义词词林的词语相似度计算方法》一文,相似度函数计算公式如下:若两个义项的相似度用Sim表示,n表示所在分枝层分支数,k表示两个分支间的距离。
1.若两个义项不在同一查树上:Sim(A,B) = f如:人 Aa01A01=和 实物 Ba01A01=2.若两个义项在同一查树上:1)若在第2层分支Sim(A,B) = a*cos(n*pi/180)*[(n-k+1)/n]如:人 Aa01A01= 和 少儿 Ab04B01=由于A开头的编码个数为1309个,所以n=1309;在第2层,人的编码是a,少儿的编码是b所以k=12)若在第3层分支Sim(A,B) = b*cos(n*pi/180)*[(n-k+1)/n]如:人 Aa01A01= 和 老弟 Aa03A03=Aa开头的编码个数为55个,所以n=55;第3层人的编码为01,老弟的编码为03,所以k=23)若在第4层分支Sim(A,B) = c*cos(n*pi/180)*[(n-k+1)/n]4)若在第5层分支Sim(A,B) = d*cos(n*pi/180)*[(n-k+1)/n]a、b、c、d、f参数由实验测得,程序里使用的参数如下:a=0.65、b=0.8、c=0.9、d=0.96、f=0.1一个词可能有多个编码,相似度的计算取最大值,如:词语“骄傲”的编码有“Da13A01”,“Ee34D01”;“仔细”的编码有“Ee26A01”,“Ee28A01”。
一种改进的基于知网的句子相似度计算方法

主观题 自动 批 改 是 在线 考 试 系 统 中 的关 键 技术 。
由于 主观题 的答 题 特 点呈 现 出复 杂性 , 目前 还 没 有 一 种考试 系统 能较好 地完 成 自动批改 。主观题 的 自动 批
结合 的方 法等 J 。该方 法仅 从 句子 的表 层 结构 信 息
进行 匹 配而忽 略 了语句 语义分 析 , 在局 限 性 , 响 了 存 影 自动批改 的准 确度 。因此文 中提 出 了一 种新 的基 于 知
An I p o e n e e S m ia iy Ca c l to M eho s d o o nn t d Ba e n H w- t
L n k i XU a la g IYi g a , Xio in
( col f o p t c n e aghuD az U i rt,H nzo 10 8 h a Sho o m ue Si c ,H nzo i i n e i C r e n v sy aghu30 1 ,C i ) n
Ab ta t I r e o o ec me t ee t fifr ain r d nd n y i tree c d lcl o tmu o e — sr c n o d rt v r o he d fcs o nom t e u a c nefr n e a o a p i m fs n o n tn e smia t ac lto a e n lxc li m , t i p p rp o o e e s n e c i lrt ac lto t o e c i lr y c uain b sd o e ia t i l e hs a e rp s sa n w e tn e smi i c luain meh d a y
基于《知网》的词语语义相似度改进及应用

方 法 。 中词 语 间 相似 度 的计 算 , 要 是 基 于按 照 词 语 问结 构 层 点 的最 短 路 径 的 长度 一 言 学 研究 认 为 . 个 义 原 的语 义距 离 越 文 主 语 两 次 关 系组 织 的 语 义词 典 的方 法 .根 据 在 这类 语言 学 资 源 中词 语 大 , 相 似 度越 低 : 之 , 其 反 两个 词 语 的 语 义 距 离越 小 , 其相 似 度 越
描 述 词 语 的最 基本 单 位 .另一 方 面 .义 原 之 间 又存 在 复 杂 的关 系 。 《 网》 , 在 知 中 一共 描 述 了义 原 之 间 的 8 关 系 : 下 位 关 系 、 种 上 同义 关 系 、 义 关 系 、 义关 系 、 性 一 主 关 系 、 件 一 体 关 反 对 属 宿 部 整 系 、 料一 品 关 系 、 材 成 事件 一 色关 系 。 以看 出 , 原之 问组 成 的 角 可 义 是 一个 复 杂 的 网状 结 构 。 而不 是 一 个 单 纯 的 树状 结 构 。不 过 , 义
1 词语 语 义 相似 度 的 计算 、 设 L 为义 原 P在 词 语 树 中 的深 度 , 距 离 初 始 阈 值 , l Y为 x为 与传 统 的 语义 词 典不 同 ,知 网》 采 用 了 l0 《 5 0多 个 义 原 , 通 满 足 不 等 式 ia ( ) y n x L < / 立 的 一 个 正 实 数 , p 与 其 父 结 点 x成 则 i 过 一 种 知识 描 述 语 言来 对 每个 词 语 进 行 描 述 义原 一方 面作 为 的 距离 定 义 为 :
目前 , 于 语 义相 似 度 的 计 算 主要 分 为两 种 : ) 语 信 息 量 对 1词
从 语 距 离法 . 计 算 两 词 语 的 语 义 距 离 . 后 转 化为 语 义相 似 度 。 转 换 为 相似 度值 , 而 计 算 词语 词 语 的 相 似度 。 先 然 本 文在 研 究 了大 量 文 献后 .提 出 了综 合 利 用 现 代 汉 语 语义 分类 12 1义 原 距 离 .. 词典 的类 层次 关 系 中 的多 种影 响 因素 来 计 算 词 语 问 的相 似 度 的 两 个 义 原之 间的 语 义距 离 .是 指 在义 原树 中连 接这 两个 节
基于马尔科夫模型的词汇语义相似度计算

D F= {atl 件 : atoio E pr 部 PrP si tn= {er I hat
机变量 X( ) 已知条件 : t) lX(2 = t在 X( 1 = , t)
收 稿 日期 :2 0 —0 —2 09 9 1 作者简介 :皮慧娟(9 1 , , 17 一) 女 湖北鄂州人 , 华侨大学实验师 , 硕士 .
网》 系统 中义原除 了上下位关 系还有很多其他关 系 , 文只讨 论上 下位关 系 . 本 2 2 利 用马 尔科 夫 模型 计 算树 状 结构 的义 原体 .
系相似 度
2 2 1 关 系义 原 的计算 ..
词语 的 D F的义原分 为两 大类 : E 基本 义原 和 关 系义 原 . 笔者认为只有在关系义原相 同的条件下 才去计算 关系义原下的子义原之间 的相 似度 , 如果
心 }w o ={ ty实体 } , hl e i f e nt }
6
沈
阳
大
学
学
报
第2 2卷
其中, NO. 是概 念 编号 , — G— E— w C、 C、 C分 别 是 汉 语词语 、 词性 和 例子 . — G— w E、 E和 E— E分 别 表 示 英 语 的词 语 、 词性 和 例 子 . E D F表 示 的是 概 念 的 定 义 , 达 了 主要 的信 息 . E 表 D F可 看 成 一个 树 状 的结 构 , 图 1所 示 . 中包 含 义原 : 件 、 如 其 部
t,1 2 t): F( tl , x, t).
() 1
则称 此过 程为 马尔科 夫过 程[ .
12 知 . 网
义距离的一种度量 . 王斌采用这种方法利用《 同义 词词 林》 计 算 汉 语 词 语 之 间 的相 似 度n . 些 来 ]有
中文词语语义相似度计算_基于_知网_2000

《知网》的 基本形式是对中 文词语的释义 和描 述。与一般的语义词典如 Wordnet 不同的地 方有 两点:
第一, 词语( 概念) 的意义不是通过一些其他的 常用词语来解释、说明, 而是通过 / 义原0来描述、定 义。比如/ 打0 ( 打篮球, 打太极) , 这个词有一 项描 述是:
DEF = exer cise| 锻炼, spo rt| 体 育
DEF = human | 人, # occu-
医生 pation| 职位, * cure | 医治, *
medica l| 医
患者
DEF= human| 人, * SufferFr om| 罹患, $ cur e| 医治
$
obtain | 得 到, po ssession = 得利 pros| 益( 注: 等号左边为/ 动 =
%
颜色
DEF= attr ibute| 属性, color | 颜色, & physical| 物质
&
布
DEF= mater ial| 材料, ? clo thing | 衣物
?
DEF= Inst itutePlace | 场所,
医院 @ cure | 医 治, # disease| 疾 @
病, medical| 医
见表1从表1的例子中可以看出知网义原加标识符来定义词语的方式不但给出了词语的语义信息比如医院0是医疗场所也显式地给出了概念之间的联系比如医治0的实施者是医生0受事者是患者0而地点是医院0
一种基于《知网》的文本语义相似度的计算方法

造成 了文本 向量 的表 示 空 间难 以有 效 地 降维 。2 ) 由于不 同的文 本 可 能采 用 不 同 的词 汇 来 表 示 相 同
概念 , “ 一对 一” 的匹 配方法 在处 理 时就 显得 无 能 为 力 了¨ 6 ] 。特别 是 同义词 和 近义 词不 能 识别 , 造 成 了 聚类 的误 差 。例 如 : 文本 1 : 土 豆 盛 产 于 中 国 。文
总第 2 9 2期 2 0 1 4年第 2期
计算 机与数字工程
Co mp u t e r&. Di g i t a l En g i n e e r i n g
Vo 1 . 4 2 No . 2
1 87
一ห้องสมุดไป่ตู้
种 基 于 知 网 的 文本 语 义 相 似 度 的计 算 方 法
孙 滨 刘 林
4 5 1 1 0 0 ) ( 郑州华信学 院信息工程 系 郑州
摘
要
论文提 出一个基于语义 的文本 问的相似度算法 , 以文本 的特征词 相似度为基础 , 来计算文本 间的相似度 , 利用
聚类算法对文本簇进行 聚类 。实验结果证 明基于知 网的文本语义相似度方法在对文本相似度计算 以及文本 聚类方面 , 能有 效提 高聚类 的效果 。 关键 词 文本 聚类 ; 义原相似度 ; 语义相似度
Ab s t r a c t A s i mi l a r i t y a l g o r i t h m b a s e d o n s e ma n t i c s i mi l a r i t y i s p r o p o s e d ,wh i c h c a l c u l a t e s t h e s i mi l a r i t y o f t e x t s a c — c o r d i n g t O f e a t u r e wo r d s o f t h e t e x t a n d ma k e s t e x t c l u s t e r s b y e mp l o y i n g c l u s t e r i n g a l g o r i t h m. Th e e x p e r i me n t a l r e s u l t s p r o v e t h a t t h e me t h o d o f t e x t s e ma n t i c s i mi l a r i t y b a s e d o n CNKI i S v e r y e f f i c i e n t i n t e x t s i mi l a r i t y c a l c u l a t i o n a n d t e x t c l u s t e — r i n g ,wh i c h c a n e f f e c t i v e l y i mp r o v e t h e e f f e c t o f c l u s t e r i n g . K e y Wo r d s t e x t c l u s t e r i n g ,p r i mi t i v e s i mi l a r i t y,s e ma n t i c s i mi l a r i t y Cl a s s Nu mb e r TP 3 9 】
使用网络搜索引擎计算汉语词汇的语义相似度

使用网络搜索引擎计算汉语词汇的语义相似度高国强;黄吕威;陈丰钰【摘要】Similarity computation of Chinese words is a key problem in Chinese information processing. It measures semantic similarity between Chinese words using the information returned by web search engines. First,implement a model named WebPMI which computes similarity using page counts,and then,describe another model named CODC which analyzes semantic similarity using text snippets. Final-ly,present the algorithm based on the two models. Experimental results show that this algorithm outperforms all the existing web-based semantic similarity measures for Chinese,and is close to the traditional semantic similarity measures using lexicon.%汉字词语的语义相似度计算是中文信息处理中的一个关键问题。
文中利用网络搜索引擎提供的信息来计算汉语词对的语义相似性。
首先通过程序访问搜索引擎,获取汉字词汇的搜索结果数,并依此实现了相似度计算模型WebPMI;然后描述了根据查询返回的文本片段进行语义相关性分析的模型CODC;最后,结合这个两个模型,给出了文中算法的伪代码。
矿产

矿产资源开发利用方案编写内容要求及审查大纲
矿产资源开发利用方案编写内容要求及《矿产资源开发利用方案》审查大纲一、概述
㈠矿区位置、隶属关系和企业性质。
如为改扩建矿山, 应说明矿山现状、
特点及存在的主要问题。
㈡编制依据
(1简述项目前期工作进展情况及与有关方面对项目的意向性协议情况。
(2 列出开发利用方案编制所依据的主要基础性资料的名称。
如经储量管理部门认定的矿区地质勘探报告、选矿试验报告、加工利用试验报告、工程地质初评资料、矿区水文资料和供水资料等。
对改、扩建矿山应有生产实际资料, 如矿山总平面现状图、矿床开拓系统图、采场现状图和主要采选设备清单等。
二、矿产品需求现状和预测
㈠该矿产在国内需求情况和市场供应情况
1、矿产品现状及加工利用趋向。
2、国内近、远期的需求量及主要销向预测。
㈡产品价格分析
1、国内矿产品价格现状。
2、矿产品价格稳定性及变化趋势。
三、矿产资源概况
㈠矿区总体概况
1、矿区总体规划情况。
2、矿区矿产资源概况。
3、该设计与矿区总体开发的关系。
㈡该设计项目的资源概况
1、矿床地质及构造特征。
2、矿床开采技术条件及水文地质条件。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
基于《知网》的词语相似度计算
[摘要]词语相似度计算是计算机中文处理中的基础和重要环节,目前基于《知网》的词语相似度计算是一种常见的方法,本文将对该方法做系统介绍。
[关键词]《知网》词语相似度计算
一、《知网》的结构
《知网》(hownet)是我国著名机器翻译专家董振东先生和董强先生创建的,是一个常识知识库,它含有丰富的词汇语义知识以及世界知识,内部结构复杂。
《知网》中两个最基础的概念是“概念”和“义原”。
“概念”是用来描述词语语义。
因为一个词可以含有多个语义,所以一个词需要多个概念来描述。
使用“知识表示语言”对概念进行描述,“知识表示语言”使用的“词汇”便是义原。
《知网》中的不可再分的、最小的意义单位是“义原”,义原用来描述“概念”。
《知网》采用的义原有1500个,它们一共可以分为十类,具体见图1。
知网反映了概念之间、概念属性之间各种各样的关系,总体来说知网描述了16种关系:
上下位关系;同义关系、反义关系、对义关系;部件-整体关系;属性-宿主关系;材料-成品关系;施事/经验者/关系;主体-事件关系;受事/内容/领属物等事件关系;工具-事件关系;场所-事件关系;时间-事件关系;值-属性关系;实体-值关系;事件-角色关
系;相关关系。
由《知网》的结构得知义原之间组成的不是一个树状结构,而是一个复杂的网状结构。
然而义原关系中最重要的是上下位关系。
所有的“基本义原”以这种上下位关系为基础构成了义原层次体系,叫做义原分类树。
在义原分类树中,父节点义原和子节点义原之间具有上下位关系。
可以通过义原分类树来计算词语和词语之间的语义距离。
二、知网的知识词典
知识词典是知网中最基本的数据库。
在知识词典中,每一个概念(概念又称为义项)可以用一条记录来描述。
一条记录含有八项信息,每一项由用“=”连接的两个部分组成,等号左边表示数据的域名,右边是数据的值。
比如下面就是一条描述概念的记录:
no=017114
w_c=打
g_c=v
e_c= ~乒乓球,~篮球
w_e=play
g_e=v
e_e=
def=exercise|锻炼,sport|体育
其中,no表示概念的编号,w_c表示汉语词语,g_c表示汉语词语的词性,e_c表示汉语词语例子,w_e表示英语词语,g_e则表示
英语词语词性,e_e表示英语词语例子,def表示概念的定义,通过一个语义表达式来描述。
需要强调的是,def项包含若干个相应的义原以及这些义原与主干词之间的语义关系。
def项是知网的核心,不可以为空,必须填写内容。
def项的起始位置,必须用来描述知网中规定的主要义原。
鉴于知网的组织关系,本文的相似度计算按照以下步骤完成:先计算义原的相似度;在此基础上计算词语的相似度。
三、基于《知网》的义原相似度计算
在《知网》中,依据上下位关系,所有的义原构成了一个树状层次结构,可以根据两个义原之间的路径长度来计算其相似度。
即根据上述树形图中,两个结点之间的路径长度来表示这两个义原的语义距离。
本文将两个义原分别记为pl、p2,将它们的语义距离记为d,p1和p2两个义原的相似度记为sim(p1,p2),相应的公式如下:sim(p1,p2)=ad+a
其中,d表示两个义原p1和p2的路径长度,a是一个调节参数,本文取相似度为0.5时的路径长度(d)的值。
sim(pl,p2)取值在[0,1]之间。
在这里,本文只利用了义原的上下位关系来计算义原相似度。
四、基于《知网》的词语相似度计算
基于《知网》的词语相似度研究已经比较成熟。
刘群等提出了一种基于《知网》的词语相似度计算方法,下面对此进行介绍。
汉语词语可以分为实词和虚词,本文做如下约定:在文本中实词
和虚词不能互相代替,即实词和虚词的相似度是零。
计算虚词的相似度就比较简单,计算用来描述虚词的关系义原之间、或者句法义原之间的相似度就可以了。
实词则不同,它需要使用语义表达式进行描述,所以实词的相似度计算难度就比较大。
本文使用实词定义项中义原和义原之间的相似度,来描述实词与实词之间的相似度。
本文选择描述这两个实词的概念之间的最大相似度作为这两个实词之间的相似度。
概念通过义原进行描述,实词概念的语义表达式由四部分组成,它们分别是第一独立义原描述式,其他独立义原描述式,关系义原描述式和符号义原描述式。
本文把这些义原描述式的相似度分别记为:sim1(s1s2sim2(s1s2
sim3(s1s2sim4(s1s
2
由此,两个概念s1s2
如下:
sim(s1s2)=
其中,βi(1≤i≤4)是可以调节的参数,代表每一部分的权重,且有β1+β2+β3+β4=1,β1≥β2≥β3≥β4。
由于第一独立义原描述式sim1可以反映一个概念的最主要特征,所以本文将它的权值定义得比较大,一般应大于0.5。
sim1到sim4各部分相似度的计算方法如下:
1)对于第一独立义原描述式:利用公式1计算两个义原的相似
度即可,方法比较简单;
2)对于其他独立义原描述式:计算相对复杂,需要对相应义原进行分组,步骤如下:(1)两个概念各自有一个其他独立义原集合,对这两组义原相互之间进行任意配对,并且计算出每一对义原的相似度;(2)将当前相似度最大的一对义原从各自的集合中取出(不再属于原集合),归入一个集合;(3)重复第(2)步,直到所有的其他独立义原完成归类。
(4)根据开始时两个概念各自的独立义原集合的大小,以及后来得到的新集合,来计算sim2;
3)对于关系义原描述式:这一部分仍然是一个集合运算问题,需要将关系义原相同的描述式进行统一归组,再计算其相似度;4)对于符号义原描述式:这一部分的计算与关系义原描述式有些相似,只有在符号相同的前提下,再计算配对义原的相似度。
最后,把上述四个相似度计算结果进行加权求和,便可以得到两
个概念之间的相似度。
假如有两个词语分别为w1w
2w1n个概念,分别为:s11s 12…,s1n w2m个概念,分别为s21s22s2m
w1w2
sim(w 1 ,w2)=sim(s1i s2j) 注:本文中所涉及到的图表、注解、公式等内容请以pdf格式阅读原文。