基于知识图的汉语词汇语义相似度计算

3期
张瑞霞等: 基于知识图的汉语词汇语义相似度计算
117
识图的汉语词汇相似度计算方法。该方法在构造词 图的基础上, 以知网中的语义关系为依据对词汇概 念中的义原进行分类, 通过计算不同类型义原的相 似度得到概念的相似度; 设计了词汇相似度计算方 法的评价模型, 该模型通过量化人的直观评价得到 计算方法的有效度, 从而为词汇相似度的计算提供 了较为客观的评价途径; 采用此模型对所提出的计 算方法进行评价, 试验结果证明它对于汉语词汇相 似度计算是有效的。
张瑞霞1 , 朱贵良1 , 杨国增2
( 1. 华北水利水电学院 信息工程学院 河南 郑州 450011; 2. 郑州师范高等专科学校 数学系 河南 郑州 450044)
摘 要: 提出了一种基于知识图的汉语词汇相似度计 算方法, 该方 法以5 知网6 2005 版为语 义知识 资源, 以知识 图
为知 识表示方法, 在构造词图的基础上, 以知网中的语义关系为依据对词汇概念中 的义原进行 分类, 通过计算不 同
鉴于上述原因, 以知识图为知 识表示方 法, 以 5知网62005 版为语义知识资源, 提出了一种基于知
收稿日期: 2008- 08- 05 定稿日期: 2008- 11- 05 基金项目: 2008 河南省基础研究资助 项目( 082300410140) 作者简介: 张瑞霞( 1979 ) ) , 女, 硕士, 助教 , 主要研究方向为自然语言处理、人工智能; 朱 贵良( 1950) ) , 男, 教 授, 主要 研 究方向为操作系统、密码算法、人工智能; 杨国增( 1980 ) ) , 男, 硕士生, 助教, 主要研究方向为计算数学 。
2 知网与知识图
5知网6是一个以英汉双语所代表的概念以及概 念的特征为基础的常识知识库, 它主要描述了概念 与概念之间以及概念所具有的特性之间的关系[ 5] 。 5知网62005 版是讨论基于知识图的汉语词汇相似 度计算的基本依据。
知网的研发者强调/ 关系是知识的核心, 关系是 知网的灵魂0[ 6] 。为使词汇相似度计算更有效, 采用 知识图表示词语的概念, 在计算中利用了/ 关系0。
规定其相似度是一个较小值 B。
3. 2 词汇相似度的计算
由于词汇的语义是通过词图表示的, 所以词汇 相似度的计算可转化为词图相似度的计算。在词图 中, 语义主要是由义原节点及其相互联系表示的, 所 以规定计算词图的相似度, 仅涉及到义原节点, 即词 图相似度的计算与词语节点、子图节点无关。
知网的研发者强调/ 关系是知识的核心, 关系是 知网的灵魂0, 而知识图这种知识表示方法能恰当表 示出/ 知识0中的/ 关系0。本文提出的基于知识图的 词汇相似度的计算目的是依据知识图的优点充分利 用/ 关系0从而使得词汇相似度计算更客观、准确, 基 本思想是: 根据弧的关系类型, 对义原节点进行等 价划分; 然后对同一等价类中的义原节点计算其相 似度; 最 后通过 整合义 原的 相似度 得到 词图 的相 似度。
原 s1 与义原 s2 的语义距离为节点 s1 到节点 s2 在义 原层次树中的最短路径, 记为 d is ( s1, s2 ) 。此外两 个义原的相似度还与它们在义原层次树上的深度有
关。一般情况下, 深度越深的义原所描述的信息越 丰富; 所以在语义距离相同的情况下, 义原之间的相 似度与它们的深度呈现单调上升的关系。因此规定
3 基于知识图的词汇相似度计算方法
词汇的语义在知网中是通过/ 概念0 来描述的, / 概念0是通过/ 义原0来描述的, 所以计算词汇的相 似度即计算/ 概念0的相似度, 而/ 概念0的相似度必 须通过/ 义原0的相似度来计算。
3. 1 义原相似度的计算
两个义原的相似度与它们之间的语义距离密切 相关, 即它们的语义距离越近其相似度越大; 规定义
118
中文信息学报
2009 年
当 e1 与 e2 的关系类型相同。
定义 3 节点 v1 与节点 v2 是同构节点对: v1
与 v2 是同构节点对只有当 v1 和 v2 满足下 列所有 条件时, 才称 v1 与 v2 为同构节点对, 记为3v1 , v 24:
( a) e1 和 e2 为同型弧;
( b) v1 与 v2 均为子图节点或 v1 与 v2 均为非 子图节点;
类型义原的相似度得到概念的相似度; 为了对词 汇相似度计 算方法 进行客观 评价, 设计 了词汇相 似度计 算方法 的
量化评价模型; 采用该模型对所提出的计算方法 进行评价, 试验结果证明此方法的有效度为 89. 1% 。
关键词: 计算机应用; 中文信息处理; 知识图; 知网; 语义相似度
中图分类号: T P391
系数方法来计算词汇相似度; 文献[ 4] 通过引入事物 信息量的思想来计算词语相似度。文献[ 2- 3] 采用 统计的方法, 文献[ 1, 4] 根据世界知识( 5知网62000) 进行计算, 两类方法各有异同[ 1] 。根据世界知识计 算词汇相似度, 为使其计算精确, 在计算过程中必须 能够最大限度的合理的应用世界知识。另外, 目前 对词汇相似度计算方法尚未出现定量评价, 这样不 利于方法的比较、改进以及应用。
1 引言
在自然语言信息处理领域中, 词汇相似度的计 算广泛应用于基于实例的机器翻译、信息检索、信息 抽取和词义消歧等领域, 并取得了丰富成果。文献 [ 1] 提出了利用5知网6进行词汇相似度计算的方法; 文献[ 2] 以5同义词词林6的词汇分类体系为基础提 出了基于相关熵的汉语词汇相似度的计算方法; 文 献[ 3] 提 出了利用语 义格实现 的一种改 进 Jaccard
知识图是一种属于语义网络范畴的知识表示方 法, 它用节点表示概念, 用有向弧表示概念与概念之 间的关系, 定义如下:
定义 1 设 C 为概念的集合, T 为关系类型的 集合, G = 3V , E, l n, l a4是知识图, 其中: V 表示节 点的集合; E 表示弧的集合; l n 表示节点集 到概念 集的映射, 即 l n: V y C; l a 表示弧集到关系类型集 的映射, 即 l a: E yT 。
2. Department of M athematics Zheng zho u teacher. s Co llege, Z hengzhou, H enan 450044, China)
Abstract: A new measur e of semantic similarit y betw een Chinese w or ds is put for war d on the basis of K no wledg e Gra phs. W ith H ow N et ( 2005) as the semantic kno wledg e r esource and the K no w ledg e Gr aphs as know ledg e representation method, this method classifies / sememes0 based on their semantic ro les in H ow N et, and then measures semantics sim ilar ity amo ng the co- co nst ructed w or d g raphs by the similarit y o f differ ent kinds o f / sememe0 . In or der to evaluate the pro po sed measur es of semantic similar ity , a new mo del is designed fo r quant itativ e eva luation reuslt. With the help of this evaluation mo del, the ex per iment r esult pro ves that the effective deg ree of the our semant ic measure is 89. 1% . Key words: computer applicatio n; Chinese info rmatio n pro cessing; know ledg e g raphs; Ho wN et; semant ic sim ilar ity
设知识图 G1 、G2 , 其中 G1 = 3V 1 , E1 4, V 1 = { vi | 0< i [ G1 中节点的个 数} , E1 = { ej | 0< j [ G1 中弧的条数} G2 = 3V 2 , E2 4, V 2 = { vi | 0< i [ G2 中节点的个 数} , E2 = { ej | 0< j [ G2 中弧的条数} 令 v 1 I V 1 , e1 I E1 且 e1 与 v 1 相关联, v 2 I V 2 , e2 I E2 且 e2 与 v 2 相关联。 定义 2 同型弧: 弧 e1 与弧 e2 为同型弧当且仅
文献标识码: A
A New Measure of Semantic Similarity between Chinese Words Based on Knowledge Graphs
ZHAN G Ruixia1 , ZH U Guiliang1, YAN G Guozen g2
( 1. Department of Infor matio n Engineer ing, No rth China U niversity of W ater Conserv ancy and Elect ric Po wer , Zhengzhou, H enan 450011, China;
第 23 ቤተ መጻሕፍቲ ባይዱ 第 3 期 2009 年 5 月
中文信息学报 JOU RNAL OF CH INESE INFORM AT ION PROCESSIN G