基于知网的语义相似度计算

合集下载

一种改进的基于知网的句子相似度计算方法

字符串编辑距离，考虑了不同词性词汇对句子的影还响程度不同而赋以不同的权重。该方法从两个方面有效地提高了句子相似度计算的准确性。
主观题自动批改是在线考试系统中的关键技术。
由于主观题的答题特点呈现出复杂性，目前还没有一种考试系统能较好地完成自动批改。主观题的自动批
结合的方法等Ｊ。该方法仅从句子的表层结构信息
进行匹配而忽略了语句语义分析，在局限性，响了存影自动批改的准确度。因此文中提出了一种新的基于知
ＡｎＩｐｏｅｎｅｅＳｍｉａｉｙＣａｃｌｔｏＭｅｈｏｓｄｏｏｎｎｔｄＢａｅｎＨｗ－ｔ
ＬｎｋｉＸＵａｌａｇＩＹｉｇａ，Ｘｉｏｉｎ
（ｃｏｌｆｏｐｔｃｎｅａｇｈｕＤａｚＵｉｒｔ，Ｈｎｚｏ１０８ｈａＳｈｏｏｍｕｅＳｉｃ，ＨｎｚｏｉｉｎｅｉＣｒｅｎｖｓｙａｇｈｕ３０１，Ｃｉ）ｎ
ＡｂｔａｔＩｒｅｏｏｅｃｍｅｔｅｅｔｆｉｆｒａｉｎｒｄｎｄｎｙｉｔｒｅｅｃｄｌｃｌｏｔｍｕｏｅ — ｓｒｃｎｏｄｒｔｖｒｏｈｅｄｆｃｓｏｎｏｍｔｅｕａｃｎｅｆｒｎｅａｏａｐｉｍｆｓｎｏｎｔｎｅｓｍｉａｔａｃｌｔｏａｅｎｌｘｃｌｉｍ，ｔｉｐｐｒｐｏｏｅｅｓｎｅｃｉｌｒｔａｃｌｔｏｔｏｅｃｉｌｒｙｃｕａｉｎｂｓｄｏｅｉａｔｉｌｅｈｓａｅｒｐｓｓａｎｗｅｔｎｅｓｍｉｉｃｌｕａｉｎｍｅｈｄａｙ

基于知网的词语语义相关度计算

摘要：现有的词语语义相关度算法大多单纯依赖于语义相似度算法，没有充分利用词语间的
语义关系，导致其存在局限。在充分挖掘词语间的隐含语义关系基础上，将语义关系应用于语义关联度的计算，最终将语义相似度以及语义关联度结合起来，提出了语义相关度算法。实验结果表明，使用该计算方法得出的语义相关度更加合理，符合人的直观感觉。关键词：知网；语义相关度；语义关系
（ｄｏｌｆｏｕｅ，ｈｎｑｇＵｉｒｔ，Ｑｌｇｉｇ４Ｏ４，ｈｎ）ＳｌｏｏｍｐｔｒｃｏｇｉｎｅｓｙＣｎｖｉ０ｑ０４Ｃｉｎｎ０ａ
ＡｂｔａｔＴｅｕｒｎｌｏｉｍｓｆｓｍａｔｒｌｖｎｙａｅａｍｏｔａｅｏｔｅｌｏｉｍｓｏｅｎｉｓｒｃ：ｈｃｒｅｔａｇｒｔｏｅｎｉｅｅａｃｒｌｓｂｓｄｎｈａｇｒｈｆｓｍａｔｈｃｔｃ
词语相关度反映了两个词语互相关联的程度，即词语之间的组合特点，可以用这两个词语在同它
一
网义原纵向与横向关系及实例信息来计算不同词性的词语之间的语义相关度。但是知网中只有部分义原具有解释义原，并且标注的实例信息十分有限，因此算法存在很大的局限性。Ｊ值得注意的是由于语义相关度包含了语义相似度的概念，以语义相似度算法对语义相关度算法所
ｓｌｉｉｌ．Ａｄｔｅｏ ’ ａｅｔｅｍｏｔｏｅｓｍａｔｅａｉｎｅｗｅｏｄ．ＳｔｒｓｈｎｉａｔｓｍｉｒｙｍｐｙｎｈｙｄｎｔｍｋｓｆｔｅｎｉｒｌｔｓｂｔｅｎｗｒｓｏＩｅｕｓｉｈｈｃｏｌｉｔｎｏｅｅａｇｒｈ．Ｔｉｐｐｒｍｉｅｅｉｌｄｓｍａｔｅａｉｎｅｗｅｏｄ，ａｐｉｓｔｅｅｉｔｉｆｔｓｌｏｉｍｓｈｓａｅｎｓｔｍａｏｈｔｈｍｐｉｅｎｃｒｌｔｓｂｔｅｎｗｒｓｐｌｓｅｉｏｅｈｒｌｔｎｅｃｍｐｔｔｎｏｅｎｉｓｏｉｔｉ，ａｄｐｐｓｓａｎｗａｇｒｈｏｍａｔｅｅａｃｎｅａｏｓｔｔｏｕａｉｆｍａｔａｓｃａｉｔｉｏｈｏｓｃｖｙｎｒｏｅｌｏｉｍｆｏｅｔｅｓｎｉｒｖｎｙｏｃｌｈａｉｆｉａｔａｄａｓｃｉｔｔｅｂｓｓｏｍｌｉｎｓｏｉｔｉ．Ｔｅｅｐｒｎａｓｌｈｗｔａｔｅｍｓｈｒｏｅｓｔｆｔｒｄｓｉｒｙａｖｙｈｘｅｉｔｒｕｔｓｏｔｈｕｓａｅｍｒａｓｃｏｙａｍｅｌｅｓｈｉａｎ

基于《知网》的词语语义相似度改进及应用

方法。中词语间相似度的计算，要是基于按照词语问结构层点的最短路径的长度一言学研究认为．个义原的语义距离越文主语两次关系组织的语义词典的方法．根据在这类语言学资源中词语大，相似度越低：之，其反两个词语的语义距离越小，其相似度越
描述词语的最基本单位．另一方面．义原之间又存在复杂的关系。《网》，在知中一共描述了义原之间的８关系：下位关系、种上同义关系、义关系、义关系、性一主关系、件一体关反对属宿部整系、料一品关系、材成事件一色关系。以看出，原之问组成的角可义是一个复杂的网状结构。而不是一个单纯的树状结构。不过，义
１词语语义相似度的计算、设Ｌ为义原Ｐ在词语树中的深度，距离初始阈值，ｌＹ为ｘ为与传统的语义词典不同，知网》采用了ｌ０《５０多个义原，通满足不等式ｉａ（）ｙｎｘＬ＜／立的一个正实数，ｐ与其父结点ｘ成则ｉ过一种知识描述语言来对每个词语进行描述义原一方面作为的距离定义为：
目前，于语义相似度的计算主要分为两种：）语信息量对１词
从语距离法．计算两词语的语义距离．后转化为语义相似度。转换为相似度值，而计算词语词语的相似度。先然本文在研究了大量文献后．提出了综合利用现代汉语语义分类１２１义原距离．．词典的类层次关系中的多种影响因素来计算词语问的相似度的两个义原之间的语义距离．是指在义原树中连接这两个节

基于《知网》的词汇语义相似度计算

基于《知网》的词汇语义相似度计算
《知网》是一个中文语料库，可以用来进行文本语义相似度计算。

常
见的基于《知网》的词汇语义相似度计算方法有：
1.基于《知网》的同义词词林:《知网》中的同义词词林收录了大量
的同义词、近义词和相关词，可以通过比较两个词在同义词词林中的位置，来衡量它们的语义相似度。

比如，可以通过比较两个词在同一类和同一级
别下的位置，来判断它们的相似度。

2.基于《知网》的词语标注：《知网》中的词语标注包括词义分类和
关系标注等信息，可以通过比较两个词的词义分类和关系标注信息，来衡
量它们的语义相似度。

3.基于《知网》的词语关联度计算：可以通过计算两个词在《知网》
中的关联度来判断它们的语义相似度。

常用的方法有基于路径的关联度计
算和基于信息内容的关联度计算。

这些方法都是基于《知网》的语料库信息进行计算的，可以根据具体
需求选择适合的方法进行词汇语义相似度计算。

一种基于《知网》的文本语义相似度的计算方法

究，取得了不少成果，但是文本聚类也面临着各方
造成了文本向量的表示空间难以有效地降维。２）由于不同的文本可能采用不同的词汇来表示相同
概念， “ 一对一” 的匹配方法在处理时就显得无能为力了¨ ６］。特别是同义词和近义词不能识别，造成了聚类的误差。例如：文本１：土豆盛产于中国。文
总第２９２期２０１４年第２期
计算机与数字工程
Ｃｏｍｐｕｔｅｒ＆．ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ
Ｖｏ１．４２Ｎｏ．２
１８７
一ห้องสมุดไป่ตู้
种基于知网的文本语义相似度的计算方法
孙滨刘林
４５１１００）（郑州华信学院信息工程系郑州
摘
要
论文提出一个基于语义的文本问的相似度算法，以文本的特征词相似度为基础，来计算文本间的相似度，利用
聚类算法对文本簇进行聚类。实验结果证明基于知网的文本语义相似度方法在对文本相似度计算以及文本聚类方面，能有效提高聚类的效果。关键词文本聚类；义原相似度；语义相似度
ＡｂｓｔｒａｃｔＡｓｉｍｉｌａｒｉｔｙａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｉｓｐｒｏｐｏｓｅｄ，ｗｈｉｃｈｃａｌｃｕｌａｔｅｓｔｈｅｓｉｍｉｌａｒｉｔｙｏｆｔｅｘｔｓａｃ — ｃｏｒｄｉｎｇｔＯｆｅａｔｕｒｅｗｏｒｄｓｏｆｔｈｅｔｅｘｔａｎｄｍａｋｅｓｔｅｘｔｃｌｕｓｔｅｒｓｂｙｅｍｐｌｏｙｉｎｇｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｐｒｏｖｅｔｈａｔｔｈｅｍｅｔｈｏｄｏｆｔｅｘｔｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙｂａｓｅｄｏｎＣＮＫＩｉＳｖｅｒｙｅｆｆｉｃｉｅｎｔｉｎｔｅｘｔｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎａｎｄｔｅｘｔｃｌｕｓｔｅ — ｒｉｎｇ，ｗｈｉｃｈｃａｎｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｔｈｅｅｆｆｅｃｔｏｆｃｌｕｓｔｅｒｉｎｇ．ＫｅｙＷｏｒｄｓｔｅｘｔｃｌｕｓｔｅｒｉｎｇ，ｐｒｉｍｉｔｉｖｅｓｉｍｉｌａｒｉｔｙ，ｓｅｍａｎｔｉｃｓｉｍｉｌａｒｉｔｙＣｌａｓｓＮｕｍｂｅｒＴＰ３９】

使用网络搜索引擎计算汉语词汇的语义相似度

使用网络搜索引擎计算汉语词汇的语义相似度高国强;黄吕威;陈丰钰【摘要】Similarity computation of Chinese words is a key problem in Chinese information processing. It measures semantic similarity between Chinese words using the information returned by web search engines. First,implement a model named WebPMI which computes similarity using page counts,and then,describe another model named CODC which analyzes semantic similarity using text snippets. Final-ly,present the algorithm based on the two models. Experimental results show that this algorithm outperforms all the existing web-based semantic similarity measures for Chinese,and is close to the traditional semantic similarity measures using lexicon.%汉字词语的语义相似度计算是中文信息处理中的一个关键问题。

文中利用网络搜索引擎提供的信息来计算汉语词对的语义相似性。

首先通过程序访问搜索引擎，获取汉字词汇的搜索结果数，并依此实现了相似度计算模型WebPMI；然后描述了根据查询返回的文本片段进行语义相关性分析的模型CODC；最后，结合这个两个模型，给出了文中算法的伪代码。

基于《知网》义原空间文本相似度计算研究与实现

基于《知网》义原空间的文本相似度计算研究与实现重庆大学硕士学位论文（学术学位）学生姓名：张*指导老师：罗军副教授专业：计算机系统结构学科门类：工学重庆大学计算机学院二〇一三年四月Research and Implementation of Text Similarity Computing Based on HowNetSememe SpaceA Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theMaster‟s Degree of EngineeringByZhang KeSupervised by Associate Prof. Luo JunSpecialty: Computer System ArchitectureCollege of Computer Science ofChongqing University, Chongqing, ChinaApril 2013重庆大学硕士学位论文中文摘要摘要文本相似度计算是知识产权保护、文本分类、机器翻译、自然语言处理、复制检测、自动问答和信息检索等领域的核心技术。

现有的文本相似度计算方法大致可以归纳为两类，第一类是基于文本特征统计的方法，第二类则是基于文本语义理解的方法。

基于文本特征统计的方法在长文本等大粒度实体的相似度计算方面取得了较好的效果，其中最具代表性的就是向量空间模型(Vector Space Model,简称VSM)和广义向量空间模型（General Vector Space Model,简称GVSM）。

G V S M在VSM的基础上利用文本特征项的共现信息，对VSM模型中特征项正交的假设进行了改进。

基于语义理解的方法，通常以某种知识库作为依据实现词语之间或者句子之间相似度的计算。

基于统计的方法简单高效，但是缺乏语义，无法处理自然语言中“一词多义”和“一义多词”的情况。

改进的基于《知网》的词汇语义相似度计算

Ａｂｓｔｒａｃｔ：ＴｈｅｐｒｅｓｅｎｔＨｏｗＮｅｔ — ｂａｓｅｄｖｏｃａｂｕｌａｒｙｓｅｍａｎｔｉｃｓｉｍｉｌａｉｒｔｙｃａｌｃｕｌａｔｉｏｎｍｅｔｈｏｄｆａｉｌｓｔｏｇｉｖｅｄｕｅａｔｔｅｎｔｉｏｎｔｏｔｈｅｌｉｎｅａｒｆｅａｔｕｒｅｏｆｃｏｎｃｅｐｔｕｌａｄｅｓｃｉｒｐｔｉｏｎｉｎｋｎｏｗｌｅｄｇｅｄａｔａｂａｓｅｍａｒｋ — ｕｐｌａｎｇｕａｇｅ．Ｔｏｒｅｓｏｌｖｅｔｈｉｓｓｈｏｒｔｃｏｍｉｎｇ，ａｎｉｍｐｒｏｖｅｄｖｏｃａｂｕｌａｒｙｓｅｍａｎｔｉｃｓｉｍｉｌａｉｒｔｙｃａｌｃｕｌａｔｉｏｎｍｅｔｈｏｄｗａｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｆｕｌｌｙｃｏｎｓｉｄｅｒｉｎｇｔｈｅｌｉｎｅａｒｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎｔｈｅ
摘
要：针对当前基于《知网》的词；ｒ－语义相似度计算方法没有充分考虑知识库描述语言对概念描述的线性特征
的情况，提出一种改进的词ｊｒ－语义相似度计算方法。首先，充分考虑概念描述式中各义原之间的线性关系，提出一种位置相关的权重分配策略；然后，将所提出的策略结合二部图最大权匹配进行概念相似度计算。实验结果表明，采用改进方法得到的聚类结果Ｆ值较对比方法平均提高了５％，从而验证了改进方法的合理性和有效性。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基于《知网》的语义相似度计算
软件使用手册
1 功能简介
本软件是根据[刘群2002]一文中的原理编写的词汇语义相似度计算程序。

主要实现了以下功能：
1.1基于交互输入的义原查询、义原距离计算、义原相似度计算
1.2基于交互输入的词语义项查询、义项相似度计算、词语相似度计算；
1.3基于文件输入的词语义项查询、词语相似度计算；
1.4相似度计算中的参数调整。

2 安装说明
本软件包一共有四个文件：
《基于＜知网＞的词汇语义相似度计算》软件使用手册.doc：本使用手册
《基于＜知网＞的词汇语义相似度计算》论文.pdf：本软件所依据的论文，采用pdf
格式，用Acrobat Reader阅读时需要安装简体中文支持包。

自然语言处理开放资源许可证.doc：本软件包的授权许可证
WordSimilarity.zip：程序文件
软件安装时，将文件WordSimilarity.zip文件解压缩一个目录下即可，解压缩后有以下几个文件：
WordSimilarity.exe：可执行程序；
Glossary.dat：《知网》数据文件
Semdict.dat：《知网》数据文件
Whole.dat：《知网》数据文件
必须确保《知网》数据文件在程序执行时的当前目录下。

3 界面说明
软件使用简单的对话框界面，如下所示：
4 功能说明
4.1义原操作
4.1.1 义原查询
1.首先在“输入1”框中输入义原名称；
2.点击“察看义原1”按钮；
3.在“义项1”框中将依次显示出该义原及其所有上位义原的编号、中文、英文；类似的方法可以查询“输入2”框中的义原；
4.1.2 义原距离计算
1.首先在“输入1”和“输入2”框中输入两个义原；
2.点击“计算义原距离”按钮；
3.在“输出”框中显示两个义原的距离；
4.1.3 义原相似度计算
1.首先在“输入1”和“输入2”框中输入两个义原；
2.点击“计算义原相似度”按钮；
3.在“输出”框中显示两个义原的相似度；
4.2基于交互输入的词语操作
4.2.1 词语义项查询
1.首先在“输入1”框中输入要查询的词语；
2.点击“察看义项1”按钮；
3.在“义项1”框中将依次显示出该词语的所有义项；
类似的方法可以查询“输入2”框中的词语义项；
4.2.2 义项相似度计算
1.首先分别在“输入1”和“输入2”框中输入要计算相似度的两个词语；
2.点击“察看义项1”按钮和“察看义项2”按钮；
3.在“义项1”框和“义项2”框中将分别显示出这两个词语的所有义项；
4.分别在“义项1”框和“义项2”框中点击需要计算相似度的两个词语义项；
5.点击“计算义项相似度”按钮；
6.在“输出”框中将显示选中的两个义项的相似度；
4.2.3 词语相似度计算
1.首先分别在“输入1”和“输入2”框中输入要计算相似度的两个词语；
2.点击“计算词语相似度”按钮；
3.在“输出”框中将显示两个词语的相似度；
说明：词语相似度定义为两个词语的所有义项相似度中的最大值。

参数的含义见参考文献[刘群2002]。

每次修改后参数不保存，下次允许程序需重新修改参数。

5 版权说明
本软件由中国科学院计算技术研究所刘群编制，全部版权（不含《知网》版权）属于中国科学院计算技术研究所所有。

使用者可以自由的拷贝、发布或者修改本资源，但是必须完全遵守“自然语言处理开放资源许可证”（许可证版本编号1.0）中所列各项条款之规定。

资源提供者不承诺提供任何技术支持，也不会对使用者由于使用本资源而造成的任何后果（不论是直接的还是间接的）承担责任。

详细信息请参阅“自然语言处理开放资源许可证”中的具体条款。

一份“自然语言处理开放资源许可证”的文本拷贝会随同本资源一起发布。

如果没有，请访问“中文自然语言处理开放平台()”以获得一份完整的许可证文本感兴趣者请与刘群联系，邮件地址是：liuqun@，
也可访问中国科学院计算技术研究所自然语言处理课题组网站：或者访问中文自然语言处理开放平台：。

本软件使用了《知网》2000版。

《知网》的全部版权由董振东、董强先生所有，感兴趣者请访问《知网》主页：。

6 参考文献
[刘群2002] 刘群，李素建，基于《知网》的词汇语义相似度计算，第三届汉语词汇语义学研讨会，台北，2002年5月
[知网] 。