一种基于知网语义相似度计算的应用研究

伴随网络和信息技术的快速发展，人们想更快地获取信息的愿望促进了自动问答技术的 快速发展。有越来越多的的公司和科研院所参与了自动问答技术的研究，如 IBM,SUN 等[1]。 1999 年，文本信息检索(TREC-8)会议首次开始了对问答系统的评测(Question Answer Track)， TREC 是美国国家标准技术局和国防部高级研究计划局赞助并组织的文本信息检索领域的 一个国际性标准评测会议，QA Track 极大的促进了问答系统的发展[2]。目前，国外已经开发 出一些相对成熟的问答系统，如 AnswerBus，FAQShare[3]，START 等，在国内，秦兵[4]等人 采用 TF/ IDF 和基于语义距离的方法进行相似度计算 ,并应用于 FAQ 问句实例检索 ，取得 了一定的研究成果，而张小艳[5]提出的中文自动答疑系统，通过 FAQ 库与领域文本知识库 的结合，在网络教育平台表现出不错的应用价值。
2 系统框架及其分析
本文设计了以 FAQ 为核心部分的问答系统 QuickFaq。系统框架结构图如下：
输入问句 输出答案
问句分词模块 问句分词 词性标注 FAQ
候选问题集 相似问题检索 相似度计算 FAQ 库更新
关键词抽取 与扩展
图 1 QuickFaq 系统框架
基问句分词模块主要对汉语问句进行分词处理并进行词性标注，本文采用中科院的 ICTCLAS 词法分析方法，分词系统，并在其开源代码版本基础上根据本系统的实际需要进 行改进和扩充。关键词扩展主要是进行同义词扩展(如内存与主存)，以提高检索质量。
关键词: Hownet；问句相似度；常见问题集；语义相似度
中图分类号：TP393
文献标识码：A
An application research based on computing of semantic similarities of HowNet
Xu Meng1+ ，Liu Zong-tian1，Zhou Wen1
在 QuickFaq 系统运行过程中不断地把新问题及其解决方案添加入 FAQ 库中 ,随着问题
的不断加入 ,必然会使 FAQ 库越来越大，从而降低问题检索和推理的效率 ,因此还需要把 FAQ 库中访问次数特别少的问题从库中删除，只有这样才能使 FAQ 库的内容更加丰富。
3 基于知网的语义相似度计算
1+ (School of Computer Engineering and Science, Shanghai University, Shanghai, 200072)
Abstract: Following the accumulation of FAQ, the number of question sentence increased quickly. The FAQ system hardly satisfied the actual demands of users and wasted a lot of time. The automatic QA system based on FAQ can solve this problem efficiently. We propose QuickFaq automatic QA system based on computing of semantic similarities of HowNet. The system which is proposed can find similar sentence and return answers. Experimental results show that this method improves the recall rate and mismatching rate in QA system.
作者简介: 徐 猛(1983－)，男，汉族，硕士，研究方向为信息处理。刘宗田(1946－)，男，汉族，博士生导 师，教授，主要研究领域为人工智能和软件工程等。周文(1979－)，女，汉族，博士研究生，研究方向为人 工智能，自动文摘等。
息检索、答案抽取等许多复杂的处理过程。在网站答疑，领域问答等应用系统中有较好的应 用。
概念词整体相似度的计算公式如下：
4
∑ Sim(C1, C2 ) = β1Sim1(C1, C2 ) + β1Sim1(C1, C2 ) × βiSimi (C1, C2 ) i=2
其中，βi(1≤i≤4)是可调节的参数，且有：β1+β2+β3+β4=1，β1≥β2≥β3≥β4。后 者反映了 Sim1 到 Sim4 对于总体相似度所起到的作用依次递减。
基金颁发部门：上海市教委；项目名称：高可信计算与智能信息处理
编号：J50103
基金申请人：刘宗田
基金颁发部门：上海市教委；项目名称：事件本体及其自动文摘技术
编号：shu-07027 基金申请人：周文
一种基于知网语义相似度计算的应用研究∗
徐猛 1+, 刘宗田 1, 周文 1
1+ (上海大学计算机工程与科学学院，上海，200072)
步骤三：
词语相似度计算： 两个汉语词语 W1 和 W2 ，如果 W1 有 m 个概念(义项)：c11，c12，…, c1m，W2 有 n 个概念 (义项)：c21，c22，…, c2m。取 W1 和 W2 的相似度为各义项的相似度的最大值，公式如下：
Sim(W1,W2 ) = max(sim(c1i , c2 j ))
∗ Supported by two projects of Shanghai Scientific Special Funds for Cultivation and Selection of Excellent Young Teachers (shu-07027), and Shanghai Leading Academic Discipline Project (J50103).本文受上海高校 选拔培养优秀青年教师科研专项基金(shu-07027)和上海市重点学科建设项目(J50103)资助.
候选问题集是从大规模问句集中取出的模糊相关、范围相对较小的子集合，本系统设定 比例为 40%。相似问句检索的目的是使后续的相似度计算等较复杂的过程在候选问题集相 对较小的范围内进行，以提高系统的效率。
相似度计算模块是本文重点设计和优化的部分，就是计算候选问题集中每个问句与输入 问句之间的相似度 ,对应的相似度最大的问句在大于系统指定的阈值 M 时 ,即为要查找的 句子。然后根据该句子对应的答案，从数据库中自动抽取出有关答案作为输出结果返回给用 户。
Key words: Hownet; sentence similarity; FAQ; semantic similarity;
1 引言
常见问题库(FAQ)是很多自动问答系统中的重要组成部分。它把用户常问的问题和相关 答案保存起来。这样，对于用户输入的问题，可以首先在常问问题库中查找答案。如果能够 找到相应的问题，就可以直接将问题所对应的答案返回给用户，而不需要经过问题理解、信
i=1...m,i=1...n
步骤四： 句子相似度计算： 两个句子 A 和 B，句子 A 有 m 个词语分别为：A1，A2…Am，句子 B 有 n 个词语分别为： B1，B2…Bn。它们的相似度等于其组成词汇对的相似度的和，然后将其值除以句子的计算长 度得到两个句子的相似度。公式如下：
m
∑ Sim(A, B) =
得了不错的 FAQ 应用效果。 该系统改进的下一步研究工作： 1) 需要提高系统的不匹配率，加深对问句的语义理解程度。 2) 进一步考虑问句的语义信息，提供的问句再扩展功能，使该系统性能更加完善。
以本文提出的 QuickFaq 系统结构为基础，在环境保护知识问答领域进行了实验验证。
共测试了 378 个有关全球变暖和温室效应方面的问句，其中 252 个问句是包含答案的，余下
的 156 个问句没有作答(用来测试系统的不匹配率)。此外还构造了二百多个与 FAQ 库中问
句语义相似的问句，来测试系统的召回率。根据上述评价方法，且选取了两个不同的相似度
阈值 M 以进行对比，实验结果如下：
表 1 实验结果
相似度阈值 M
召回率
不匹配率
M=0.5
87.3%
77.6%
M=0.6
82.1%
80.1%
实验结果表明，本文的方法取得了不错的效果，提高问句相似度阈值 M 后，不匹配率有 所上升，但召回率的下降幅度有点大。
5 结束语
实验证明本文设计的 QuickFaq 系统框架，在改进并组合了相似度计算模块的方法后，取
本文 QuickFaq 系统中的相似度计算模块分为四个步骤：
义
概
词
句
原
念
语
子
相
相
相
相
似
似
似
似
度
度
度
度
计
计
计
计
算
算
算
算
步骤一： 义原相似度计算：
图 2 相似度计算流程
刘群[7]的公式为： Sim( p1, p2 ) =
α d +α
，其中
p1和p2来自表示两个义原(primitive)，d
是
p1
和
p2
在义原层次体系中的路径长度，是一个正整数。α是一个可调节的参数。参考刘群等的公式
max(Sim( Ai , B1),..., Sim( Ai , Bn ))
i =1
，L = L(A) +
L(B) − L(A)
L
2
其中 m、n 分别表示句子 A 和 B 的词汇个数，L(A)表示句子 A 的长度，L(B)表示句子 B 的长度。
4 实验与结果分析
为了衡量发系统的检索质量，使用的是文献[8]中给出的评价方法，文献[8]中指出，相