句子相似度计算新方法及在问答系统中的应用
基于问句类型的问句相似度计算_田卫东
从结果可以看出， 前三对问句都有很好的相似度 ， 但都不 是相同的问题， 都会影响 FAQ 问答系统的性能； 第四对问题， 虽然有很低的相似度， 但却是相同的问题。原有的算法不能很 ， 好地计算这些问句 主要是下面几方面的原因 ： a） 没有考虑两个问句的类型是否一致 。 第一对问句就是 两个不同的问题， 一个是问人， 另一个是问数字。 第四对问句 是相同类型的问题， 都是关于地址方面的问题 ， 但是没有考虑 导致相似度很低。 类型问题， b） 没有考虑问句的句型。 第二对问句， 下面一句比上面 一句多一个否定词， 导致了结果的截然不同 。 c） 没有考虑词语之间的褒贬倾向 。第三对问句中 “好处 ” “坏处” 和 分别是褒义词和贬义词 ， 用基于知网的方法计算相 ［8 ］ 似度有很高的相似值 。 为此， 本文着重考虑问句的类型 。 为了解决此问题， 在计 算问句相似度的过程中 ， 引入了问句的类型作为问句相似度计 算的一个因素。问题分类的目的就是确定问题的类型 ， 主要是 为了增加约束条件， 方便信息检索和答案的提取 。 目前， 并没 有统一的问题分类体系 。为此， 很多问答系统都采用了较为复 杂的问题分类体系。 由于本文用到的是中文的问题分类 ， 因此将介绍中文问题 分类体系。 目前一些中文问题研究的问题分类体系都是 从 TＲEC 会议上的英文分类体系直接翻译过来 ， 采用的都是从粗 类到细类的层次分类体系 。虽然在某些类型上可能造成歧义 ， 总体来说可也得到了较高的分类精度 ， 还可以增加约束条件便
1－ 1 0
问句 清朝一共有哪几位皇帝？ 清朝总共有几位皇帝？ 哪个国家的货币最值钱？ 哪个国家的货币最不值钱？ 上网对人有什么好处？ 上网对人有什么坏处？ 白宫在哪？ 白宫的地址是多少？
中文问答系统中旬子相似度计算方法研究
和难点 ． 句子相似度计算在实际中有着广泛 的应用 。 在 自动问答 系统 中很 多部分都需要用到句子 的相
似 度 计 算 ． 子 相 似 度 【 两 个 句 子 在 语 义 上 的 匹配 符 句 － 】 指 合 程度 。 １，１ 间 的实 数 表 示 ， 越 大 表 明 两个 句 子 用 ０ｌ 之 值 越 相似 。 当取 值 为 】时 ． 明 两 个 句 子 在语 义上 完 全 相 表 同 ：值 越 小 则 表 明 两 个 句 子 相 似 度 越 低 ：当 取 值 为 ０
① 词 形 相 似 度
汉 语 句 子 Ｓ的 长度 即 是 Ｓ中 单 字 的 个 数 用 Ｌ ｎ ｅ （ ） 示 ， ａ ＷＣ（ Ｙ） 示 语 句 Ｘ， 中 相 同 单 字 的 Ｓ表 Ｓ ｍｅ Ｘ， 表 Ｙ 个数 ． 当一 个 单 字 在 Ｘ。 中 现 的 次 数 不 同时 ． 矗 现 Ｙ 以 ｛
０ 引 言
在 自然 语 言 处理 中 旬 子相 似 度计 算 是一 项 基 础 而 核 心 的研 究 课 题 ． 期 以来 一直 是 人 们 研 究 的一 个 热 点 长
…
① 根据词频统计 出语料库 中出现 的所有词 埘 ，： 。 ，
３，… ， ；
② 把每一个 问句表示为 一个 １维 向量 ： ７ ≤ ， ，
定规模语料库基础上效果才能体现 出来 。该算法只
该 类 型 最 常 见 的 是 基 于 向 量 空 间 模 型 （ ｅｔｒ Ｖｃ ｏ
Ｓ ａ ｅＭｏ ｅ，Ｓ 的 Ｔ — ＤＦ方 法 。这 是一 种 基 于 语 料 ｐ ｃ ｄ ｌ Ｍ） Ｖ ＦＩ
考 虑了词 的统计 特性 。 而没有考虑语 义信息。因此 ， 在
相 似 度 和 词 序 相 似 度 两 部 分 共 同 决 定 的 ．其 中 词 形 相 似度 起 主 要 作 用 ． 序 相 似 度 起 次 要 作 用 词
多特征融合的语句相似度计算模型
多特征融合的语句相似度计算模型。
知识专栏标题：深度探讨多特征融合的语句相似度计算模型一、引言在自然语言处理领域，语句相似度计算一直是一个重要的研究课题。
而多特征融合的语句相似度计算模型作为其中的一种方法，近年来备受关注。
本文将从多个角度深入探讨这一模型的原理、应用以及发展前景。
二、多特征融合的语句相似度计算模型原理多特征融合的语句相似度计算模型是基于多种特征进行计算，然后将这些特征进行融合，最终得出语句的相似度分数。
这些特征可以包括语义信息、句法结构、词向量表示等多个方面。
通过将这些特征进行融合，可以获得更全面、准确的语句相似度计算结果。
三、多特征融合的语句相似度计算模型应用这种模型在自然语言处理的许多领域都有着广泛的应用。
比如在信息检索中，可以通过计算查询语句与文档之间的相似度来进行文档排序；在问答系统中，可以通过计算问题与候选答案的相似度来进行答案的匹配；在文本对比中，可以进行抄袭检测等。
这些应用都需要准确的语句相似度计算，而多特征融合的模型能够很好地满足这一需求。
四、多特征融合的语句相似度计算模型的发展前景随着人工智能和自然语言处理技术的不断进步，多特征融合的语句相似度计算模型也将不断得到优化和拓展。
未来可能会有更多新颖的特征加入到模型中，也可能会结合深度学习等先进技术来提高模型的表现。
这将会为语句相似度计算领域带来更大的突破和进步。
五、个人观点和理解对于多特征融合的语句相似度计算模型，我个人认为它是一种很有效的计算方法。
通过融合多个特征，可以很好地弥补单一特征计算的不足，得到更全面、准确的结果。
随着人工智能技术的发展，这一模型的应用范围也将会越来越广泛，对于学术研究和实际应用都具有重要意义。
六、总结多特征融合的语句相似度计算模型作为自然语言处理领域的重要研究课题，在理论和应用上都具有重要意义。
通过本文的深入探讨，相信读者对这一模型的原理、应用以及发展前景有了更深入的了解。
未来，这一模型将会在自然语言处理领域继续发挥重要作用。
使用预训练模型进行句子相似度计算的技巧和经验(五)
在自然语言处理领域，句子相似度计算是一个非常重要的问题。
在实际应用中，我们常常需要判断两个句子之间的相似程度，比如在问答系统、信息检索和机器翻译中。
传统的句子相似度计算方法往往需要手工设计特征和模型，存在一定的局限性。
而随着深度学习技术的发展，预训练模型成为了句子相似度计算的新方法。
本文将介绍使用预训练模型进行句子相似度计算的一些技巧和经验。
一、预训练模型简介预训练模型是指在大规模文本语料上进行无监督训练得到的模型。
这些模型可以学习到丰富的语言表示，包括词向量、句子向量甚至段落向量。
在句子相似度计算中，我们通常使用预训练模型来获取句子的语义表示，然后通过比较这些表示来计算句子相似度。
二、使用预训练模型进行句子相似度计算的技巧1. Fine-tuningFine-tuning是指在预训练模型的基础上，通过在特定任务上进行有监督微调来得到更好的表示。
在句子相似度计算中，我们可以使用已经预训练好的模型，然后在带有标注数据的语料上进行微调，得到适合特定任务的句子表示。
这样可以提高句子相似度计算的准确性。
2. 数据增强数据增强是指通过对原始数据进行一定的变换和扩充来增加数据的多样性。
在句子相似度计算中，我们可以通过对原始句子进行同义词替换、词序调换等操作来生成更多的训练样本，从而提高模型的泛化能力。
3. 多模型融合在实际应用中，我们可以使用多个不同的预训练模型进行句子相似度计算，然后将它们的结果进行融合。
这样可以降低模型的方差，提高句子相似度计算的稳定性。
三、使用预训练模型进行句子相似度计算的经验1. 选择合适的预训练模型在实际应用中，我们可以选择不同的预训练模型来进行句子相似度计算，比如BERT、RoBERTa、ALBERT等。
在选择模型时，需要考虑模型的大小、速度和准确性等因素，找到适合自己任务的模型。
2. 对齐句子长度在使用预训练模型进行句子相似度计算时，通常需要将输入的句子对齐为固定长度。
这样可以方便模型的处理，并且减少计算量。
基于深度学习的自然语言处理中的语义相似度计算
基于深度学习的自然语言处理中的语义相似度计算近年来，人工智能技术发展迅速，深度学习成为自然语言处理领域的重要技术。
而语义相似度计算是自然语言处理中的核心问题之一，对于诸如文本匹配、情感分类和问答系统等任务有着重要的作用。
基于深度学习的语义相似度计算方法在实践中取得了不错的效果，本文将介绍这个主题。
一、语义相似度计算的基本概念语义相似度计算是指确定两个文本之间的语义相似度。
在自然语言处理中，我们一般使用词汇或短语来表示文本，因此，计算语义相似度就需要比较两个文本中的词汇或短语，找出它们之间的语义联系。
通常，语义相似度计算有三种方法：1.基于词汇对齐的方法：将两个文本中的词汇进行对齐，然后计算相似度。
2.基于语义空间模型的方法：将文本表示为向量，使用向量之间的距离或相似度来确定语义的相似或不相似。
3.基于深度学习的方法：通过深度神经网络学习文本的表示，并使用表示之间的相似度计算语义相似度。
二、基于深度学习的语义相似度计算方法基于深度学习的语义相似度计算方法通常分为两种：基于全连接神经网络和基于卷积神经网络。
这两种方法都是基于深度学习的文本表示学习技术，可以学习出文本的低维表示，从而减少计算复杂度。
1.基于全连接神经网络的语义相似度计算方法在全连接神经网络中，文本会经过词汇表示层、隐藏层和输出层三个级别的处理。
其中，词汇表示层是将文本转换为向量的地方，隐藏层可以学习出文本表示的高阶特征，输出层可以计算文本之间的相似度。
以Siamese网络为例，Siamese网络是指两个相同的全连接神经网络共享参数，通过对两个文本进行相同的传递和训练，对文本进行特征提取。
在训练时，将文本对输入到神经网络中，得到对应的特征向量，并通过余弦距离或欧式距离等方法计算文本之间的相似度。
相似度越大，说明文本越相似，反之则越不相似。
2.基于卷积神经网络的语义相似度计算方法卷积神经网络是用于图像处理的一种神经网络，但也可以应用于文本处理中，用于学习文本表示。
python 语义相似度计算
python 语义相似度计算标题：Python语义相似度计算的应用与发展引言：Python语义相似度计算是一项重要的自然语言处理技术，通过对文本的语义进行建模和比较，可以实现词句之间的相似度度量。
该技术在信息检索、文本分类、机器翻译等领域有广泛的应用。
本文将介绍Python语义相似度计算的原理、方法以及其在实际应用中的发展。
一、Python语义相似度计算原理语义相似度计算是基于自然语言处理和机器学习的技术，其主要原理包括词向量表示、语义匹配和相似度度量。
首先，将文本表示为向量形式，常用的方法有词袋模型和词嵌入模型。
然后，通过计算向量之间的相似度，确定文本的相似程度。
二、Python语义相似度计算方法1. 基于词袋模型的相似度计算：将文本表示为词频向量，利用余弦相似度或欧氏距离等方法计算相似度。
2. 基于Word2Vec的相似度计算：通过训练词向量模型，将文本表示为词向量，然后计算词向量之间的相似度。
3. 基于BERT的相似度计算：使用预训练的BERT模型，将文本编码为向量表示，然后计算向量之间的相似度。
三、Python语义相似度计算的应用1. 信息检索：通过计算查询和文档之间的相似度，实现精确的文本匹配和检索。
2. 文本分类：利用语义相似度计算，可以将文本进行分类和归类，提高文本分类的准确性。
3. 机器翻译：通过计算原文和目标文之间的相似度，改善机器翻译的质量。
4. 智能问答：通过计算问题和答案之间的相似度，实现智能问答系统的快速响应。
四、Python语义相似度计算的发展前景随着自然语言处理技术的不断发展，Python语义相似度计算也在不断进步。
未来的发展方向包括更精确的词向量表示、更高效的相似度计算方法以及更广泛的应用领域。
此外，与深度学习、知识图谱等技术的结合也将推动语义相似度计算的发展。
结论：Python语义相似度计算是一项重要的自然语言处理技术，具有广泛的应用前景。
通过不断改进算法和方法，可以提高计算的准确性和效率，使得语义相似度计算在各个领域发挥更大的作用。
自然语言处理技术在问答系统中的应用方法(九)
自然语言处理技术在问答系统中的应用方法随着信息技术的发展和智能技术的进步，人工智能领域的自然语言处理技术(NLP)在各个领域得到了广泛的应用，其中之一就是在问答系统中的应用。
问答系统是一种通过自然语言与用户进行交互，从大量的信息中找到满足用户需求的答案的智能系统。
在这篇文章中，我们将探讨自然语言处理技术在问答系统中的应用方法。
1. 语义理解与知识图谱在问答系统中，语义理解是至关重要的。
语义理解是指对自然语言进行深层次的理解，包括词义的理解、句子的语义分析等。
自然语言处理技术可以通过词向量模型、语义角色标注等方法来实现语义理解。
此外，知识图谱的构建也是语义理解的重要手段。
知识图谱是一种用于表示实体和实体之间关系的图形结构，通过构建知识图谱，问答系统可以更好地理解用户的查询意图，从而提供更精准的答案。
2. 文本匹配与信息检索在问答系统中，文本匹配和信息检索是实现答案查找的关键技术。
文本匹配技术可以通过计算两个句子之间的相似度来判断一个句子是否与另一个句子相关。
自然语言处理技术可以通过词向量模型、文本相似度计算等方法来实现文本匹配。
信息检索技术则是通过构建索引、文档倒排列表等方法来实现对大量文档的快速检索。
这些技术的应用可以帮助问答系统更快地找到用户所需的答案。
3. 实体识别与关系抽取在问答系统中，实体识别和关系抽取是帮助系统理解问题和文本的重要技术。
实体识别是指识别文本中的命名实体，包括人名、地名、组织机构名等。
关系抽取是指从文本中抽取实体之间的关系。
自然语言处理技术可以通过命名实体识别模型、关系抽取模型等方法来实现实体识别和关系抽取。
这些技术可以帮助问答系统更好地理解用户的问题，并从海量文本中抽取相关信息。
4. 对话系统与情感分析近年来，对话系统和情感分析技术在问答系统中的应用也越来越重要。
对话系统是一种能够与用户进行自然对话的系统，通过对话系统，问答系统可以更好地理解用户的问题，并提供更智能的回答。
语义相似度计算
语义相似度计算语义相似度计算是自然语言处理领域的一个重要任务，它旨在衡量两个词语、短语或句子之间的语义相似程度。
在实际应用中，语义相似度计算可以帮助机器理解语言，从而实现诸如信息检索、问答系统、机器翻译等任务。
现在我们将介绍几种常用的语义相似度计算方法：1. 基于词向量的方法：词向量是将词语映射到一个高维实数向量空间的表示方法。
在这种方法中，可以使用预训练的词向量模型（如Word2Vec、GloVe、FastText等）将词语表示为向量，然后通过计算两个词向量之间的相似度（如余弦相似度、欧氏距离、曼哈顿距离等）来衡量它们之间的语义相似度。
2. 基于词汇语义资源的方法：除了词向量外，还可以利用词汇语义资源（如WordNet、PPDB等）来计算语义相似度。
这些资源中包含了词语之间的语义关系（如同义词、上下义词、反义词等），可以通过这些关系计算词语的语义相似度。
3. 基于深度学习的方法：深度学习模型（如Siamese神经网络、BERT、ELMO 等）在语义相似度计算任务中也取得了很好的效果。
这些模型可以学习词语、短语或句子的语义表示，然后通过模型的输出来计算它们之间的语义相似度。
4. 基于语义图的方法：语义图是一种将词语表示为节点、语义关系表示为边的图结构。
在语义相似度计算中，可以利用语义图中的节点和边来计算词语之间的语义相似度。
这种方法可以很好地捕捉词语之间的语义关系，从而提高语义相似度计算的准确性。
总的来说，语义相似度计算是一个复杂而重要的任务，在实际应用中需要综合考虑不同的方法和技术。
通过不断的研究和实践，我们可以提高语义相似度计算的准确性和效率，从而更好地帮助机器理解语言，实现更多的自然语言处理任务。
希望以上介绍能够对语义相似度计算有所帮助。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如下：
ＷｏｒｄＳｉｍ（
Ｓ１， Ｓ２） ＝ Ｗｏｒｄ（
ＳａｍｅＷｏｒｄ（ Ｓ１， Ｓ２） Ｓ１） ＋Ｗｏｒｄ（ Ｓ２） － ＳａｍｅＷｏｒｄ（
Ｓ１， Ｓ２）
其 中 ， ＳａｍｅＷｏｒｄ（ Ｓ１， Ｓ２） 表 示 Ｓ１ 与 Ｓ２ 相 同 关 键 词 的 个 数 ， 如 果
同一关键词出现多次则只算一次， 其中的关键词不包含句子中
ＺＨＯＵ Ｆａ － ｇｕｏ， ＹＡＮＧ Ｂｉｎｇ－ ｒ ｕ．Ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒ ｉｔｙ ｃｏｍｐｕｔｉｎｇ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｑｕｅｓｔｉｏｎ ａｎｓｗｅｒ ｉｎｇ ｓｙｓｔｅｍ．Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒ ｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００８， ４４（ １） ： １６５－ １６７．
１ 引言
在自然语言处理领域， 尤其是在中文信息处理中， 句子相 似度计算是一项基础而核心的研究课题， 长期以来一直是人们 研 究 的 一 个 热 点 和 难 点 。句 子 相 似 度 计 算 在 现 实 中 有 着 广 泛 的 应用， 它的研究状况直接决定着其他一些相关领域的研究进 展， 句子相似度的计算在自然语言处理的各个领域都有着非常 重要的作用， 如在基于实例的机器翻译系统［１］中、在文档自动文 摘系统［２］中、在基 于 常 见 问 题 集（ ＦＡＱ） 的 机 器 问 答 系 统［３］中 以 及 信 息 检 索 、信 息 过 滤 等 方 面 ， 句 子 相 似 度 的 计 算 都 是 其 中 关 键 的技术之一。本文给出了一种计算句子相似度的新方法， 并给 出了该方法在问答系统中的应用， 设计并实现了一种简单的基 于常问问题集的中文问答系统。
综合这些变量类型， 本文认为字符串变量更适合于归类于 二元变量， 我们可以利用分词技术将字符串分成若干个单词， 每 个 独 立 的 单 词 作 为 二 元 变 量 的 一 个 属 性 。把 所 有 单 词 设 定 为 一个二元变量属性集合 Ｒ， 字符串 １ 和字符串 ２ 的单词包含于 这个集合 Ｒ。设 ｑ 是字符串 １ 和字符串 ２ 中都存在的单词的总 数， ｓ 是字符串 １ 中存在， 字符串 ２ 中不存在的单词总数， ｒ 是 字符串 ２ 中存在， 字符串 １ 中不存在的单词总数， ｔ 是字符串 １ 和字符串 ２ 中都不存在的单词总数。称 ｑ， ｒ， ｓ， ｔ 为字符串比较 中的 ４ 个状态分量。如图 １ 所示。
２．３ 有关定义和计算
汉语句子就是一个字符串， 是由一组不同含义的单词组 成， 它不同于数值型变量， 可以用一个特定的数值来确定它的 大小或位置， 所以用何种方式来描述两个字符串之间的距离， 成为了一个值得探讨的问题。
通常情况下， 用于分析的数据类型有如下几种： 区间标度 遍 历 、二 元 变 量 、标 称 型 变 量 、序 数 型 变 量 、比 例 标 度 型 变 量 、混 合类型变量等。
Ａｂｓｔｒ ａｃｔ： Ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒｉｔｙ ｃｏｍｐｕｔｉｎｇ ｐｌａｙｓ ａｎ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｍａｃｈｉｎｅ ｑｕｅｓｔｉｏｎ－ ａｎｓｗｅｒｉｎｇ ｓｙｓｔｅｍｓ， ｍａｃｈｉｎｅ－ ｔｒａｎｓｌａｔｉｏｎ ｓｙｓ－ ｔｅｍｓ， ｔｅｘｔ ｃａｔｅｇｏｒｉｚａｔｉｏｎ ｓｙｓｔｅｍｓ， ｅｔｃ．Ａｉｍｉｎｇ ａｔ ａ ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒｉｔｙ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｋｅｙ ｗｏｒｄｓ， ａｎ ｉｍｐｒｏｖｅｄ ｍｅｔｈｏｄ ｉｓ ｐｕｔ ｆｏｒ－ ｗａｒｄ， ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｋｅｙｗｏｒｄｓ， ａｎｄ ｔｈｅ ｉｎｄｕｃｔｉｏｎ ｏｆ ｓｙｎｏｎｙｍｓ ｉｎ ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒｉｔｙ ｄｅｆｉｎｉｔｉｏｎ．Ａｎｄ ｏｎ ｔｈｉｓ ｂａｓｉｓ， ａ ｑｕｅｓｔｉｏｎ ａｎｓｗｅｒ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ＦＡＱ（ Ｆｒｅｑｕｅｎｔｌｙ Ａｓｋｅｄ Ｑｕｅｓｔｉｏｎ） ｉｓ ｉｍｐｌｅｍｅｎｔｅｄ．Ｔｈｉｓ ｓｙｓｔｅｍ ｉｎｖｏｌｖｅｓ ａｕｔｏｍａｔｉｃａｌｌｙ ｓｅａｒｃｈｉｎｇ ｆｏｒ ｃａｎｄｉｄａｔｅ ｑｕｅｓｔｉｏｎ ｓｅｔ， ｃｏｍｐｕｔｉｎｇ ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒｉｔｙ ａｎｄ ｒｅｔｕｒｎｉｎｇ ｔｈｅ ａｎｓｗｅｒ ｔｏ ｔｈｅ ｕｓｅｒ．Ｔｈｉｓ ｓｙｓｔｅｍ ｃａｎ ａｌｓｏ ａｕｔｏｍａｔｉｃａｌｌｙ ｕｐｄａｔｅ ａｎｄ ｍａｉｎｔａｉｎ ＦＡＱ．Ｅｘｐｅｒｉｍｅｎｔｓ’ｒｅｓｕｌｔ ｓｈｏｗｓ ｔｈａｔ ｔｈｅ ｎｅｗ ｍｅｔｈｏｄ ｈａｓ ｍｏｒｅ ａｃｃｕｒａｃｙ ｔｈａｎ ｔｈｅ ｏｔｈｅｒｓ ｉｎ ｍａｔｃｈｉｎｇ ｑｕｅｓ－ ｔｉｏｎｓ ｏｆ ｑｕｅｓｔｉｏｎ ａｎｓｗｅｒｉｎｇ ｓｙｓｔｅｍ． Ｋｅｙ ｗｏｒ ｄｓ： ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ； ｓｅｎｔｅｎｃｅ ｓｉｍｉｌａｒｉｔｙ； Ｆｒｅｑｕｅｎｔｌｙ Ａｓｋｅｄ Ｑｕｅｓｔｉｏｎ； ｑｕｅｓｔｉｏｎ ａｎｓｗｅｒ
对每个句子分词后， 然后要进行词性标记从而区分是否为名词
和动词。同时为了更进准确的计算句子的相似度， 我们引入了
同义词词典。如： 句子“怎么杀计算机病毒？ ”和句子“怎么杀电
脑病毒？ ”是基本一样的。其中“计算机”和“电脑”是同义词。
定义 ２ 句长相似度 ＬｅｎＳｉｍ（ Ｓ１， Ｓ２） 从句子长度上来标注句子的相似性， 在一定程度上也反映
２．２ 关键词抽取
由 语 言 学 知 识 可 知 ， 任 何 句 子 都 是 由 关 键 成 分（ 主 、谓 、宾 等） 和修饰成分（ 定、状、补等） 构成的。关键成分对句子起主要 作用， 修饰成分对句子起次要作用。进行句子相似度计算时， 只 要考虑句中的关键成分。基于词的方法不考虑句法结构分析， 因此， 不能确定句子的内部成分， 包括关键成分和修饰成分。在 通常情况下， 一个句子中作主语和宾语的多为名词或代词， 作 谓语的多为动词或形容词。因此， 可以将一个句子中的所有名 词、代词、动词和形容词作为关键词， 并在计算句子相似度时只 考虑这些关键词。例如， 句子“我 当然 愿意 了解 她们 的
句子形态上的相似性。其计算方法如下：
! " ＬｅｎＳｉｍ（ Ｓ１， Ｓ２） ＝１－ 绝对值
Ｌｅｎ（ Ｓ１） － Ｌｅｎ（ Ｓ２） Ｌｅｎ（ Ｓ１） ＋ Ｌｅｎ（ Ｓ２）
其中 Ｌｅｎ（ Ｓｉ） 表示 Ｓｉ 中（ 关键） 词的个数， ｉ＝１， ２。
定义 ３ 词序相似性 ＯｒｄＳｉｍ（ Ｓ１， Ｓ２）
从关键词的顺序上来标注句子的相似性， 反映两个句子中
究方向为知识发现与智能系统， 柔性建模与集成技术。
１６６ ２００８， ４４（ １）
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用
要求。”的关键词序列为“我 愿意 了解 她们 要求。”。对于 特定句中的某个名词、代词、动词或形容词， 不一定就是该句中 的 主 语 、宾 语 或 谓 语 成 分 ， 但 相 对 于 句 中 所 有 的 词 构 成 的 词 序 列而言， 关键词序列却具有一定的句法结构信息表达能力， 至 少可以了解句子中的哪些词在组成句子框架结构方面是比较 重要的。在此基础上进行相似度计算， 比一般基于词的方法更 准确一些。
的疑问词及停用词表中的词， 如： 为什么、怎么样、如何、的、地、
得等。Ｗｏｒｄ（ Ｓｉ） 表示 Ｓｉ 中的关键词个数， ｉ＝１， ２。 在实践过程中发现名词和动词在句子中起着非常重要的
作用， 并且名词比动词承载着更多的信息量。一个句子的中心
信息基本上都是围绕着动词和名词来展开的， 所以在进行计算
的时候也特意加大了名词和动词的重要程度， 将句子的重心落
由此， 可以得到句子的词形相似度。句子的相似度除了与
关键词有关外， 还与句子长度、句子中关键词的顺序、关键词之
间的距离有关， 下面给出具体的定义与计算方法。
定义 １ 词形相似度 ＷｏｒｄＳｉｍ（ Ｓ１， Ｓ２） 从句子形态以及词形上来标注句子的相似性， 反映句子形
态 上 的 相 似 性 。ＷｏｒｄＳｉｍ（ Ｓ１， Ｓ２） 表 示 Ｓ１ 与 Ｓ２ 中 相 同 关 键 词 的 个数。则词形相似度可以根据 Ｊａｃｃａｒｄ 系数来计算。其计算方法
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用
２００８， ４４（ １） １６５
句子相似度计算新方法及在问答系统中的应用
周法国， 杨炳儒 ＺＨＯＵ Ｆａ－ ｇｕｏ， ＹＡＮＧ Ｂｉｎｇ－ ｒｕ
北京科技大学 信息工程学院， 北京 １０００８３ Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｂｅｉｊｉｎｇ， Ｂｅｉｊｉｎｇ １０００８３， Ｃｈｉｎａ
２ 句子相似度计算的新方法 ２．１ 常见句子相似度计算方法
在相似度计算中， 按照对语句的分析深度来看， 主要存在 两种方法：（ １） 基于向量空间模型的方法， 即基于词的方法。该 方法把句子看成词的线性序列， 不对语句进行语法结构分析，
相应的语句相似度衡量机制只能利用句子的表层信息， 即组成 句子的词的词频、词性等信息［４］。由于不加任何结构分析， 该方 法在计算语句之间的相似度时不能考虑句子整体结构的相似 性。（ ２） 基于语义的方法， 对语句进行完全的句法与语义分析， 这是一种深层结构分析法， 对被比较的两个句子进行深层的句 法分析， 找出语义依存关系， 并在依存分析结果的基础上进行 相 似 度 计 算 ［５］。 本 文 是 在 基 于 词 的 方 法 的 基 础 上 充 分 考 虑 了 同 义词与近义词。
在名词和动词上面。这相同并且都是名词， 相同个数以 ５ 计， 若两个词相同并
且 都 是 动 词 ， 相 同 个 数 以 ３ 计 ， 在 计 算 Ｓｉ 中 的 关 键 词 个 数 时 ， 名词的个数也按 ５ 计， 动词个数以 ３ 计， 即一个名词实际出现