基于自动生成知识库的智能问答系统设计
自动生成知识库的设计和应用探索
DOI：10.16661/ki.1672-3791.2018.14.015自动生成知识库的设计和应用探索①王飞鸿（北京工业大学都柏林学院 北京 100124）摘 要：本文提出了一种基于自动生成知识库的智能问答系统。
利用爬虫知识从网页爬取有用信息作为QA对；通过关键词匹配的算法改进制作推理机；在生成知识库时，将QA对的答案提取出关键词，并存储到知识库中，作为用户匹配QA对的关键数据。
若网页中有描述即直接取，没有描述则用算法提取；通过与用户的交互，自动反馈更新知识库，使知识库越用越准确。
关键词：自动生成 知识库 推理机中图分类号：TP393.0 文献标识码：A 文章编号：1672-3791(2018)05(b)-0015-04①作者简介：王飞鸿（1997,4—），男，汉族，北京人，本科在读，研究方向：智能问答。
智能问答系统的基本特征是通过语法解析及语义分析，将庞杂的、无顺序的信息进行有序分类和科学归纳，并用搜索的方式快速查询答案返回给用户。
知识库是智能问答系统的关键部件和基础，其核心技术方法是知识抽取、问句语义表征和答案生成。
近些年我国的研究成果，如句法分析、语法分析等自然语言处理工具，以及讯飞语点、搜狗语音助手等语音识别工具，为汉语知识库问答研究奠定了比较好的基础。
现阶段知识库问答性能受到问句语义表征准确性、问答对训练数据规模等因素的影响，在基于问句的搜索引擎中，返回的答案准确性过低，不能对专业领域和同一类问题作精准判别，阻碍了智能问答系统的发展。
为此，本文立足自动生成知识库的研究，通过模型构建，设计并实现了网站型智能问答系统（简称为WEBQA 系统）。
与其他问答系统实现相比，WEBQA系统提出的方法尝试从多重角度查找答案。
通过测试，相对于基于关键字匹配方法，系统具有更高的查询准确率；而对比基于模板匹配方法，系统更加灵活。
WEBQA系统具有以下几个特征。
(1)自动根据数据集生成知识库，通过文档结构树的方法提取QA对。
基于自然语言处理技术的智能问答系统设计和实现
基于自然语言处理技术的智能问答系统设计和实现一、引言智能问答系统是基于人工智能技术，集成了自然语言处理技术和知识图谱等多个技术领域，旨在能够像人一样理解自然语言，并给出准确的答案或解决方案，适用于各种场景。
本文将从设计和实现两个方面，较为详细地介绍基于自然语言处理技术的智能问答系统。
二、系统设计智能问答系统主要包括输入层、自然语言处理模块、知识库和答案生成模块等关键组成部分。
（一）输入层输入层是系统与外部的接口，通常采用文本输入方式，用户在输入框中输入问题进行交互。
与传统搜索引擎不同的是，用户输入的问题一般是以自然语言形式表述的，而不是关键词或短语，这就需要系统能够理解自然语言。
（二）自然语言处理模块自然语言处理（Natural Language Processing，简称NLP）技术是智能问答系统的关键技术之一。
NLP技术采用计算机科学、人工智能和语言学等多学科交叉的理论与技术手段，使计算机能够理解、生成和处理自然语言。
常见的自然语言处理技术包括分词、词性标注、命名实体识别、语义分析、语义匹配和问答匹配等。
这些技术通过将自然语言文本转换成计算机能够理解和处理的形式，为后续的知识库匹配和答案生成提供了基础。
（三）知识库知识库是智能问答系统的核心组成部分，其主要作用是存储各种类型的知识，并通过自然语言处理技术实现与用户输入问题的匹配。
知识库具有丰富的内容和灵活的结构，通常包括本体、实例、属性和关系等几个方面。
本体是知识库中概念的集合，通常使用RDF或OWL等语言来表示，是知识库的核心组成部分。
实例是本体中每个概念的具体实现，是知识库中最基本的单位。
属性是描述实例的特征或特性，关系是不同实例之间的关联关系。
知识库通过这些组成部分来存储和描述各类知识。
（四）答案生成模块答案生成模块是智能问答系统的最终输出层，其主要作用是生成符合用户输入问题的答案或解决方案。
答案生成模块需要根据知识库的内容和用户输入问题的语义进行匹配，并依据匹配后的结果生成相应的答案或解决方案。
基于人工智能的智能问答系统实现
基于人工智能的智能问答系统实现人工智能（AI）一直是科技领域的一个重要研究方向。
最近几年，随着人们对AI的研究深入，AI的应用领域也越来越广泛。
其中，基于人工智能的智能问答系统（Intelligent Question Answering System，以下简称IQAS）在实际应用中发挥越来越大的作用。
本文将介绍IQAS的基本原理、实现方法和应用场景。
一、IQAS的基本原理IQAS是一种基于自然语言理解（Natural Language Understanding，以下简称NLU）、知识表示（Knowledge Representation，以下简称KR）和推理引擎（Reasoning Engine，以下简称RE）等技术实现的智能问答系统。
IQAS的主要任务是根据用户的自然语言输入，理解用户的意图，从庞大的知识库中找到相关的答案，并将答案以自然语言的形式返回给用户。
为了实现IQAS，需要使用NLU技术将用户的自然语言输入转化为计算机能够理解的形式。
NLU技术包括词法分析、语法分析和语义分析等步骤。
其中，语义分析是最关键的一步，它可以将用户的自然语言输入映射到语义空间中的向量表示形式。
为了能够进行有效的语义分析，需要将庞大的知识库转化为适合计算机处理的知识表示形式。
这就需要使用KR技术将实际世界中的知识转化为计算机能够处理的形式，例如图谱、本体等。
最后，为了能够对知识进行推理和计算，需要使用RE技术实现推理引擎。
二、IQAS的实现方法IQAS有多种不同的实现方法。
其中，基于规则的IQAS是最传统的实现方法。
基于规则的IQAS使用一系列预定义的规则，根据用户的自然语言输入，逐个匹配规则，最终找到与用户意图最相符的规则，并返回预定义的答案。
尽管基于规则的IQAS具有一定的可扩展性和易用性，但是由于规则的复杂性，这种实现方法无法胜任大规模知识库的问答任务。
为了解决这个问题，基于统计模型的IQAS应运而生。
基于人工智能的智能问答系统
基于人工智能的智能问答系统人工智能（Artificial Intelligence，简称AI）作为一种新兴技术，在过去几年里得到了迅猛发展。
智能问答系统作为其中的一项重要应用，已经在多个领域得到广泛应用，如医疗、金融、教育等。
本文将从智能问答系统的定义、技术原理和应用前景三个方面进行介绍和探讨。
一、智能问答系统的定义智能问答系统，顾名思义，是利用人工智能技术实现的能够回答用户提出的问题的系统。
它不仅仅是将问题与预设的答案进行匹配，而是通过深度学习、自然语言处理、知识图谱等技术，能够理解问题的意思，并给出准确的答案或解决方案。
与传统的搜索引擎不同，智能问答系统更加注重对用户问题的深度解析和精准回答，并且可以进行多轮对话。
二、智能问答系统的技术原理智能问答系统的实现离不开以下几个关键技术：1. 自然语言处理（Natural Language Processing，NLP）自然语言处理是智能问答系统的基础技术之一。
通过构建机器学习模型和语言模型，系统可以分析和理解用户的自然语言输入，并将其转化为计算机可以处理的形式。
这样系统可以更好地抓住问题的核心信息，以便进行后续的答案生成和推理。
2. 知识图谱（Knowledge Graph）知识图谱是智能问答系统中用于存储和表示知识的关键技术。
它通过对实体和关系进行建模，构建一个具有结构化和语义化特点的知识库。
在回答用户问题时，系统可以根据知识图谱中的信息，从中提取相关的知识，并生成准确的答案。
3. 机器学习（Machine Learning）机器学习在智能问答系统中扮演着重要角色。
系统通过大量的数据训练和学习，提取模式和规律，从而提高对问题的理解和答案的生成能力。
通过不断的迭代和优化，系统的性能和准确度可以得到不断提升。
三、智能问答系统的应用前景基于人工智能的智能问答系统在未来有着广阔的应用前景。
以下是几个典型的应用场景：1. 在线客服在电子商务、金融等行业，智能问答系统可以作为在线客服的重要支持工具。
基于领域自适应理论的智能问答系统设计
基于领域自适应理论的智能问答系统设计智能问答系统是近年来人工智能领域的热门研究方向之一。
基于领域自适应理论的智能问答系统设计是为了更好地适应不同领域的问题和需求，提供准确、高效的答案。
本文将介绍该系统的设计思路、关键技术及应用场景，并探讨其未来发展趋势。
一、设计思路基于领域自适应理论的智能问答系统设计的核心思路是根据用户提出的问题，自动识别问题所属的领域，并从对应领域的知识库中获取相关答案。
在设计过程中，需要考虑以下几个方面：1. 领域识别：通过自然语言处理技术，对用户提问进行文本分类，将问题分到不同的领域中。
这可以采用机器学习算法，如朴素贝叶斯分类器、支持向量机等进行模型训练。
2. 知识库构建：为不同的领域构建相应的知识库，其中包含该领域的重要实体、规则、特定问题的答案等。
这需要利用信息抽取技术，从大规模的文本数据中自动提取知识，并通过人工校对和验证，构建可靠的知识库。
3. 问题解析：根据问题的语义和结构，解析用户提问的意图，以便进一步理解问题并确定查询的知识资源。
这涉及到自然语言处理中的知识表示、语义分析和推理等技术，如词嵌入、词义消歧、语法分析等。
4. 答案生成：根据问题的类型和需求，在知识库中检索相关的信息，并生成符合用户需求的答案。
这可能涉及到文本检索、关联度计算、句法结构生成等技术。
二、关键技术基于领域自适应理论的智能问答系统设计需要借助多个关键技术，下面我们逐一介绍这些关键技术：1. 自然语言处理：自然语言处理技术是智能问答系统的基础，包括文本分类、词义消歧、实体识别、语法分析、句法树解析等。
利用这些技术，系统能够理解用户提问的语义和结构，准确识别问题所属的领域。
2. 信息抽取与知识图谱：信息抽取技术可以从大量的文本数据中自动提取结构化的知识，并构建知识图谱。
知识图谱将实体、关系等知识以图谱的形式进行表示，为系统提供了丰富的知识资源，支持快速、准确的问题回答。
3. 机器学习与深度学习：机器学习和深度学习技术可以提高系统在领域识别、问题解析、答案生成等方面的性能。
使用AI技术进行智能问答与知识图谱构建
使用AI技术进行智能问答与知识图谱构建一、智能问答系统智能问答系统（Intelligent Question Answering, IQA）是一种基于人工智能技术的应用，旨在帮助用户快速准确地获取信息。
由于互联网上储存了大量的知识和数据，使用传统搜索引擎往往返回大量无关或重复的结果，给用户带来困扰。
而智能问答系统能够根据用户提供的问题进行语义理解和自动推理，并给出精确的回答或相关信息。
1.1 语义理解与自动回答实现智能问答系统首先需要进行语义理解，即将用户提出的问题转化为机器可以理解的形式。
常见的方法包括文本处理、词向量模型以及自然语言处理技术等。
通过对问题的分析和归纳，系统可以确定问题类型，并为后续步骤做好准备。
在获得了经过语义理解之后的问题后，接下来系统需要根据知识库或网络上的资源进行信息检索和推断，以获取与问题相关的答案和信息。
这就需要构建一个强大且可靠的知识图谱。
二、知识图谱构建知识图谱（Knowledge Graph）是一个结构化、链接和丰富的知识数据库，它抽象了现实世界中各种实体和关系之间的关联性。
通过将不同领域的知识与概念进行链接，构建了一个大规模的、多维度的知识网络。
因此，在智能问答系统中，构建一个精确而全面的知识图谱是非常重要的。
2.1 知识图谱构建过程知识图谱构建分为三个主要步骤：数据收集、知识抽取和关系建立。
* 数据收集：首先需要从可靠并且权威的数据源收集相关数据。
这些数据源可以是结构化、半结构化或者非结构化的信息，包括但不限于网页、语料库、数据库等。
* 知识抽取：在获取到原始数据后，需要使用信息抽取技术对其中的有用信息进行提取。
这可能涉及到实体提取、属性抽取及关系提取等任务。
* 关系建立：在得到抽取出来的实体、属性和关系之后，需要根据其内在联系，通过链接相应关联信息来构建一个完整而准确的知识图谱。
2.2 AI技术在知识图谱构建中的应用在传统的知识图谱构建中，大量的人工参与是不可避免的。
智能问答系统
智能问答系统一、介绍1.1 系统背景智能问答系统是一种基于技术的应用，旨在模拟人类智能，能够理解和回答用户提出的问题。
通过自然语言处理、机器学习和知识图谱等技术的支持，智能问答系统能够从海量的数据中提取有用的信息，为用户提供准确、快速的答案。
1.2 系统目标本智能问答系统的目标是实现以下功能： - 能够理解用户提出的自然语言问题；- 能够在海量的知识库中搜索相关信息，并准确的答案；- 能够与用户进行交互，提供友好的用户界面。
二、系统架构2.1 系统组成智能问答系统由以下组件构成：- 用户界面：提供给用户输入问题的界面，可以是文本输入框、语音输入等；- 自然语言处理模块：负责将用户输入的自然语言问题转化为计算机可理解的形式；- 知识库：存储了大量的结构化和半结构化数据，包括文本、图像、音频等形式的信息；- 问答匹配模块：根据用户提出的问题在知识库中搜索相关信息，并候选答案；- 答案模块：根据候选答案进行排序、过滤，并最终的答案；- 用户交互模块：将最终的答案返回给用户，并提供相关的推荐和补充信息。
2.2 系统流程智能问答系统的工作流程如下：1.用户通过用户界面输入问题；2.自然语言处理模块对问题进行分析和转化；3.问答匹配模块在知识库中搜索相关信息，候选答案；4.答案模块对候选答案进行排序和过滤，最终的答案；5.用户交互模块将答案返回给用户，并提供相关的推荐和补充信息。
三、技术实现3.1 自然语言处理技术自然语言处理技术是智能问答系统的核心技术之一，主要包括以下方面：- 分词：将输入的自然语言文本切分为一个个独立的词语；- 词性标注：对每个词语进行词性的标注，如名词、动词等；- 句法分析：分析句子的句法结构，包括主谓宾等关系；- 语义解析：将句子转化为逻辑形式，进行语义的理解；- 情感分析：分析句子的情感倾向，包括积极、消极等情感。
3.2 知识图谱技术知识图谱是智能问答系统的另一个重要支持技术，通过构建实体-关系-属性的网络结构，将知识进行表示和存储，便于系统对知识的理解和推理。
基于大数据的聊天机器人智能问答系统设计
基于大数据的聊天机器人智能问答系统设计在当前的互联网时代，人工智能（Artificial Intelligence, AI）已经成为了人们生活中不可或缺的一部分。
其中，聊天机器人作为人工智能的一种应用形式，被广泛用于各个领域。
基于大数据的聊天机器人智能问答系统在此背景下产生，并逐渐在各个领域得到广泛应用。
大数据是指以庞大、多样、高速的数据集为基础，通过一系列技术手段获得、存储、管理、分析和展示的一种新型数据体系。
大数据的特点是“4V”：数据量大（Volume）、数据种类多（Variety）、数据生成速度快（Velocity）和数据价值密度高（Value）。
借助大数据的技术手段和方法，聊天机器人智能问答系统能够更好地满足用户需求。
首先，基于大数据的聊天机器人智能问答系统具有良好的问题理解和处理能力。
大数据中存储了海量的用户问题和相应的答案，通过对这些问题和答案的分析和挖掘，聊天机器人可以快速理解用户提问的意图，找到相应的答案并提供给用户。
不仅如此，基于大数据的聊天机器人还能够通过聚类、分类等技术手段，将相似的问题进行归类和整理，为用户提供更高质量的回答。
其次，基于大数据的聊天机器人智能问答系统具有强大的知识储备和知识更新能力。
大数据中包含了各种各样的知识，包括综合性知识、专业知识、实时知识等。
通过对大数据中的知识进行整理、分类和标注，聊天机器人可以将这些知识存储在自己的数据库中，并在用户提问时迅速获取并回答问题。
另外，大数据中的知识是不断更新和充实的，聊天机器人可以通过自动学习和知识更新的方式保持自身的知识库与时俱进。
此外，基于大数据的聊天机器人智能问答系统还具有自然语言处理和情感分析的能力。
大数据中记录了大量的用户对话数据，通过对这些数据进行分析和挖掘，聊天机器人可以学习到丰富的自然语言表达方式和情感表达方式。
在用户提问时，聊天机器人不仅能够理解用户的语言，还能够根据用户表达的情感进行相应的回应，使得对话更加自然和流畅。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
知识库是智能问答系统的关键部件和基础，其核心技术 方法是知识抽取、问句语义表征和答案生成。近些年我国的 研究成果，如句法分析、语法分析等自然语言处理工具，以 及讯飞语点、搜狗语音助手等语音识别工具，为汉语知识库 问答研究奠定了比较好的基础。
尽管网页比纯文本的结构层的算法是放弃对网页标签结构的研究，即把一个网 页当成纯文本形式，将所有 h 标签作为问题。h 标签和 h 标 签中间必然存在解释前者的内容，将其分割后，一一对应提 取出来，作为常用答案库对加入数据库。
数据库表格成分为：
图 3 数据库描述词样例
每个网页都存在这种索引的代码，知识库的自动生成部 分可以从中提取专业名词加入词库中。原词库由 jieb（Python 语言中作中文 nlp 分析的库）提供，将提取出的专有名词以 中等频率写词库。专有名词能够在每句话中被分出，也可在 TF-IDF 算法中被识别为关键词。
词库应尽可能贴合知识库的方向。比如“云服务器是什 么？”用普通词库分出的关键词是“云”和“服务器”，而 想要的是“云服务器”这整个词，分词错误会影响后来的一 系列操作，所以应采用相关的词库，将描述的词加进词库。 把词频设为中等频率，因为过大的词频会影响推理机部分 TF-IDF 算法提取关键词，过小的词频又不能被分出。
知识库自动生成是通过自制定规则、借助标签从网页中 提取 QA 对，并通过文本结构树的思想整合答案的类型。
推理机处理模块通过问题分析、问题聚类取得用户的期 望问题类型和关键词。在此基础上，用关键词对知识库中总 结的概述词和答案进行文本相似度计算，得到目标答案。
-50-
2018-12 最终.indd 50
2018/6/8 20:40:53
CHINA SCIENCE AND TECHNOLOGY INFORMATION Jun.2018·中国科技信息 2018 年第 12 期
31 万～ 60 万◎
图 2 华为云网站页面样例
图 1 知识库自动生成流程图
WEBQA 系统立足实际应用，完成具有现实意义的目标： （1）减轻瞬间访问量。网上购物、业务咨询等方面的 问答需求量巨大，人工回答耗时耗力，智能问答可以减少人 工构建知识库的成本； （2）WEBQA 是基于一定领域开发的，针对一个领域 的开发，这样可以减少相关算法的复杂度和准确度。
◎ 31 万～ 60 万
中国科技信息 2018 年第 12 期·CHINA SCIENCE AND TECHNOLOGY INFORMATION Jun.2018 DOI：10.3969/j.issn.1001- 8972.2018.12.016
可实现度
可替代度
link
appraisement
北京工业大学，都柏林学院软件专业
标准问题：通过规则组合关键词生成 问题类型：通过问题分类得出 答案（常用答案库） 文本库（所有网页源码） 描述词：此数据的描述，由网页中提取出（如 3 图）。
推理机处理模块
构建推理机
根据文本相似度匹配算法，从问句分析着手，使用关键 词匹配和文本相似度匹配算法从知识库提取答案，如图 4 所 示。
WEBQA 系统的基本设计思路分两个步骤，即问题分析 和问题理解：首先对于用户输入的问题进行去除停用词，分 词并提出问句的关键词。再对问题做分类，以此提高准确度。 比如“服务器多少钱？”这种问题期望的答案是一个数字。 目前问题类型的识别方法有很多。在抽取问题的答案之前， 识别该问题的语义类型，再用关键词进行基于文本相似度匹 配的答案查询，其中将用到知识库中的概述词和问题答案， 使得抽取的答案更加精确。
行业曲线 industry
影响力
真实度
行业关联度
王飞鸿 基于自动生成知识库的
智能问答系统设计
本技术是一种基于自动生成知识库的智能问答系统。利 用爬虫知识从网页爬取有用信息作为 QA 对；通过关键词匹 配的算法改进制作推理机；在生成知识库时，将 QA 对的答 案提取出关键词，并存储到知识库中，作为用户匹配 QA 对 的关键数据。若网页中有描述即直接取，没有描述则用算法 提取；通过与用户的交互，自动反馈更新知识库，使知识库 越用越准确。
WEBQA 系统具有以下几个特征： （1）自动根据数据集生成知识库，通过文档结构树的 方法提取 QA 对。无需从大量篇幅中做语句分析或是实体识
别，从而提高系统效率和准确度； （2）自动收录专业名词训练词库。对用户提出的问题，
更准确地提取关键信息，从而使命中问答对数增高； （3）实现两种匹配方式：主题匹配和文本相似度匹配，
自动生成知识库
目前，自动生成知识库已作为实现实用的问答系统的一 个基本组成部分。WEBQA 系统针对网页形式的数据集自动 生成知识库，主要通过网页的标签进行答案的提取，并采用 创新的文本结构树算法对答案和问题进行分割，如图 1 所示。
WEBQA 系统基于网站生成知识库，利用网页中已有的 标签、结构进行实体提取。以华为云网站为例（图 2）。
现阶段知识库问答性能受到问句语义表征准确性、问答 对训练数据规模等因素的影响，在基于问句的搜索引擎中， 返回的答案准确性过低，不能对专业领域和同一类问题作精 准判别，阻碍了智能问答系统的发展。
为此，本文立足自动生成知识库的研究，通过模型构建， 设计并实现了网站型智能问答系统（简称为 WEBQA 系统）。 与其他问答系统实现相比，WEBQA 系统提出的方法尝试从 多重角度查找答案。通过测试，相对于基于关键字匹配方法， 系统具有更高的查询准确率；而对比基于模板匹配方法，系 统更加灵活。
不同于常规的关键词匹配； （4）通过与用户的交互实现知识库自我更新，使其提
供用户友好性。
系统模型
对于网站型智能问答的动态知识库系统，构建智能问答 系统模型，主要包括两个部分，一是自动生成知识库，建立 问题与答案的关系；二是创建推理机，知识推理需要知识库 所存储的知识作为基础，不同的知识表达方式在一定程度上 决定了特定的知识运用方式。