6个方面分析知识图谱的价值和应用

合集下载

知识图谱概述及应用

知识图谱概述及应用

导读:知识图谱(Knowledge Graph) 是当前的研究热点。

自从2012年Google推出自己第一版知识图谱以来,它在学术界和工业界掀起了一股热潮。

各大互联网企业在之后的短短一年内纷纷推出了自己的知识图谱产品以作为回应。

比如在国内,互联网巨头百度和搜狗分别推出”知心“和”知立方”来改进其搜索质量。

那么与这些传统的互联网公司相比,对处于当今风口浪尖上的行业- 互联网金融,知识图谱可以有哪方面的应用呢?目录:1. 什么是知识图谱?2. 知识图谱的表示3. 知识图谱的存储4. 应用5. 挑战6. 结语1.什么是知识图谱?知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。

在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。

知识图谱是关系的最有效的表示方式。

通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。

知识图谱提供了从“关系”的角度去分析问题的能力。

知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。

不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。

比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

另外,对于稍微复杂的搜索语句比如”Who is the wife of Bill Gates“,Google能准确返回他的妻子Melinda Gates。

这就说明搜索引擎通过知识图谱真正理解了用户的意图。

上面提到的知识图谱都是属于比较宽泛的范畴,在通用领域里解决搜索引擎优化和问答系统(Question-Answering)等方面的问题。

接下来我们看一下特定领域里的(Domain-Specific) 知识图谱表示方式和应用,这也是工业界比较关心的话题。

知识图谱应用案例

知识图谱应用案例

知识图谱应用案例知识图谱作为一种结构化的知识表示方法,已经在各个领域得到了广泛的应用。

它可以帮助人们更好地理解和利用各种知识资源,为各种应用场景提供支持。

下面我们将介绍一些知识图谱在不同领域的应用案例,以便更好地了解知识图谱的潜力和价值。

首先,知识图谱在搜索引擎中的应用是比较典型和广泛的。

通过构建知识图谱,搜索引擎可以更好地理解用户的查询意图,提供更加精准的搜索结果。

例如,当用户搜索“巴黎塔”时,知识图谱可以帮助搜索引擎理解“巴黎塔”是一座地标建筑,从而提供相关的信息和图片,而不仅仅是简单的关键词匹配。

其次,知识图谱在智能问答系统中也有重要的应用。

通过构建领域知识图谱,智能问答系统可以更好地理解用户的问题,并且基于知识图谱中的结构化信息进行推理和回答。

这种方式可以大大提高问答系统的准确性和可靠性,使得用户可以更加方便地获取所需信息。

另外,知识图谱在推荐系统中也有着重要的应用。

通过构建用户画像和商品知识图谱,推荐系统可以更好地理解用户的兴趣和需求,从而提供更加个性化和精准的推荐结果。

这种方式可以提高推荐系统的用户满意度,帮助用户更快地找到自己感兴趣的内容。

此外,知识图谱在医疗领域也有着重要的应用。

通过构建医疗知识图谱,可以帮助医生更好地理解疾病和治疗方法之间的关系,从而提供更加个性化和精准的诊断和治疗方案。

这种方式可以提高医疗资源的利用效率,提高医疗服务的质量。

最后,知识图谱在金融领域也有着重要的应用。

通过构建金融知识图谱,可以帮助金融机构更好地理解客户和产品之间的关系,从而提供更加个性化和精准的金融服务。

这种方式可以提高金融机构的运营效率,降低风险,提高盈利能力。

综上所述,知识图谱在各个领域都有着重要的应用价值,它可以帮助人们更好地理解和利用各种知识资源,为各种应用场景提供支持。

随着技术的不断进步和应用场景的不断丰富,相信知识图谱的应用将会越来越广泛,发挥出越来越大的作用。

知识图谱在智能问答系统中的应用与推理能力提升

知识图谱在智能问答系统中的应用与推理能力提升

知识图谱在智能问答系统中的应用与推理能力提升摘要:智能问答系统(QA)作为人工智能领域的重要研究方向,旨在模拟人类的理解和推理能力,从文本中获取信息并回答用户的问题。

近年来,知识图谱(KG)作为一种结构化的知识表示方式,为智能问答系统提供了丰富的语义信息和推理能力,极大地推动了问答系统的性能提升。

本文将详细介绍知识图谱在智能问答系统中的应用,包括知识图谱的构建、知识图谱的查询、基于知识图谱的语义理解和推理,以及知识图谱在不同类型问答系统中的应用。

此外,本文还将探讨知识图谱如何提升智能问答系统的推理能力,并展望知识图谱在未来智能问答系统发展中的作用。

关键词:智能问答系统,知识图谱,语义理解,推理,应用1. 绪论1.1 智能问答系统的研究背景与意义智能问答系统 (QA) 是模拟人类理解和推理能力,从文本中获取信息并回答用户问题的系统。

近年来,随着人工智能技术的快速发展,智能问答系统在各个领域展现出巨大的应用潜力,例如:*信息检索与搜索:提升搜索引擎的效率和准确性,提供更加精准的答案。

*客户服务与客服:通过智能问答系统,自动化解决用户常见问题,提升服务效率。

*教育与教学:提供个性化的学习指导和辅助学习,提高学习效率。

*医疗与健康:协助医生诊断疾病,提供医疗建议,提高诊断效率和治疗效果。

1.2 知识图谱在智能问答系统中的应用价值传统问答系统主要依赖于统计语言模型和机器学习技术,难以理解复杂语义和进行深层推理。

而知识图谱作为一种结构化的知识表示方式,以实体和关系的形式存储世界知识,能够有效解决传统问答系统面临的挑战。

知识图谱在智能问答系统中的应用价值主要体现在以下几个方面:*提供丰富的语义信息:知识图谱包含大量的实体和关系,可以为问答系统提供丰富的语义信息,提高对问题的理解能力。

*增强推理能力:知识图谱可以进行逻辑推理,通过已知实体和关系推断出新的信息,解决复杂问题。

*提高答案的准确性和可解释性:知识图谱可以为答案提供可靠的来源和证据,提高答案的准确性和可解释性。

6个方面分析学习知识图谱的价值和应用

6个方面分析学习知识图谱的价值和应用

6个方面分析知识图谱的价值和应用知识对于人工智能的价值就在于,让机器具备认知能力和理解能力。

构建知识图谱这个过程的本质,就是让机器形成认知能力,理解这个世界。

一、知识图谱无处不在说到人工智能技术,人们首先会联想到深度学习、机器学习技术;谈到人工智能应用,人们很可能会马上想起语音助理、自动驾驶等等,各行各业都在研发底层技术和寻求AI场景,却忽视了当下最时髦也很重要的AI技术:知识图谱。

当我们进行搜索时,搜索结果右侧的联想,来自于知识图谱技术的应用。

我们几乎每天都会接收到各种各样的推荐信息,从新闻、购物到吃饭、娱乐。

个性化推荐作为一种信息过滤的重要手段,可以依据我们的习惯和爱好推荐合适的服务,也来自于知识图谱技术的应用。

搜索、地图、个性化推荐、互联网、风控、银行……越来越多的应用场景,都越来越依赖知识图谱。

二、知识图谱与人工智能的关系知识图谱用节点和关系所组成的图谱,为真实世界的各个场景直观地建模。

通过不同知识的关联性形成一个网状的知识结构,对机器来说就是图谱。

形成知识图谱的过程本质是在建立认知、理解世界、理解应用的行业或者说领域。

每个人都有自己的知识面,或者说知识结构,本质就是不同的知识图谱。

正是因为有获取和形成知识的能力,人类才可以不断进步。

知识图谱对于人工智能的重要价值在于,知识是人工智能的基石。

机器可以模仿人类的视觉、听觉等感知能力,但这种感知能力不是人类的专属,动物也具备感知能力,甚至某些感知能力比人类更强,比如:狗的嗅觉。

而“认知语言是人区别于其他动物的能力,同时,知识也使人不断地进步,不断地凝练、传承知识,是推动人不断进步的重要基础。

”知识对于人工智能的价值就在于,让机器具备认知能力。

而构建知识图谱这个过程的本质,就是让机器形成认知能力,去理解这个世界。

三、图数据库知识图谱的图存储在图数据库(Graph Database)中,图数据库以图论为理论基础,图论中图的基本元素是节点和边,在图数据库中对应的就是节点和关系。

知识图谱技术在专利分析中的应用研究

知识图谱技术在专利分析中的应用研究

知识图谱技术在专利分析中的应用研究随着科技的快速发展,全球范围内的专利申请数量持续增长,专利数据中蕴含着海量的技术信息。

如何高效地从这些专利数据中提取有价值的知识,成为了专利分析的重要课题之一。

而知识图谱技术作为一种新兴的技术手段,其应用于专利分析中,可以帮助用户更好地理解专利之间的关系,挖掘技术信息,辅助决策制定。

本文将介绍知识图谱技术在专利分析中的应用研究,并探讨其未来的发展方向。

一、知识图谱技术的基本原理知识图谱技术是一种将具有丰富语义的结构化数据以图谱的形式组织起来的技术。

其基本原理包括三个方面:知识表示、知识获取和知识推理。

1.知识表示知识图谱中的知识以三元组(主体-谓词-客体)的形式表示,即将实体(Entity)和实体之间的关系(Relation)组织起来。

实体可以是具体的人、物、事物,关系描述了实体之间的联系和属性。

通过这种方式,可以将各种知识点构建成一个庞大而丰富的知识网络。

2.知识获取知识获取是指从结构化和非结构化数据中提取语义信息的过程。

在专利分析中,可以通过文本解析、自然语言处理等技术,从专利全文中提取出实体和关系,并构建知识图谱。

3.知识推理知识推理是指在已有的知识图谱中进行新知识的推断。

通过对知识图谱中的实体和关系进行逻辑推理,可以发现隐藏在专利数据中的潜在规律和趋势。

二、知识图谱在专利分析中的应用研究1.相似专利检索基于知识图谱的相似专利检索可以帮助用户快速找到与目标专利相似的其他专利。

在知识图谱中,可以通过分析实体的语义属性和关系,在专利数据中挖掘出隐藏的相似性。

例如,通过比较专利中的关键词、引用文献、专利申请人等信息,可以找到与目标专利相关的其他专利,提供给用户参考。

2.技术领域分析知识图谱可以帮助用户对特定技术领域进行深入分析。

通过构建技术领域的知识图谱,可以从中提取关键词、专利申请人、引用关系等信息,了解该领域的发展趋势、主要参与者以及技术演进的关键节点。

这对于企业决策者和科研人员来说,有助于制定战略规划和创新方向。

知识图谱技术综述

知识图谱技术综述

知识图谱技术综述一、本文概述随着信息技术的飞速发展,大数据和已成为推动社会进步的重要驱动力。

在海量数据中,知识图谱作为一种结构化、语义化的知识表示方法,逐渐成为知识工程、自然语言处理、机器学习和数据挖掘等领域的研究热点。

本文旨在全面综述知识图谱技术的发展历程、现状及其在各领域的应用,探讨知识图谱的构建方法、关键技术和未来发展趋势。

通过对相关文献的梳理和分析,本文将为读者提供一个清晰、系统的知识图谱技术全貌,为相关领域的研究和实践提供有益的参考和启示。

二、知识图谱的构建知识图谱的构建是知识图谱技术的核心环节,其过程涵盖了数据的收集、预处理、实体识别、关系抽取、知识融合以及知识存储等多个步骤。

数据收集:知识图谱的构建首先需要大量的数据作为支撑,这些数据可以来源于公开的数据集,如Freebase、DBpedia等,也可以来源于特定领域的数据资源,如学术论文、新闻报道、社交媒体等。

数据收集阶段需要确定数据来源,并设计合理的数据抓取策略。

数据预处理:收集到的原始数据通常包含大量的噪声和冗余信息,因此需要进行预处理以提高数据质量。

预处理步骤包括数据清洗、文本分词、去除停用词、词干提取等。

还需要对文本数据进行归一化处理,如实体名称的规范化、拼写校正等。

实体识别:实体识别是知识图谱构建中的关键步骤,其目的是从文本数据中识别出具有实际意义的实体,如人名、地名、组织机构名等。

实体识别可以采用基于规则的方法、基于统计的方法或基于深度学习的方法。

实体识别结果的准确性将直接影响后续关系抽取和知识融合的效果。

关系抽取:关系抽取是指从文本数据中抽取出实体之间的关系,形成结构化的知识。

关系抽取的方法可以分为基于规则的方法、基于模板的方法、基于监督学习的方法和基于深度学习的方法等。

其中,基于深度学习的方法近年来取得了显著的进展,尤其是在处理大规模数据集时表现出了良好的性能。

知识融合:知识融合是将从不同来源抽取的知识进行合并和整合的过程。

知识图谱在金融领域的应用研究

知识图谱在金融领域的应用研究

知识图谱在金融领域的应用研究随着人工智能技术的不断进步,知识图谱作为人工智能领域的一项重要技术,越来越受到金融领域的重视和广泛运用。

知识图谱是将大量的实体、概念和关系结构化的知识库,能够帮助金融机构挖掘出海量的数据价值,提高业务水平和服务质量。

本文将介绍知识图谱在金融领域的应用研究,并分析其未来的发展趋势。

一、金融领域知识图谱的应用1.智能投顾智能投顾是指利用人工智能和大数据技术,为客户提供个性化的投资建议和风险管理服务。

知识图谱可以通过自然语言处理技术和大数据模型,将客户的个人资产、收入、消费、投资偏好等信息分析出来,帮助金融机构了解客户的真实需求和风险承受能力。

此外,知识图谱还可以通过对金融市场、行业、公司等各类信息的分析,帮助客户更好地理解市场趋势和行业发展,得出最优的投资方案。

2.风险管理在金融领域,风险管理是一项非常重要的业务。

知识图谱可以通过深度学习技术和大数据模型,分析金融市场、宏观经济和行业等各类信息,帮助银行和保险公司更好地评估风险和管理风险。

例如,在债券市场上,知识图谱可以通过数据建模和研究,实时监测债券的风险状态和流动性,提供可靠的风险评估和投资建议。

3.金融诈骗监测金融诈骗是一件严重的事情,它不仅会给客户带来巨大的损失,还会大大破坏金融机构的声誉和信誉。

知识图谱可以通过对数据的挖掘和分析,识别出金融欺诈活动的特征和模式,辅助金融机构及时发现和预防欺诈事件的发生。

例如,在互联网金融领域,知识图谱可以通过分析客户的行为、历史交易数据、社交媒体信息等,帮助机构识别可疑的交易行为和欺诈活动,提供及时的预警和风险管理建议。

二、金融领域知识图谱的未来发展趋势1.知识图谱与区块链的融合区块链是金融领域的新兴技术,它具有去中心化、可信和不可篡改的特性,在金融行业具有广泛的应用前景。

知识图谱可以通过与区块链的结合,建立更加完备和可靠的数据体系,提高金融机构的业务效率和服务质量。

2.知识图谱与智能合约的结合智能合约是一种自动化的计算机程序,它可以自动执行合同中的条款和条件,辅助金融机构实现自动化的业务流程和操作。

智慧审计的七种武器之知识图谱

智慧审计的七种武器之知识图谱

智慧审计的七种武器之知识图谱(来源:德勤微信公众号,2019-05-20)一、前言在大数据和人工智能时代,数据是非常重要的资源。

通过知识图谱,可以将企业海量且繁杂的数据内容整合为一个知识网络,从而突破关系型数据库的限制,更精准、迅速地攫取数据价值,提高内审的效率和精度,为企业打造更加高效、专业的风险管理方案。

二、正文1、形态随着大数据时代的到来,大数据分析技术受到了广泛关注,而将海量的数据转化为知识,是大数据分析的关键。

知识图谱技术提供了一种从海量非结构化数据(如文本、图像)中抽取计算机能够理解的结构化数据的手段,对大数据时代的知识获取、知识共享、知识创新具有非常重要的应用价值。

知识图谱是语义网络的知识库,以语义网络为基础,结合自然语言处理、机器学习、数据挖掘、知识表示等技术,旨在描述客观世界的概念实体事件以及其之间的关系。

通过知识图谱可以高效直观地刻画目标主体(如企业、事件等)之间地关联网络,从而全维度地对企业进行画像,立体复现主体的真实情况和错综复杂的关系。

2、招式相对于传统的知识表示形式,知识图谱可提供更多的隐含知识。

利用知识图谱技术,可以将银行内部、外部海量且繁杂的数据内容整合为一个统一的知识网络,通过与银行业务经验相结合,实现知识图谱技术在银行内部审计中的具体应用。

●反欺诈除了通过信息造假等手段进行欺诈申请外,不少欺诈会涉及团伙作案并形成复杂的关联网络,这就给反欺诈审核带来了新的挑战。

知识图谱包含丰富复杂的关系,这种直观的表示方法可以帮助我们更有效地分析复杂关系中潜在的风险。

●企业风险图谱由于企业业务间的交叉、创新,外部的风险对企业的影响越来越大。

通过构建企业风险图谱可以描绘企业风险视图全貌,结合外部风险点,实现内外部风险数据的融合,从而高效地感知外部风险的传导、渗透对企业的影响。

如果某公司风险发生变动,可以通过经营关系、担保关系、投资等关系进行传播,通过知识图谱可以轻松通过复杂网络挖掘进行判断。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

6个方面分析知识图谱的价值和应用知识对于人工智能的价值就在于,让机器具备认知能力和理解能力。

构建知识图谱这个过程的本质,就是让机器形成认知能力,理解这个世界。

一、知识图谱无处不在说到人工智能技术,人们首先会联想到深度学习、机器学习技术;谈到人工智能应用,人们很可能会马上想起语音助理、自动驾驶等等,各行各业都在研发底层技术和寻求AI场景,却忽视了当下最时髦也很重要的AI技术:知识图谱。

当我们进行搜索时,搜索结果右侧的联想,来自于知识图谱技术的应用。

我们几乎每天都会接收到各种各样的推荐信息,从新闻、购物到吃饭、娱乐。

个性化推荐作为一种信息过滤的重要手段,可以依据我们的习惯和爱好推荐合适的服务,也来自于知识图谱技术的应用。

搜索、地图、个性化推荐、互联网、风控、银行……越来越多的应用场景,都越来越依赖知识图谱。

二、知识图谱与人工智能的关系知识图谱用节点和关系所组成的图谱,为真实世界的各个场景直观地建模。

通过不同知识的关联性形成一个网状的知识结构,对机器来说就是图谱。

形成知识图谱的过程本质是在建立认知、理解世界、理解应用的行业或者说领域。

每个人都有自己的知识面,或者说知识结构,本质就是不同的知识图谱。

正是因为有获取和形成知识的能力,人类才可以不断进步。

知识图谱对于人工智能的重要价值在于,知识是人工智能的基石。

机器可以模仿人类的视觉、听觉等感知能力,但这种感知能力不是人类的专属,动物也具备感知能力,甚至某些感知能力比人类更强,比如:狗的嗅觉。

而“认知语言是人区别于其他动物的能力,同时,知识也使人不断地进步,不断地凝练、传承知识,是推动人不断进步的重要基础。

”知识对于人工智能的价值就在于,让机器具备认知能力。

而构建知识图谱这个过程的本质,就是让机器形成认知能力,去理解这个世界。

三、图数据库知识图谱的图存储在图数据库(Graph Database)中,图数据库以图论为理论基础,图论中图的基本元素是节点和边,在图数据库中对应的就是节点和关系。

用节点和关系所组成的图,为真实世界直观地建模,支持百亿量级甚至千亿量级规模的巨型图的高效关系运算和复杂关系分析。

目前市面上较为流行的图数据库有:Neo4j、Orient DB、Titan、Flock DB、Allegro Graph等。

不同于关系型数据库,一修改便容易“牵一发而动全身”图数据库可实现数据间的“互联互通”,与传统的关系型数据库相比,图数据库更擅长建立复杂的关系网络。

图数据库将原本没有联系的数据连通,将离散的数据整合在一起,从而提供更有价值的决策支持。

四、知识图谱的价值知识图谱用节点和关系所组成的图谱,为真实世界的各个场景直观地建模,运用“图”这种基础性、通用性的“语言”,“高保真”地表达这个多姿多彩世界的各种关系,并且非常直观、自然、直接和高效,不需要中间过程的转换和处理——这种中间过程的转换和处理,往往把问题复杂化,或者遗漏掉很多有价值的信息。

在风控领域中,知识图谱产品为精准揭露“欺诈环”、“窝案”、“中介造假”、“洗钱”和其他复杂的欺诈手法,提供了新的方法和工具。

尽管没有完美的反欺诈措施,但通过超越单个数据点并让多个节点进行联系,仍能发现一些隐藏信息,找到欺诈者的漏洞,通常这些看似正常不过的联系(关系),常常被我们忽视,但又是最有价值的反欺诈线索和风险突破口。

尽管各个风险场景的业务风险不同,其欺诈方式也不同,但都有一个非常重要的共同点——欺诈依赖于信息不对称和间接层,且它们可以通过知识图谱的关联分析被揭示出来,高级欺诈也难以“隐身”。

凡是有关系的地方都可以用到知识图谱,事实上,知识图谱已经成功俘获了大量客户,且客户数量和应用领域还在不断增长中,包括沃尔玛、领英、阿迪达斯、惠普、FT 金融时报等知名企业和机构。

目前知识图谱产品的客户行业,分类主要集中在:社交网络、人力资源与招聘、金融、保险、零售、广告、物流、通信、IT、制造业、传媒、医疗、电子商务和物流等领域。

在风控领域中,知识图谱类产品主要应用于反欺诈、反洗钱、互联网授信、保险欺诈、银行欺诈、电商欺诈、项目审计作假、企业关系分析、罪犯追踪等场景中。

那相比传统数据存储和计算方式,知识图谱的优势显现在哪里呢?(1)关系的表达能力强传统数据库通常通过表格、字段等方式进行读取,而关系的层级及表达方式多种多样,且基于图论和概率图模型,可以处理复杂多样的关联分析,满足企业各种角色关系的分析和管理需要。

(2)像人类思考一样去做分析基于知识图谱的交互探索式分析,可以模拟人的思考过程去发现、求证、推理,业务人员自己就可以完成全部过程,不需要专业人员的协助。

(3)知识学习利用交互式机器学习技术,支持根据推理、纠错、标注等交互动作的学习功能,不断沉淀知识逻辑和模型,提高系统智能性,将知识沉淀在企业内部,降低对经验的依赖。

(4)高速反馈图式的数据存储方式,相比传统存储方式,数据调取速度更快,图库可计算超过百万潜在的实体的属性分布,可实现秒级返回结果,真正实现人机互动的实时响应,让用户可以做到即时决策。

五、知识图谱的主要技术5.1 知识建模知识建模,即为知识和数据进行抽象建模,主要包括以下5个步骤:以节点为主体目标,实现对不同来源的数据进行映射与合并。

(确定节点)利用属性来表示不同数据源中针对节点的描述,形成对节点的全方位描述。

(确定节点属性、标签)利用关系来描述各类抽象建模成节点的数据之间的关联关系,从而支持关联分析。

(图设计)通过节点链接技术,实现围绕节点的多种类型数据的关联存储。

(节点链接)使用事件机制描述客观世界中动态发展,体现事件与节点间的关联,并利用时序描述事件的发展状况。

(动态事件描述)5.2 知识获取从不同来源、不同结构的数据中进行知识提取,形成知识存入到知识图谱,这一过程我们称为知识获取。

针对不同种类的数据,我们会利用不同的技术进行提取。

从结构化数据库中获取知识:D2R。

难点:复杂表数据的处理。

从链接数据中获取知识:图映射。

难点:数据对齐。

从半结构化(网站)数据中获取知识:使用包装器。

难点:方便的包装器定义方法,包装器自动生成、更新与维护。

从文本中获取知识:信息抽取。

难点:结果的准确率与覆盖率。

5.3 知识融合如果知识图谱的数据源来自不同数据结构的数据源,在系统已经从不同的数据源把不同结构的数据提取知识之后,接下来要做的是把它们融合成一个统一的知识图谱,这时候需要用到知识融合的技术(如果知识图谱的数据结构均为结构化数据,或某种单一模式的数据结构,则无需用到知识融合技术)。

知识融合主要分为数据模式层融合和数据层融合,分别用的技术如下:数据模式层融合:概念合并、概念上下位关系合并、概念的属性定义合并。

数据层融合:节点合并、节点属性融合、冲突检测与解决(如某一节点的数据来源有:豆瓣短文、数据库、网页爬虫等,需要将不同数据来源的同一节点进行数据层的融合)。

由于行业知识图谱的数据模式通常采用自顶向下(由专家创建)和自底向上(从现有的行业标准转化,从现有高质量数据源(如百科)转化)结合的方式,在模式层基本都经过人工的校验,保证了可靠性,因此,知识融合的关键任务在数据层的融合。

5.4 知识存储图谱的数据存储既需要完成基本的数据存储,同时也要能支持上层的知识推理、知识快速查询、图实时计算等应用,因此需要存储以下信息:三元组(由开始节点、关系、结束节点三个元素组成)知识的存储、事件信息的存储、时态信息的存储、使用知识图谱组织的数据的存储。

其关键技术和难点就在于:大规模三元组数据的存储;知识图谱组织的大数据的存储;事件与时态信息的存储;快速推理与图计算的支持。

5.5 知识计算知识计算主要是在知识图谱中知识和数据的基础上,通过各种算法,发现其中显式的或隐含的知识、模式或规则等,知识计算的范畴非常大,这里主要讲三个方面:图挖掘计算:基于图论的相关算法,实现对图谱的探索和挖掘。

本体推理:使用本体推理进行新知识发现或冲突检测。

基于规则的推理:使用规则引擎,编写相应的业务规则,通过推理辅助业务决策。

5.6 图挖掘和图计算知识图谱之上的图挖掘和计算主要分以下6类:第一是图遍历,知识图谱构建完之后可以理解为是一张很大的图,怎么去查询遍历这个图,要根据图的特点和应用的场景进行遍历;第二是图里面经典的算法,如最短路径;第三是路径的探寻,即给定两个实体或多个实体去发现他们之间的关系;第四是权威节点的分析,这在社交网络分析中用的比较多;第五是族群分析;第六是相似节点的发现。

5.7 可视化技术目前两个比较常见的可视化工具是:D3.js和ECharts。

D3.js:全称Data-Driven Documents,是一个用动态图形显示数据的JavaScript库,一个数据可视化工具,它提供了各种简单易用的函数,大大方便了数据可视化的工作。

ECharts:是一款由百度前端技术部开发的,同样基于Javascript的数据可视化图标库。

它提供大量常用的数据可视化图表,底层基于ZRender(一个全新的轻量级canvas类库),创建了坐标系、图例、提示、工具箱等基础组件,并在此上构建出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图、力导向布局图以及和弦图,同时支持任意维度的堆积和多图表混合展现。

六、知识图谱的应用知识图谱的应用场景很多,除了问答、搜索和个性化推荐外,在不同行业不同领域也有广泛应用,以下列举几个目前比较常见的应用场景。

6.1 信用卡申请反欺诈图谱6.1.1 欺诈手法银行信用卡的申请欺诈包括个人欺诈、团伙欺诈、中介包装、伪冒资料等,是指申请者使用本人身份或他人身份或编造、伪造虚假身份进行申请信用卡、申请贷款、透支欺诈等欺诈行为。

欺诈者一般会共用合法联系人的一部分信息,如电话号码、联系地址、联系人手机号等,并通过它们的不同组合创建多个合成身份。

比如:3个人仅通过共用电话和地址两个信息,可以合成9个假名身份,每个合成身份假设有5个账户,总共约45个账户。

假设每个账户的信用等级为20000元,那么银行的损失可能高达900000元。

由于拥有共用的信息,欺诈者通过这些信息构成欺诈环。

一开始,欺诈环中的账户使用正常,欺诈者会进行正常的购买、支付和还款行为,这种行为称为“养卡”。

“养卡”了一段时间后,信用额度会有所增加,随着时间推移会增长到一个让欺诈者相对“满意”的额度。

突然有一天欺诈环“消失”了,环内成员都最大化地使用完信用额度后跑路了。

6.1.2 知识图谱解决信用卡申请反欺诈问题使用传统的关系数据库,来揭露欺诈环需要技术人员执行一系列的复杂连接和自连接,而且查询构建起来非常复杂,查询效率低、速度慢且成本高。

知识图谱产品利用图数据库的天然优势,直接将银行欺诈环节可能涉及的所有有用的数据字段:如申请号、账户、身份证、手机、地址、家庭电话、联系人、设备指纹等设计成图谱的节点,定义好图谱所需的所有节点和节点属性后,定义两两节点间的关系。

相关文档
最新文档