ElasticSearch技术分享PPT参考幻灯片
合集下载
ElasticSearch技术分享PPT参考幻灯片
存储数据节点，提供建立索引和查询索引的服务
0３ Client节点（node.master:false AND node.data:false）
又称coordinate节点和ingest节点，这些节点只负责处理用户请求，实现请求转 发，负载均衡等功能
04
7
write(写)/create(创建)操作实现原理
文章2的所有关键词为：[he] [live] [shanghai]
建立倒排索引
0３ 关键词ou 1
[2]
3，6
he
2
[1]
1
i
1
[1]
4
live
1
[2]
2，5
2
[1]
2
shanghai 2
[1]
3
tom
1
[1]
1
04
6
节点分类
2020/3/30
01 默认节点（node.master:true AND node.data:true）
分词器（tokenization）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
2020/3/30
04
3
Analyzer内部机制
2020/3/30
05
5
存储模型
2020/3/30
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
0３ Client节点（node.master:false AND node.data:false）
又称coordinate节点和ingest节点，这些节点只负责处理用户请求，实现请求转 发，负载均衡等功能
04
7
write(写)/create(创建)操作实现原理
文章2的所有关键词为：[he] [live] [shanghai]
建立倒排索引
0３ 关键词ou 1
[2]
3，6
he
2
[1]
1
i
1
[1]
4
live
1
[2]
2，5
2
[1]
2
shanghai 2
[1]
3
tom
1
[1]
1
04
6
节点分类
2020/3/30
01 默认节点（node.master:true AND node.data:true）
分词器（tokenization）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
2020/3/30
04
3
Analyzer内部机制
2020/3/30
05
5
存储模型
2020/3/30
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
elasticsearch分享PPT
1.提升基层管理者的心得报告时代光华管理课程之余世维——如何提升管理者的执行力学习心得应公司总部的要求，我们公司从2004年就开始学习了时代光华管理课程，只是真正意义上的认真学习还是要从2005年的年末开始的，人啊，有时候就是会有懒性，总要让人敲一下头才会有点激情的动一下手，在年末，总部说要下来检查工作，其中包含了时代管理课程的学习，公司这才当回事，开始认真的组织人员学习。
时代光华管理课程里有很多老师讲得都不错，其中对余老师讲的课情有独钟，在《如何提升管理者的执行力》里，举出很多实例，如联想的柳传志、GE的杰克•违尔奇、戴尔的迈克•戴尔、伊利的郑均怀、韩国三星的李建熙等，执行力就是要选正一个人摆在一个合适的位置，每一个阶段、每一个环节都一丝不苟的、按质按量的贯彻执行，去完成自己的任务。
好的执行力必须要有一个好的团队，领导要以身作则，亲力亲为。
在我们的很多企业当中，出现问题的时候，都会觉得无所谓，没感觉，不是自己的事，在个性上不追求完美，不按标准去执行，对细节不能坚持，上层领导骂中层领导，中层领导骂基层员工，其中，出现问题，不单单是基层员工的错，是某一个环节贯彻执行时出现了偏差，而没有及时去制止，造成了错误的思路，达到了不可挽回的地步。
为了避免出现偏差，就要检查部属的执行力情况，确定一个总指挥，把高端解码成工作清单，每一个阶段、每一个细节都要按照标准，要不断的要求部属回报，回报就是回去报告，反馈的意思，确保每一个细节都不出错，要不断的反醒，不断的深思，诚实的总结。
执行力的核心应该是人员流程——战略流程——运营流程，只有选对人了，运用合理的战略，每一个细节都一丝不苟的去执行，才能够保证执行力的顺利进行。
那要如何挑选人才，挑选有执行力的人呢？把高端的问题解码成细节去做的问题所在就是不会发现问题，不会思考问题，不会解决问题。
领导用人要对公司有帮助，与自己互补，要信任他，不断的激劢他，不断开发他的价值。
①自动自发②注意细节③为人诚信④善于应变分析⑤乐于学习⑥创新⑦对工作非常投入⑧有韧性⑨争气。
ElasticSearch技术分享 ppt课件
39
标准分析器（ Standard Analyzer ） 简单分析器（ Simple Analyzer ） 空白分析器（ Whitespace Analyzer ） 停止分析器（Stop Analyzer） 关键词分析器（ Keyword Analyzer ） 模式分析器（ Pattern Analyzer ） 语言分析器（ Language Analyzers ） 指纹分析器（ Fingerprint Analyzer ）
默认值，既有成为主节点的资格，又可以存储数据，还可以处理客户端的请求
0２ Master节点（node.master:true AND node.data:false）
有成为主节点的资格，可以参与选举，master节点负责维护整个集群状态并保证数据一致性
0３ Data节点（node.master:false AND node.data:true）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
04
Analyzer内部机制
04
内置分析器
01 02 03 04 05 06 07 08
05
存储模型
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
文章2的内容为：He once lived in Shanghai.
经过处理后（分词，过滤无用词，小写化）： 0２ 文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]
标准分析器（ Standard Analyzer ） 简单分析器（ Simple Analyzer ） 空白分析器（ Whitespace Analyzer ） 停止分析器（Stop Analyzer） 关键词分析器（ Keyword Analyzer ） 模式分析器（ Pattern Analyzer ） 语言分析器（ Language Analyzers ） 指纹分析器（ Fingerprint Analyzer ）
默认值，既有成为主节点的资格，又可以存储数据，还可以处理客户端的请求
0２ Master节点（node.master:true AND node.data:false）
有成为主节点的资格，可以参与选举，master节点负责维护整个集群状态并保证数据一致性
0３ Data节点（node.master:false AND node.data:true）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
04
Analyzer内部机制
04
内置分析器
01 02 03 04 05 06 07 08
05
存储模型
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
文章2的内容为：He once lived in Shanghai.
经过处理后（分词，过滤无用词，小写化）： 0２ 文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]
(讲义)数据库技术：Elasticsearch技术应用分享
Node4
test(1) test(3)
Elasticsearch介绍
RES T
Node1
test(1)
Node2
test(2)
Node3
test(2) test(3)
✓ 接收json格式的文档 ✓ 非结构化—普通文本 ✓ 半结构化—日志，邮件文档
✓ 利用id hash来将数据划分到各个shard上 ✓ 在导入时支持对文本进行分词处理
nodesinfo
Routing Index Nodes table Metadata
Index A Index B Mapping 1 Mapping 2 Mapping 3
BDB
Elasticsearch的改进
二、多副本一致性
现状
Client
Replica Group
Primary
✓ Master指定一个副本作为 Primary
• 主要挑战
–字段不确定 –数据量较大，每天30TB+数据，24小时不间断
导入
–小时级任意维度聚合分析毫秒级返回，天级秒
级返回
ES实践-监控业务
• 动态字段
–一律接受 OR 一律拒绝 –按照规则来接受、处理
POST /casio-machines20151017/all {
"instance":1001, "long_kvs":{"mem":12} }
Elasticsesarch
+RDBMSES实践-糯米• 捕获变更的几种方式
–CDC系统
• 优点：应用不需要做任何工作，实时性比较高，异步做，不影
响插入性能
• 缺点：依赖binlog格式解析工具，并且一条记录的多次修改
elastic-search(弹性搜索)
write operation and when flushed
translog
flush every 30 min or when gets too big
disk
empoty translog
inside a shard
添加标题
新建索引
post http://localhost:9200/blog/newarticle/1
走近 elastic search
分享人 林云霞
Part 01 概念解释 Part 02 系统原理 Part 03 分布式集群 Part 04 应用场景
01
概念解释
概念解释
open - source
scales massively
hign availability
schema free
RESTful API
{ "author":"林云霞", "creatDate":"20170729", "content":"elastic search 是一个非常优秀
的搜索引擎", "place":"招银网络科技"
}
{ "_index": "blog", "_type": "newarticle", "_id": "1", "_version": 1, "result": "created", "_shards": { "total": 3, "successful": 2, "failed": 0 }, "created": true
translog
flush every 30 min or when gets too big
disk
empoty translog
inside a shard
添加标题
新建索引
post http://localhost:9200/blog/newarticle/1
走近 elastic search
分享人 林云霞
Part 01 概念解释 Part 02 系统原理 Part 03 分布式集群 Part 04 应用场景
01
概念解释
概念解释
open - source
scales massively
hign availability
schema free
RESTful API
{ "author":"林云霞", "creatDate":"20170729", "content":"elastic search 是一个非常优秀
的搜索引擎", "place":"招银网络科技"
}
{ "_index": "blog", "_type": "newarticle", "_id": "1", "_version": 1, "result": "created", "_shards": { "total": 3, "successful": 2, "failed": 0 }, "created": true
ElasticSearch站内搜索详细讲解课件PPT模板
a
1-13基本查询-根据 字段查询基本查询-根
据字段查询
d
1-16布尔组合查询范围查询-模糊查询布 尔组合查询-范围查询
-模糊查询
b
1-14**查找-多字段 匹配精确查找-多字段
匹配
e
1-17过滤-排序过滤排序
c
1-15搜索结果过滤搜 索结果过滤
e
1-18聚合查询聚合查 询
第1章elasticsearch 入门环境搭建-基本语 法
1-9创建索引库创建索 引库
1-8索引的概念索引的 概念
1-7安装ik分词器安装 ik分词器
1-10查询索引-创建类型 -创建字段查询索引-创建 类型-创建字段
1-11索引库中添加数据 索引库中添加数据
1-12索引库-修改-删除 操作索引库-修改-删除操 作
第1章elasticsearch入门环境搭建-基本语法
d
1-2elasticsearch 简介elasticsearch
简介
b
1-5完成 elasticsearch安装 完成elasticsearch
安装
e
1-3安装虚拟机和 jdk安装虚拟机和
jdk
c
1-6配置kibana客 户端配置kibana客
户端
f
第1章elasticsearch入门环境搭建-基本语法
elasticsearch站内搜索
详
细
讲
解
演讲人
2 0 2 x - 11 - 11
01
第1章elasticsearch入门环境 搭建-基本语法
第1章elasticsearch入门环境搭建-基本语法
1-1今日课程目标 今日课程目标
Elasticsearch介绍与应用PPT课件
• 集群状态curl -XGET 'localhost:8200/_cluster/health?pretty' • 计算集群中文档的数量 curl -XGET 'localhost:8200/_count?pretty'
7
插入一条数据
8
简单的GET
curl -XGET 'localhost:8200/megacorp/employee/1?pretty'
2
应用：feed库文章标题检索
(title LIKE '%wd%' AND vertical_type IN (0,1) AND img_num>0 ) OR (title LIKE '%wd%' AND vertical_type IN (14))
3
Elasticsearch介绍
• 分布式、可扩展、实时的搜索与数据分析引擎 • Apache Lucene™ 基础之上 • 简单一致的RESTful API • 开源，免费下载，使用，修改
9
简单的搜索
• curl -XGET 'localhost:8200/megacorp/employee/_search?pretty’ • curl -XGET
'localhost:8200/megacorp/employee/_search?q=last_name:Smith &pretty’ •
14
查询条件组合
• must：文档 必须 匹配这些条件才能被包含进来。 • must_not：文档 必须不 匹配这些条件才能被包含进来。 • should：如果满足这些语句中的任意语句，将增加 _score ，否则，
7
插入一条数据
8
简单的GET
curl -XGET 'localhost:8200/megacorp/employee/1?pretty'
2
应用：feed库文章标题检索
(title LIKE '%wd%' AND vertical_type IN (0,1) AND img_num>0 ) OR (title LIKE '%wd%' AND vertical_type IN (14))
3
Elasticsearch介绍
• 分布式、可扩展、实时的搜索与数据分析引擎 • Apache Lucene™ 基础之上 • 简单一致的RESTful API • 开源，免费下载，使用，修改
9
简单的搜索
• curl -XGET 'localhost:8200/megacorp/employee/_search?pretty’ • curl -XGET
'localhost:8200/megacorp/employee/_search?q=last_name:Smith &pretty’ •
14
查询条件组合
• must：文档 必须 匹配这些条件才能被包含进来。 • must_not：文档 必须不 匹配这些条件才能被包含进来。 • should：如果满足这些语句中的任意语句，将增加 _score ，否则，
elastic_search(弹性搜索)
write operation and when flushed
translog
flush every 30 min or when gets too big
disk
empoty translog
inside a shard
添加标题
新建索引
post http://localhost:9200/blog/newarticle/1
Elasticsearch集群中的每个节点都包含了改节点上分片的元数据信息。协调 节点(默认)使用文档ID参与计算，以便为路由提供合适的分片。 Elasticsearch使用MurMurHash3函数对文档ID进行哈希，其结果再对分片 数量取模，得到的结果即是索引文档的分片。
shard = hash(document_id) % (num_of_primary_shards)
概念解释
集群 点多台Es服务器的结合的统称叫ES集群，一个集群包含多台服务器，多 个节点。
节点 一个节点就是集群中的一个服务器
分片 主分片和副本分片
主分片 1 N 复制分片
概念解释
索引 中的索引是组织数据的逻辑空间，一个索引就是一个拥有几分相似特征 的文档的集合 数据库
类型 在一个索引中，你可以定义一种或多种类型 表
}
系统原理
更新和删除
删除
磁盘上的每个段都有一个相应的.del文件。当删除请求发送后，文档并没有 真的被删除，而是在.del文件中被标记为删除。该文档依然能匹配查询，但 是会在结果中被过滤掉。当段合并(我们将在本系列接下来的文章中讲到)时 ，在.del文件中被标记为删除的文档将不会被写入新段。
文档 一个文档是一个可被索引的基础信息单元 行
概念解释
translog
flush every 30 min or when gets too big
disk
empoty translog
inside a shard
添加标题
新建索引
post http://localhost:9200/blog/newarticle/1
Elasticsearch集群中的每个节点都包含了改节点上分片的元数据信息。协调 节点(默认)使用文档ID参与计算，以便为路由提供合适的分片。 Elasticsearch使用MurMurHash3函数对文档ID进行哈希，其结果再对分片 数量取模，得到的结果即是索引文档的分片。
shard = hash(document_id) % (num_of_primary_shards)
概念解释
集群 点多台Es服务器的结合的统称叫ES集群，一个集群包含多台服务器，多 个节点。
节点 一个节点就是集群中的一个服务器
分片 主分片和副本分片
主分片 1 N 复制分片
概念解释
索引 中的索引是组织数据的逻辑空间，一个索引就是一个拥有几分相似特征 的文档的集合 数据库
类型 在一个索引中，你可以定义一种或多种类型 表
}
系统原理
更新和删除
删除
磁盘上的每个段都有一个相应的.del文件。当删除请求发送后，文档并没有 真的被删除，而是在.del文件中被标记为删除。该文档依然能匹配查询，但 是会在结果中被过滤掉。当段合并(我们将在本系列接下来的文章中讲到)时 ，在.del文件中被标记为删除的文档将不会被写入新段。
文档 一个文档是一个可被索引的基础信息单元 行
概念解释
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ElasticSearch
2020/3/30
1
目录
Contents
Analyzer内部机 存储模型 制
节点分类 Write实现原理 Read实现原理
2020/3/30
02
2
Analyzer内部机制
字符过滤器（character filter）
01
他们的任务实在分词前整理字符串，可以用来去掉HTML标签，或者将&转化成“and”
2020/3/30
05
5
存储模型
2020/3/30
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
文章2的内容为：He once lived in Shanghai.
经过处理后（分词，过滤无用词，小写化）： 0２ 文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]
协调节点(coordinating node)使用文档ID（默认）将文档路由到对应的分片。 Elasticsearch将文档ID以murmur3作为散列函数进行散列，并通过索引中的主分片数量 进行取模运算，以确定文档应被索引到哪个分片。 shard = hash(document_id) % (num_of_primary_shards)
摘要：我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建
是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全 免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜 索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简 单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些 问题及可能出现的更多其它问题。
分词器（tokenization）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
2020/3/30
04
3
Analyzer内部机制
2020/3/30
04
4
内置分析器
01 02 03 04 05 06 07 08
标准分析器（ Standard Analyzer ） 简单分析器（ Simple Analyzer ） 空白分析器（ Whitespace Analyzer ） 停止分析器（Stop Analyzer） 关键词分析器（ Keyword Analyzer ） 模式分析器（ Pattern Analyzer ） 语言分析器（ Language Analyzers ） 指纹分析器（ Fingerprint Analyzer ）
2020/3/30
07
8
Read的实现原理
查询阶段(Query Phase) 获取阶段(Fetch Phase)
2020/3/30
08
9
结束语
conclusion
概述： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全
文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下 的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索， 稳定，可靠，快速，安装使用方便。
存储数据节点，提供建立索引和查询索引的服务
0３ Client节点（node.master:false AND node.data:false）
又称coordinate节点和ingest节点，这些节点只负责处理用户请求，实现请求转 发，负载均衡等功能
04
7
write(写)/create(创建)操作实现原理
2020/3/30
39
10
感谢各位同僚的观看！
2020/3/30
11
默认值，既有成为主节点的资格，又可以存储数据，还可以处理客户端的请求
0２ Master节点（node.master:true AND node.data:false）
有成为主节点的资格，可以参与选举，master节点负责维护整个集群状态并保证数据一致性
0３ Data节点（node.master:false AND node.data:true）
文章2的所有关键词为：[he] [live] [shanghai]
建立倒排索引
0３ 关键词 文章号 [出现频率] 出现位置
guangzhou 1
[2]
3，6
he
2
[1]
1
i
1
[1]
4
live
1
[2]
2，5
2
[1]
2
shanghai 2
[1]
3
tom
1
[1]
1
04
6
节点分类
2020/3/30
01 默认节点（node.master:true AND node.data:true）
2020/3/30
1
目录
Contents
Analyzer内部机 存储模型 制
节点分类 Write实现原理 Read实现原理
2020/3/30
02
2
Analyzer内部机制
字符过滤器（character filter）
01
他们的任务实在分词前整理字符串，可以用来去掉HTML标签，或者将&转化成“and”
2020/3/30
05
5
存储模型
2020/3/30
设有两篇文章1和2
01
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too
文章2的内容为：He once lived in Shanghai.
经过处理后（分词，过滤无用词，小写化）： 0２ 文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]
协调节点(coordinating node)使用文档ID（默认）将文档路由到对应的分片。 Elasticsearch将文档ID以murmur3作为散列函数进行散列，并通过索引中的主分片数量 进行取模运算，以确定文档应被索引到哪个分片。 shard = hash(document_id) % (num_of_primary_shards)
摘要：我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建
是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全 免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜 索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简 单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些 问题及可能出现的更多其它问题。
分词器（tokenization）
0２ 一个简单的分词器遇到空格和标点
的时候，会将文本拆成词条
Token过滤器（Token filtering）
0３ 最后，词条按顺序通过每个Token过
滤器，这个过程可能会改变词条 （例如小写化，删除无用词或增加 同义词）
2020/3/30
04
3
Analyzer内部机制
2020/3/30
04
4
内置分析器
01 02 03 04 05 06 07 08
标准分析器（ Standard Analyzer ） 简单分析器（ Simple Analyzer ） 空白分析器（ Whitespace Analyzer ） 停止分析器（Stop Analyzer） 关键词分析器（ Keyword Analyzer ） 模式分析器（ Pattern Analyzer ） 语言分析器（ Language Analyzers ） 指纹分析器（ Fingerprint Analyzer ）
2020/3/30
07
8
Read的实现原理
查询阶段(Query Phase) 获取阶段(Fetch Phase)
2020/3/30
08
9
结束语
conclusion
概述： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全
文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下 的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索， 稳定，可靠，快速，安装使用方便。
存储数据节点，提供建立索引和查询索引的服务
0３ Client节点（node.master:false AND node.data:false）
又称coordinate节点和ingest节点，这些节点只负责处理用户请求，实现请求转 发，负载均衡等功能
04
7
write(写)/create(创建)操作实现原理
2020/3/30
39
10
感谢各位同僚的观看！
2020/3/30
11
默认值，既有成为主节点的资格，又可以存储数据，还可以处理客户端的请求
0２ Master节点（node.master:true AND node.data:false）
有成为主节点的资格，可以参与选举，master节点负责维护整个集群状态并保证数据一致性
0３ Data节点（node.master:false AND node.data:true）
文章2的所有关键词为：[he] [live] [shanghai]
建立倒排索引
0３ 关键词 文章号 [出现频率] 出现位置
guangzhou 1
[2]
3，6
he
2
[1]
1
i
1
[1]
4
live
1
[2]
2，5
2
[1]
2
shanghai 2
[1]
3
tom
1
[1]
1
04
6
节点分类
2020/3/30
01 默认节点（node.master:true AND node.data:true）