Apache HBase

Apache H Base 丁晔磊 S olu&ons C onsultant ding@• HBase简介• HBase数据访问接口 • HBase架构• HBase设计讨论 • 总结• HBase简介• HBase数据访问接口 • HBase架构• HBase设计讨论 • 总结什么是HBase• HBase是运行在HDFS的NoSQL数据库• 特点：• 具有高可用性与容错性• 具有很强的水平扩展性，支持数据处理的高吞吐量 • 支持处理包含海量数据的数据表格• 开源的Apache项目• HDFS提供的功能：• 容错性• 可扩展性HBase的应用场景• 使用HBase的场景：• 需要随机读写• 需要在TB甚至PB级数据集上每秒执行上万操作• 访问数据的模式是已知的、直接的• 不使用HBase的场景：• 只是添加写(append)，处理时需要读取所有数据记录 • 主要执行自主(Ad-­‐hoc)分析• 一台服务器就足够处理所有数据HBase不是传统关系型数据库RDBMS HBase数据布局 基于行或列 基于列簇事务 支持 只支持单行事务 查询语言 SQL get/put/scan安全 认证/授权 Kerberos索引 支持 行键(rowkey)最大数据集支持 TB PB+读写吞吐率 ~1,000/秒 1,000,000+/秒HBase v s. R DBMS 数据表设计• 设计RDBMS数据表步骤：• 确定所有要存储数据的类型• 确定数据元素之间的关系• 创建表、列、外键以维护这些关系 • 设计HBase数据表步骤：• 确定所有要存储数据的类型• 定义行键、数据存储布局(layout)• HBase以表格的形式存储数据• HBase数据表其实质是排序的、分布式的散列表• 数据表被自动切分为不同的分片(region)• 分片之间不存在交叠部分• 客户端程序需要通过RegionServer后台进程访问region • RegionServer一般运行在集群的工作节点上• RegionServer往往支持多个region(来源于多张表格)• 数据表由行构成，每一行数据包含多个列簇(column f amily)，每个列簇包含多个列• 同一列簇的所有列存储在一起• 不同的列簇可以具有不同的属性，比如版本数量、压缩算法等• 每一列都通过列簇及其限定符(Qualifier)命名• 例如contacXnfo:lname，其中:分隔了列簇与限定符• 每一行都有一个行键(row k ey)唯一标识• 行键是HBase数据表的唯一索引信息• 数据单元格(行与列的交叉部分)存储实际的数据• 数据是任意的字节数组HBase列簇的使用• 不同的列簇：• 数据不是经常共同使用的• 数据具有不同的属性，比如压缩格式、版本数量等数据磁盘存储 HBase• 不同的列簇存储在不同的文件中• 只有非空的数据才会被实际存储• 每个数据单元格都可以存放多个版本的数据 • 通过时间戳进行，默认版本数3，降序排列 • 行键+列名(列簇:限定符)+时间戳 => 数据值 HBase多版本控制HBase支持的操作• Get/Scan读取数据• Get读取行键标识的行• Scan读取所有行• Scan可以通过指定起始行键与结束行键读取数据表中的片段 • Put修改数据• 数据通过行键标识• 新增数据列可能之前尚未存在• Delete“删除”数据• 数据通过行键标识• 数据不是真正从HDFS上删除，而是增加一个删除的标记• 实际的删除操作由其他线程异步完成HBase集群部署HBase管理节点• HBase管理节点(master)用于协调RegionServer • 协调每个RegionServer应该管理哪些region• 随着数据的增加、删除，RegionServer上的region会发生变化 • 执行数据表创建、修改、删除等元数据处理任务Zookeeper• HBase通过启动多个管理节点实现HA• 只有一个管理节点是“活”的，用于管理HBase集群 • Zookeeper服务用于协调多个管理节点• Zookeeper服务用于确定“主”管理节点 • 启动时，所有管理节点连接到zookeeper，竞争上岗 • 当主控管理节点发生故障时，剩余管理节点竞争上岗目录• HBase简介• HBase数据访问接口 • HBase架构• HBase设计讨论 • 总结HBase S hell• 与HBase通信的交互式Shell• HBase S hell使用JRuby• 利用Ruby在Java客户端程序上进行了封装• 在命令中采用Ruby的语法• 参数使用与其他的Shell (比如bash)有些不同 • 命令中的参数使用单引号(‘)启动HBase S hell • $> h base s hell基本命令命令行帮助查看HBase状态 查看HBase版本信息• 创建时只需要声明表名与列簇名 • 每个表至少需要一个列簇• 其他设置都可以修改• HBase没有数据库的概念• 所有表在同一命名空间中• 数据表创建与RDBMS不同• 不需要声明具体的列、类型、关系 • 没有外键的约束• 不需要提供数据库命名空间表名 列簇名其他管理操作罗列HBase所有表获取数据表的详细信息禁用数据表激活数据表删除数据表中所有行删除数据表HBase数据访问• 访问HBase数据的方式主要有3类 • Java A PI• 访问HBase最推荐的方法• Non-­‐Java编程语言• Thrie接口• REST接口• HBase S hell• 用于小型的自主查询，测试用途为主HBase连接• 所有的访问需要通过类HTableInterface连接HBase数据表 • HTableInterface提供了所有数据操作• 代码示例字节数组• HBase存储的数据是字节数组byte[]• Java A PI的参数与返回值都是字节数组• HBase提供了一个工具类Bytes用于将各种常用类型转换为字节数组• 命令格式• 示例数据读取Get – H Base S hell数据读取Get – J ava A PI数据扫描Scan – H Base S hell • 命令格式• 示例数据扫描Scan – J ava A PI• 命令格式• 示例数据修改Put – H Base S hell数据修改Put – J ava A PI数据删除Delete – H Base S hell • 命令格式数据删除Delete – J ava A PI目录• HBase简介• HBase数据访问接口 • HBase架构• HBase设计讨论 • 总结HBase集群部署主要的后台进程• NameNode• 存储HDFS的元数据• DataNode• 存储HDFS的数据块• Master• 监控集群中的RegionServer• 提供HBase元数据处理的接口 • RegionServer• 存储、管理数据表region • Zookeeper• 维护HBase配置信息Region• HBase中数据表的分片叫作region• Region通过起始行键与结束行键定义分片的内容• Region运行在RegionServer上数据表类型• 用户表• 通过API或者Shell创建的数据表• 前面提到的操作都是针对这类表的 • 系统表• 仅被HBase访问的特殊表• 用于记录RegionServer以及region的位置 • 系统表只有2个: -­‐ROOT-­‐与.META.数据定位• 第一个查询• 客户端 => Z ookeeper• 查询-­‐ROOT-­‐的位置• 第二个查询• 客户端 => -­‐ROOT-­‐ (记录.META.的位置, 从来不分裂) • 查询.META.的位置• 第三个查询• 客户端 => .META. (实际系统中, 一般不分裂)• 定位region、查询region的位置• 第四个查询• 客户端 => r egion• 读取数据数据查询流程HBase存储• HBase使用HDFS存储所有的数据表• Region中不同的列簇都使用”Store”抽象表示 • Store文件，存储列簇的实际数据• Store文件采用HBase特殊文件格式HFileRegionServer运行在一个Slave节点上数据表被切分为多个region，每个region通过起始行键与结束行键标识Region中，每个列簇都对应到一个抽象Store每个Store包含一组存储在HDFS上的Store 文件，实际存储列簇的数据内存Store缓存HBase 的更新，用于提高写性能HBase写操作(1)客户端向RegionServer发送写数据的请求。