BigTable分享精品PPT课件

stream->MicorTimestamp(),
stream->Value()
);
}
客户端API（write的例子）
//Open the table Table * T =
OpenOrDie("/bigtable/web/webtable");
//Write a new anchor and delete an old anchor RowMutation r1(T, "n.www"); r1.Set("anchor:", "CNN"); r1.Delete("anchor:"); Operation op; Apply(&op, &r1);
master的功能
assign tablets to table servers(负载均衡)
detecting the addition and expiration of table server (table server的动态增减)
balancing the tablet-server load
底层数据结构
上层用MapReduce进行计算 下层用GFS分布式文件系统存储日志和
文件 通常和其他分布式程序部署在同一套集
群环境中 用SSTable文件格式来存储Bigtable数据 依赖于高可用的分布式锁服务Chubby
用SSTable文件格式来存储Bigtable 数据
依赖于高可用的分布式锁服务 Chubby
BigTable学习分享
论文的主要内容
摘要 简介 数据模型 客户端API BigTable的底层数据结构 实现原理 改进策略 性能试验 设计结论 bigTable的支持 相关工作 结论
本次重点讲的几个部分
数据模型 底层数据结构 实现原理 改进策略
摘要
简介
数据模型
stream->SetReturnAllVersions();
scanner.Lookup("n.www");
for(; !stream->Done(); stream->next()){
printf("%s %s %lld %s\n",
scanner.RowName(),
stream->ColumnName(),
master系统资源消耗一般都很少
tablet location
Tablet location
用一个类似于B+树的三层结构，来存储tablet定位信息 chubby file => root tablet => meta tablet => user tablet root tablet 不分裂，因此保持三层结构不会变成四层、五层、六层…… metadata table 存储的也是key/value对
BigTable的数据模型 一个例子 Row Column Family Timestamps
数据模型
例子
例子
Row
Column Family
TimeStamps
客户端API(read的例子)
Scanner scanner(T);
Scanner * stream;
stream = scanner.FetchColumnFamily(anchor");
handle read and write requst to the tablets
splits tablets that have grown too large
client 与 Bitable的交互问题
数据读写，并不经过master(定位是在 chubby做的)
master更多承担维持Bigtable均衡负载 的角色
改进策略
写在最后
成功的基础在于好的学习习惯
The foundation of success lies in good habits
37
谢谢大家
荣幸这一路，与你同行
It'S An Honor To Walk With You All The Way
garbage collection of files in GFS (不知道具体指什么)
handle schema changes such as table and column faimily creations
tablet server的功能
管理一系列tablet, 10~1000个
实现原理
系统的三个部分 Master的功能 Tablet server的功能 Client与big table的交互问题 Tablet location Tablet assignment Tablet serving compactions
系统的三个部分
client library master server many tablet servers(可以动态增加)
来看一个Hbase的大的框架
Hbase上的map reduce
Hbase的详细架构图
对比定义
MapReduce => Hardoop GFS => HDFS BigTable => Hbase Chubby => ZooKeeper SSTable => Store(再回头对比
block=>StoreFile，blockIndex=> MemStore) Row ColumnFamily Timestamp的概念一 样
◦ key 是 一个tablet 的table 标石和talet的尾部标记 ◦ value是tablet的位置信息 ◦ 一个meta 行大概1kb内存数据
128MB metadata tablets, is sufficient to address 2^34 tablets 客户端会cache tablet location信息，但具体没看懂
看一个Hbase的location
Tablet =》Region Tablet Server => Region Server
tablet assignment
table serving
table serving
对一下Hbase的log部分
compactions
Hbase的分裂和收缩