大数据

1.Hadoop的特性高可靠性、高效性、高扩展性、高容错性、低成本、运行在Linux平台上、支持多种编程语言。

2.Iaas、Paas、SaaSIaaS：基础设施即服务。

Infrastructure-as-a-servicePaaS：平台即服务。

Platform-as-a-serviceSaaS：软件即服务。

Software-as-a-service3.云计算的关键技术虚拟化：虚拟化的资源可以是硬件也是软件。

分布式存储：GFS是谷歌公司推出的一款分布式文件系统，可以满足大型、分布式、对大量数据进行访问的应用的需求。

分布式计算：提高了数据处理速度，可以有效满足许多应用对海量数据的批量处理需求。

多租户：多租户技术目的在于使大量用户能够共享同一堆栈的软硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置，而不影响其他用户的使用。

4.HDFS1.0中SecondaryNameNode的工作原理。

1)第二名称节点和名称节点定期通信，让名称节点停止使用EditLog，将新到达的写操作添加到一个新的文件EditLog.new中2)通过http get方式从名称节点获取FsImage和EditLog并下载到本地3)将下载的FsImage载入内存并逐条执行更新操作，让FsImage保持最新4)通过post方式将新的FsImage文件发送到名称节点上。

5. 大数据技术的特点(5V)。

（1）Volume（大体量）：即可从数百TB到数十数百PB、甚至EB规模。

（2）Variety（多样性）：即大数据包括各种格式和形态的数据。

（3）Velocity（时效性）：即很多大数据需要在一定的时间限度下得到及时处理。

（4）Veracity（准确性）：即处理的结果要保证一定的准确性。

（5）Value（大价值）：即大数据包含很多深度的价值，大数据分析挖掘和利用带来巨大的商业价值。

6.HBASE系统架构（简答）客户端：客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程。

Zookeeper服务器：Zookeeper不仅能够帮助维护当前的集群中机器的服务状态，而且能够帮助选出一个“总管”，让这个总管来管理集群。

Master主服务器：主服务器Master主要负责表和Region的管理工作。

Region服务器：Region服务器是HBase中最核心的模块，负责维护分配给自己的Region,并响应用户的读写请求。

7、分别解释HBASe中行键、列键、时间戳的概念行键：可以是任意字符串(最大长度是64 KB,实际应用中长度一般为10~100字节)，在HBase内部，行键保存为字节数组。

存储时，数据按照行键的字典序排序存储。

列族：一个HBase 表被分组成许多“列族”的集合，它是基本的访问控制单元。

列族需要在表创建时就定义好，数量不能太多( HBase的一些缺陷使得列族数量只限于几十个)，而且不要频繁修改。

时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引。

时间戳一般是64位整型，可以由用户自己赋值，也可以由HBase在数据写人时自动赋值。

8.CAPC( Consistency):一致性。

A(Availability):可用性。

P(Tolerance of Network Partition): 分区容忍性。

9.ACIDA ( Atomicity): 原子性。

C ( Consistency):一致性。

I ( Isolation):隔离性。

D( Durability):持久性。

10.BASEBASE的基本含义是基本可用( Basically Availble )、软状态( Soft-state )和最终一致性( Eventual consistency )。

11、MapReduce的执行阶段1)逻辑分片2)加载数据3)Map任务会根据用户自定义的映射规则，输出系列的<key,value>作为中间结果。

4)对Map的输出进行一定的分区、排序、合并、归并等操作.得到<key,value-list>形式的中间结果，再交给对应的Reduce进行处理5)Reduce以一系列<key,value-list>中间结果作为输人，执行用户定义的逻料，输出结果给OutputFormat模块6)验证输出12、map端的shuffle过程1)输入数据和执行map任务2)写入缓存3)溢写（分区、排序和合并）4)文件归并13.MapReduce并行计算框架的基本架构。

1)、MapReduce是一个并行化程序执行系统2)、MapReduce提供了map和reduce两阶段的并行处理模型，提供一个并行化编程模型和接口，让程序员更方便编写大数据并行计算的程序3)、MapReduce以键值对数据输入方式来处理数据，并能自动完成数据划分和调度管理4)、在程序执行时MapReduce负责调度和分配计算资源，划分输入输出数据调度程序的执行，监控程序的执行状态，并负责程序执行时各计算节点的同步及中间结果的收集、整理5)、MapReduce提供一组完整的MapReduce应用程序编程接口14.HDFS联邦相对于HDFS1.0的优势1)HDFS集群可扩展性：因为采用联邦设计，在理论上可以无限水平扩展。

2)性能更高效：有多个名称节点同时对外提供服务，增大效率。

3)良好的隔离性：每个节点都有自己的命名空间，可为某一个单独的应用提供服务，这样就增加了隔离性。

15. YARN中的ResouceManager的主要功能。

ResourceManager包括两个组件：调度器（Scheduler）：调度器主要负责资源管理和分配，不再负责跟踪和监控应用程序的执行状态，也不负责执行失败恢复。

实现“计算向数据靠拢”。

在MapReduce 1.0 中资源分配的单位是“槽”，YARN中是以容器（Container）作为动态资源分配单位。

容器是封装了一定数量的CPU、内存、磁盘等资源，从而限定每个应用程序可以使用的资源量。

YARN中调度器被设计成一个可插拔的组件。

应用程序管理器（Applications Manager）：1、提交2、启动ApplicationMaster 3、监控运行状态4、容错恢复16. YARN中的NodeManager的主要功能。

1、负责容器生命周期管理2、监控容器资源使用3、以心跳的方式与ResourceManager保持通信4、向ResourceManager汇报作业的资源使用情况5、跟踪节点健康状态6、接收来自applicationmaster的启动/停止容器的各种请求。

只处理与容器相关的事情，不具体负责每个任务（map或reduce任务）自身状态的管理。

17. YARN中工作流程。

1)通过客户端提交程序2)ResourceManager接收和处理客户端的请求3)注册ApplicationMaster4)ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请资源5)ResourceManager以“容器”的形式将资源分配给ApplicationMaster6)ApplicationMaster在容器中执行任务7)各个任务向ApplicationMaster汇报情况8)完成作业，释放资源（注销容器）18.YARN架构中各个组件的功能ResourceManager：处理客户端请求启动/监控ApplicationMaster监控NodeManager资源分配与调度ApplicationMaster：为应用程序申请资源，并分配给内部任务任务调度、监控与容错NodeManager：单个节点上的资源管理处理来自ResourceManager的命令处理来自ApplicationMaster的命令19. YARN和MapReduce1.0进行优劣对比YARN相对于MapReduce1.0来说具有以下优势：1)大大减少了承担中心服务功能的ResourceManager的资源消耗2)MapReduce1.0既是一个计算框架，又是一个资源管理调度框架，但是只能支持MapReduce编程模型，而YARN则是一个纯粹的资源调度管理框架3)YARN中的资源管理比MapReduce1.0更加高效20. YARN中的ApplicationMaster的主要功能。

1、以容器分配资源2、二次分配3、NodeManager通信监控任务状况以及容错处理4、定时报告心跳，完成作业，注销容器21.HDFS体系结构的局限性1)命名空间的限制2)性能的瓶颈3)隔离问题4)集群的可用性22.HDFS文件读取的过程open（）、read（）、close（）23.hdfs文件写入的过程create（）、write（）、close（）package test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class TESTHDFS {public static void main(String[] args) throws Exception {Configuration cof=new Configuration();cof.set("fs.defaultFS", "hdfs://localhost:9000");cof.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");String fileName="input/test3.txt";String writeContent="say hello to hdfs";testFileIsExist(cof,fileName);readFile(cof,fileName);writeFile(cof,fileName,writeContent);}public static void writeFile(Configuration cof,String fileName,String writeContent) throws IOException{FileSystem fs=FileSystem.get(cof);FSDataOutputStream fos=fs.create(new Path(fileName));fos.write(writeContent.getBytes(),0,writeContent.getBytes().length);}public static void readFile(Configuration cof,String fileName) throws IOException{ FileSystem fs=FileSystem.get(cof);FSDataInputStream fis=fs.open(new Path(fileName));BufferedReader d = new BufferedReader(new InputStreamReader(fis));String temp=d.readLine();while(temp!=null){System.out.println(temp);temp=d.readLine();}}/*** 测试文件是否存在* @throws IOException*/public static void testFileIsExist(Configuration cof,String fileName) throws IOException{//创建文集系统对象FileSystem fs=FileSystem.get(cof);if(fs.exists(new Path(fileName))){System.out.println("文集存在");}else{System.out.println("文集不存在");}}}import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser;public class WordCount2 {/*** @param args* @throws IOException*/public static void main(String[] args) throws IOException {// TODO Auto-generated method stub//获得配置对象Configuration conf=new Configuration();//获得[配置输入的]输入的参数String []otherArgs=(new GenericOptionsParser(conf, args)).getRemainingArgs();//判断是否配置了input 和output两个参数if(otherArgs.length<2){//说明未同时指定输入和输出两个参数停止System.out.println("出错了，请配置好输入和输出这两个参数，如input output");System.exit(2);}//配置job//第一个参数为指定hdfs的配置文件对象//第二个参数为job的名字，可以随便起Job job=Job.getInstance(conf,"test");//配置入口jobjob.setJarByClass(WordCount2.class);//配置map的jobjob.setMapperClass(MyMapper.class);//配置reduce的jobjob.setReducerClass(MyReducer.class);//配置合并的jobjob.setCombinerClass(MyReducer.class);//配置输出key的类型job.setOutputKeyClass(Text.class);//配置输出value的类型job.setOutputValueClass(IntWritable.class);//格式化输入//FileInputFormat<Object, Text>.addInputPath(job, otherArgs[0]);//FileInputFormat.addInputPath(job,new Path(otherArgs[0]));//格式化输出FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//如果执行完毕就退出try {System.exit(job.waitForCompletion(true)?0:1);} catch (ClassNotFoundException e) {// TODO Auto-generated catch blocke.printStackTrace();} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable reslut=new IntWritable();/*** key ：china* valuelist:<1,1,2,1>* china,5*/public void reduce(Text key, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {//开始进行reduceint sum=0;//遍历valuelist将里面所有的值加起来for (IntWritable value : values) {sum=sum+value.get();//将每一个值都累加其来//sum+=value.get();}//将累加和赋值给result做为输出的valuereslut.set(sum);//通过上下文对象将结果输出context.write(key, reslut);}}class MyMapper extends Mapper<Object, Text, Text, IntWritable> {private final static IntWritable one=new IntWritable(1);@Overrideprotected void map(Object key, Text value,Context context)throws IOException, InterruptedException {// TODO Auto-generated method stub//super.map(key, value, context);//将text转为stringString temp=value.toString();//分词StringTokenizer sti=new StringTokenizer(temp);//遍历sti的结果while(sti.hasMoreElements()){//将每个单词作为map的输出Text text=new Text(sti.nextElement().toString());context.write(text, one);}}}。