华为FusionInsight大数据平台技术FAQ
FusionInsight HD技术白皮书
华为FusionInsight HD 技术白皮书目录1 简介 (1)1.1 FusionInsight概述 (1)1.2 FusionInsight HD组件介绍 (2)2 重点组件介绍 (4)2.1 集群管理Manager (4)2.2 分布式文件系统HDFS (6)2.3 统一资源管理和调度框架YARN (7)2.3.1 Yarn (7)2.3.2 Superior Scheduler (7)2.4 分布式批处理引擎MapReduce (12)2.5 分布式数据库HBase (13)2.6 数据仓库组件Hive (13)2.7 分布式内存计算引擎Spark (14)2.7.1 Spark (14)2.7.2 CarbonData (15)2.8 交互式SQL引擎Elk (16)2.9 全文检索组件Solr (19)2.10 全文检索组件Elasticsearch (21)2.11 批量数据集成Loader (22)2.12 实时数据采集Flume (25)2.13 流式事件处理（Storm） (26)2.13.1 Storm (26)2.13.2 StreamCQL (27)2.14 流处理引擎Flink (28)2.15 分布式高速缓存Redis (30)2.16 分布式消息队列Kafka (30)2.17 作业编排与调度Oozie (31)2.18 数据继承入口Hue (33)2.19 多租户 (34)2.20 安全增强 (36)2.21 可靠性增强 (37)2.22 滚动重启、滚动升级与滚动补丁 (39)1 简介1.1 FusionInsight概述FusionInsight是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对巨量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
FusionInsight解决方案由产品：FusionInsight HD、FusionInsight LibrA、FusionInsightAthena和操作运维系统FusionInsight Manager，数据使能服务：数据集成开发工具、实时决策平台，及私有云服务：HDS大数据服务、ADS数据库服务、RDS数据库服务构成。
大数据华为认证考试(习题卷3)
大数据华为认证考试(习题卷3)第1部分：单项选择题，共51题，每题只有一个正确答案,多选或少选均不得分。
1.[单选题]ElasticSearch 存放所有关键词的地方是()A)字典B)关键词C)词典D)索引答案:C解析:2.[单选题]DWS DN的高可用架构是：（ ）。
A)主备从架构B)一主多备架构C)两者兼有D)其他答案:A解析:3.[单选题]关于Hive与传统数据仓库的对比，下列描述错误的是:（ ）。
A)Hive元数据存储独立于数据存储之外，从而解耦合元数据和数据，灵活性高，二传统数据仓库数据应用单一，灵活性低B)Hive基于HDFS存储，理论上存储可以无限扩容，而传统数据仓库存储量有上限C)由于Hive的数据存储在HDFS上，所以可以保证数据的高容错，高可靠D)由于Hive基于大数据平台，所以查询效率比传统数据仓库快答案:D解析:4.[单选题]以下哪种机制使 Flink 能够实现窗口中无序数据的有序处理?（）A)检查点B)窗口C)事件时间D)有状态处理答案:C解析:5.[单选题]下面（ ）不是属性选择度量。
A)ID3 使用的信息增益B)C4.5 使用的增益率C)CART 使用的基尼指数D)NNM 使用的梯度下降答案:D解析:C)HDFSD)DB答案:C解析:7.[单选题]关于FusionInsight HD Streaming的Supervisor描述正确的是:（ ）。
A)Supervisor负责资源的分配和任务的调度B)Supervisor负责接受Nimbus分配的任务，启动停止属于自己管理的Worker进程C)Supervisor是运行具体处理逻辑的进程D)Supervisor是在Topology中接收数据然后执行处理的组件答案:B解析:8.[单选题]在有N个节点FusionInsight HD集群中部署HBase时、推荐部署（ ）个H Master进程，（ ）个Region Server进程。
大数据HCIA试题及参考答案
大数据HCIA试题及参考答案1、以下关于Zookeeper的Leader节点在收到数据变更请求后的读写流程说法正确的是？A、仅写入内存B、同时写入磁盘和内存C、先写磁盘再写内存D、先写内存再写磁盘答案：C2、在FusionInsight产品中，关于KafkaTopic，以下描述不正确的有？A、每个Topic只能被分成一个partition（区）B、Topic的partition数量可以在创建时配置C、每个Partition的存储层面对应一个log文件，log文件中记录了所有的信息数据D、每条发布到Kafka的消息都有一个类别，这个类别被称为Topic，也可以理解为一个存储消息的队列答案：A3、HBase的物理存储单元是什么?A、RegionB、ColumnFamilyC、ColumnD、ROW答案：B4、以下哪些选项属于Hive的数据存储模型？A、以上全都正确B、表C、桶D、数据库E、分区答案：A5、Zookeeper的scheme认证方式不包含以下哪项？（）A、digestB、authC、saslD、world答案：C6、Hive中的这条命令“ALTERTABLEemployee1ADDcolumns(column1string);”是什么含义？A、删除表B、增加列C、创建表D、修改文件格式答案：B7、FusionInsightHD的HBase中的一张表包含以下几个Region[10，20），[20，30），[30，+∞]，分别编号为①，②，③，那么，11，20，222分别属于哪个Region?A、①①③B、①②③C、①②②D、①①②答案：C8、FusionInsightHD的HBase中保存一张用户信息表meg_table，Rowkey为用户id，其中一列为用户昵称，现在按先后顺序往这列写入三个KeyValue:001:Li，001:Mary，001:LiLy，请问scan'meg_table'，{VERSIONS=>2}会返回哪几条数据?A、001:LiB、001:LilyC、001:Li，001:Mary，001:LiLyD、001:Mary，001:LiLy答案：D9、Flink中的（）接口用于流数据处理，（）接口用于批处理？A、DataStreamAPI，DataSetAPIB、DatabatchAPI，DataStreamAPIC、StreamAPI，BatchAPID、BatchAPI，StreamAPI答案：A10、关于RDD，下列说法错误的是？A、RDD具有血统机制（Lineage）B、RDD默认存储在磁盘C、RDD是一个只读的，可分区的分布式数据集D、RDD是Spark对基础数据的抽象答案：B11、加载数据到Hive表，哪种方式不正确?A、直接将本地路径的文件load到Hive表中B、将HDFS上的文件load到Hive表中C、Hive支持insertinto单条记录的方法，所以可以直接在命令行插入单条记录D、将其他表的结果集insertinto到Hive表答案：C12、在fusionlnsight产品中，关于kafka的topic.以下描述不正确的是？A、topic的partition数量可以创建时配置B、每个topic只能被分成一个partition区C、每条发布到kafka的消息都有一个类别，这个类别被称为topi也可以理解为一个存储消息的队列D、每个partition在存储层面对应一个log文件，log文件中记录了所有的消息数据答案：B13、FusionInsightHD产品中，关于Kafka组件部署说法不正确的是?A、Kafka强依赖于ZooKeeper，安装Kafka必须安装ZooKeeperB、Kafka部署的实例个数不得小于2C、Kafka的服务端可以产生消息D、Consumer作为Kafka的客户端角色专门进行消息的消费答案：C14、KafkaClusterMirroring工具可以实现以下哪项功能？A、Kafka跨集群数据同步方式B、Kafka单集群内数据备份C、Kafka单集群内数据恢复D、以上全不正确答案：A15、FusionlnsightHD中，如果需要查看当前登录HBase的用户和权限组，可以在HBaseshell中执行什么命令？A、use_permissionB、whoamiC、whoD、get_user答案：B16、以下关于KafkaPartition偏移量的描述不正确的是？A、唯一标记一条消息B、消费者通过offset、partition、topic跟踪记录C、每条消息在文件中的位置称为offset偏移量D、offset是一个String型字符串答案：D17、Spark自带的资源管理框架是?A、YARNB、MesosC、StandaloneD、Docker答案：C18、下列关于SparkStreaming和Streaming比较说法不正确的是？A、SparkStreaming是一个微批处理框架，事件需要积累到一定量时才进行处理B、Streaming的执行逻辑是即时启动，运行完后再回收C、SparkStreaming的吞吐量大约是Streaming的2-5倍D、SparkStreaming事件处理时延比Streaming更高答案：B19、某银行规划的FusionlnsightHD集群有90个节点，如果控制节点规划了3个，那集群中数据节点推荐规划（）个。
华为FusionInsight大数据方案介绍
B 商业理解 数据分析师
P
M
技术实践
数据科学
平台
算法
不断迭代
13
大数据应用挑战
数据分析师
传统分析方法面临大数据的挑战 海量数据分析的及时性、效率和实时应用 当前技能要求搞，需要业务驱动的一站式甚 至one-Click的闭环解决方案
数据集成工程师
Hadoop
开放、统一数据处理，混合负载 稳定、可靠、安全 高效、高可扩展
第三方数据
微信
微博
流式数据 刷卡事件
12
数据价值发现是一个系统工程，数据分析师是不可替代的
以业务问题为出发点，围绕商业理解-数据科学-技术实践才能形成系统的数据价 值发现，数据分析师是核心角色，平台/算法都是他的工具。
商业理解：分解业务问题/理解数据 数据科学：数据方法体系，算法和工具 技术实践：大数据相关平台技术
GFS（分布式文件系统）
Chubby（分布式协同）
分布式存储+ 查询 + 批处理
网页搜索应用驱动Google建立低成本高扩展文件系 统、支持K/V网页数据的查询、批处理构建索引
Google大数据架构2.0 社交网络时代(2010)
Dremel 交互式分析
BI/Analytics
Search Page Indexing Google+
Travel Sky Ticket Booking
Core Banking System
IOT
搜索，社交
大数据平台
复杂度
数据模型
传统数据平台 数据负载特征
并发量
访问量
在大数据和移动互联网时代，传统企业在数据规模和访问量的快速增长，使得技术选择上，向互联网公司靠齐
IT智能运维解决方案部-培训反馈测试-第三周
IT智能运维解决方案部-培训反馈测试-第三周您的姓名： [填空题] *_________________________________华为Fusioninsight大数据产品1. 数据管理范式的下一步创新方向是：（） [单选题] *A. Data Lakehouse(正确答案)B. Data LakeC. Data WarehouseD. Data Stream2. 在实时数据流处理中，华为优先推荐哪种流计算引擎（） [单选题] *A. Flink(正确答案)B. Spark StreamingC. StormD. Heron3. FusionInsight实时检索引擎包括：（） *A. Hbase(正确答案)B. ElasticSearch(正确答案)C. KafkaD. Redis4. 大数据不仅限于Hadoop，是多种主流数据处理技术的合集，成为开放技术的实施标准。
（） [单选题] *A.正确(正确答案)B.不正确5. 华为认为，面向未来()是下一步创新方向，技术创新持续涌现。
（） [单选题] *A.数据仓库B.数据湖C.湖仓一体(正确答案)6. 下列哪一个选项是深度学习主流框架？（） [单选题] *A.HadoopB.HiveC.SparkD.Tensorflow(正确答案)E.Flink7. FusionInsight具备四大能力是(),助力客户解决企业大数据平台建设的关键问题（） *A.一站式平台(正确答案)B.永远在线(可靠性99.999%)(正确答案)C.易用低成本(正确答案)D.可持续演进(正确答案)E.标准化产品，开箱即用华为智慧城市IOC&大数据解决方案8. 华为新型智慧城市建设思路是：1+1+N，其中1+1是指什么？（） [单选题] *A. 一个数字平台+一个城市IOC(正确答案)B. 一个目标+一套平台C. 一个标准+一种方法D. 一个指挥+一笔资金9. 华为认为新型智慧城市建设应包括几个”一”工程？（） [单选题] *A. 6(正确答案)B. 5C. 4D. 310. IOC技术架构的技术基础是什么？（） [单选题] *A. 大数据平台(正确答案)B. PaaSC. SaaSD. IaaS11. 无处不在的IOC：从“看”到”用”，智享实现三屏联动的“驾驶舱”。
华为认证ICT工程师HCIA考试(试卷编号111)
华为认证ICT工程师HCIA考试(试卷编号111)1.[单选题]当使用Tensor Flow2.o的ker as接口搭建神经网络时， 需要进行网络的编译工作，需要用到以下哪种方法?A)compileB)writeC)joinD)fit答案:A解析:2.[单选题]安装FusionInsight HD的Streaming组件 Nimbus角色要求安装几个节点?A)4B)3C)2D)1答案:C解析:3.[单选题]以下关于 OVS（Open vSwitch）的搭述，错误的是哪一项?（）A)运行在虚拟化的服务器上,相比传统交换机具有更高的转发性能B)具备传统交换机实现的网络隔离和数据转发功能C)OVS 是一个支移层数据传发的高质量虚拟交换机D)运行在虚拟化的服务器上，并提供远程管理答案:A解析:4.[单选题]() 设备可以为视频会议系统提供统一地址本服务。
A)SCB)MCUC)EUAD)终端答案:C解析:5.[单选题]OSPFv3使用哪个区域号标识骨干区域？A)0B)3C)1解析:6.[单选题]如下图所示网络，SWA的MAC地址表如下，交换机始终学习不到HOSTA的MAC地址，不可能是以下哪种原因？class="fr-fic fr-dib cursor-hover"A)HOST A没有发送任何数据帧B)交换机的G0/0/1端口被设置为ACCESS模式C)交换机的G0/0/1端口关闭了MAC地址学习功能D)关闭HOST A所属LAN的MAC地址学习功能答案:B解析:7.[单选题]从源设备到目的设备之间有两台路由器RTA和RTB，使用Tracert命令来检测路径。
检测第一跳RTA时，源设备对目的设备的某个较大的端口送一个TTL为1的UDP报文，当该报文到达RTB时，TTL将变为0，于是RTA 对源设备回应一个ICMP （）消息。
A)Echo RequestB)Port UnreachableC)Time ExceededD)Echo Reply答案:C解析:A)隔离，虚拟机之间逻辑隔离,彼此不受影响B)软硬件紧耦合,虚拟化依赖于底层硬件,需要考虑兼容性问题C)封装,将虚拟机封装成文件的形式保存在物理设备上D)分区，虚拟化层为每一个虚拟机单独划分资源答案:B解析:9.[单选题]如图所示的网络，管理员希望所有主机每天在8：00-17：00不能访问Tnternet，则在G0/0/1的接口配置中Traffic-filter outbound 需要绑定哪个ACL规则？class="fr-fic fr-dib cursor-hover"A)time-range am9topm5 08:00 to 17:00 working-day #Acl number 2003Rule 5 deny time-range am9topm5 #B)time-range am9topm5 08:00 to 17:00 daily #Acl number 2002Rule 5 permit time-range am9topm5 #C)time-range am9topm5 08:00 to 17:00 daily #Acl number 2001Rule 5 deny time-range am9topm5 #D)time-range am9topm5 08:00 to 17:00 off-day #Acl number 2004Rule 5 permit time-range am9topm5 #答案:C解析:10.[单选题]以下哪项不属于华为桌面云系统的高危操作？A)启用虚拟机防火墙B)修改基础架构组件时间C)禁用虚拟机网卡D)修改基础架构虚拟机的IP答案:A解析:A)1B)6C)0D)89答案:D解析:12.[单选题]管理员用如下命令在路由器上配置了DHCP服务器：Ip poo1 poo11Netword 10.10.10.0 mask 255.255.255.0Gateway-List 10.10.10.1同时管理员希望给DHCP地址指定一个较短的租期，请问应该使用如下哪条命令？A)dhcp select relayB)Lease 24C)Lease 0D)Lease day 1答案:D解析:13.[单选题]云硬盘的存储容量单位是什么?A)PBB)KBC)GBD)TB答案:C解析:14.[单选题]eLTE-JoT通过()技术提高传输效率，提升系统容量?A)HARQ+ARQB)PSMC)小包快传D)调频技术答案:C解析:C跳频技术15.[单选题]FusionAccess链接克隆虚拟机发放失败，不可能是以下哪个原因？A)FusionCompute平台故障B)AD服务器异常C)FusionAccess并发用户数达到最大限制D)虚拟机模板被误删16.[单选题]IdeaHub Pro 65”触控屏最高分辨率为()。
FusionInsight大数据平台部署指南
FusionInsight⼤数据平台部署指南FusionInsight⼤数据平台部署指南⽬录1前⾔ (3)2设备采购 (3)3安装部署模式 (3)4其余注意事项 (8)5附件 (9)1 前⾔本指南的⽬的在于指导地区部、供应商、HALP购买设备，以及配置服务器，存储等硬件设备，⽹络连接与物理设备连接。
注：FusionInsight HD系统⽀持通⽤的X86服务器（不限于服务器），可根据⾃⾝需求灵活选择。
2 设备采购3 安装部署模式3.1 使⽤虚拟化虚拟机安装部署FusionInsightFusionInsight⼤数据分析平台⽀持使⽤虚拟机的形式部署FusionInsight节点，从⽽充分利⽤物理硬件的计算、存储、⽹络资源。
如果当前环境为实验⽤途推荐使⽤虚拟化的⽅式安装与部署FusionInsight 节点。
以下配置为使⽤虚拟化平台最⼩规模部署FuisonInsight全组件（管理节点、控制节点和数据节点合并部署），虚拟机具体硬件与操作系统需求如下：3.1.1 虚拟机硬件与操作系统需求：其他硬件：3.1.2 每虚拟机操作系统分区需求：3.1.3 虚拟机端⼝组配置与互联交换机配置：3.1.4 虚拟化平台逻辑拓扑结构3.2 使⽤物理主机平台安装部署FusionInsight为了保证FusionInsight⼤数据分析平台运⾏的效率与性能，可以使⽤物理主机的形式安装、部署Huawei FusionInsight⼤数据分析平台。
以下下配置为使⽤物理主机形式最⼩规模部署FuisonInsight节点（管理节点、控制节点和数据节点合并部署），物理主机具体硬件与操作系统如下：3.2.1 服务器硬件与操作系统需求其他硬件：3.2.2 服务器操作系统分区需求3.2.3 服务器物理组⽹与交换机需求3.2.4 物理组⽹逻辑拓扑4 其余注意事项实验教材建议由讲师讲解后，学⽣单独完成，如果需要故障排除，讲师可以参与。
另外实验时，为避免残余配置对实验的影响，要求学⽣在实验完成后，关闭设备之前清空设备保存的配置信息；同时，实验开始时，确认设备从空配置启动，否则执⾏配置清空，并重启设备。
华为FusionInsight解决方案介绍
海量数据从哪里来－机器
Boeing：飞机每 个引擎3分钟产生 1TB数据，波音 787 6小时飞行产 生240TB数据
CERN： LHC对撞 产生1PB/s的数据 SKA：2015年存 储需要1EB
云化IDC建设 催生了数据大集中
Facebook：每天 产生50TB的日志 数据，衍生分析 数据超过100TB
obsolete before plateau
50%的企业已经投资和使用大数据，33%的企业正在规划如何利用大数据，我们看到大数据领域的持续投资，大数据即将步入成熟发展阶段
跨过概念，进入实践，空间迅猛发展
5
大数据已经在领先企业获得落地，并产生效果
互联网
金融 运营商 零售
Google大脑
VISA信用卡可疑交易
Activity Streams Internet TV NFC Payment Private Cloud Computing Augmented Reality Cloud Computing Media Tablet Virtual Assistants In-Memory Database Management Systems Gesture Recognition Machine-to-Machine Communication Services Mesh Networks:Sensor
2013
密合作，最大限度地促进增长和利益，减少风险
•八国集团发布了《G8开放数据宪章》，提出要加快推动数据开放和利用。
•欧盟力推《数据价值链战略计划》，用大数据改造传统治理模式，降低公共部门成本，并促进经济增长和就业增长
•G8：
•英国政府发布《英国数据能力发展战略规划》，旨在利用数据产生商业价值、提振经济增长，承诺2015年之前 开放交通、天气、医疗方面的核心数据库。 •安倍内阁正式公布新IT战略《创建最尖端IT国家宣言》，以开放大数据为核心的IT国家战略 •2015年3月的两会上，李克强总理明确表态，政府应该尽量的公开非涉密的数据，以便利用这些数 据更好的服务社会，也为政府决策和监管服务。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
注意
本文的主要读者为华为技术与产品相关的内部人员，请勿外传。 涉及口径及策略的问题，请以最新发布的对市场的宣传口径和销售指导书 为准。 本文档不作为对客户的承诺。
华为技术有限公司
版权所有 © 华为技术有限公司 2015。 保留一切权利。
非经华为技术有限公司书面同意，任何单位和个人不得擅自摘抄、复制本手册内容的部分或全部，并不 得以任何形式传播。
华为技术有限公司
地址：
深圳市龙岗区坂田华为总部办公楼
网址：
客户服务邮箱： support@
邮编：518129
文档版本 01 (2015-06-30)
华为专有和保密信息 版权所有 ©
i
华为技术有限公司
目录
1 常识篇 ........................................................................................................................................ 4
2 解决方案篇 ................................................................................................................................ 7
2.1 华为 FusionInsight 大数据平台相对于传统关系型数据库/数据仓库更适合做哪些数据处理？............ 7 2.2 华为 FusionInsight 大数据平台位于企业 IT 架构的什么位置，需要与那些系统对接？....................... 8 2.3 华为 FusionInsight 大数据平台对外提供哪些接口？ ............................................................................. 9 2.4 华为 FusionInsight 大数据平台软件架构是怎样的？ ............................................................................. 9 2.5 华为 FusionInsight 大数据平台物理结构是怎样的？ ............................................................................10 2.6 华为 FusionInsight 大数据平台的构成中，那些来自开源社区，那些是华为自研？ ...........................11 2.7 在来自开源社区的组件中，华为做了哪些关键创新？ ........................................................................12 2.8 什么是 CTbase 的二级索引 ，起到了什么作用？................................................................................17 2.9 华为 FusionInsight 做过哪些第三方评测？ ...........................................................................................17 2.10 华为 FusionInsight 开源组件对应的社区版本是多少？.......................................................................18 2.11 华为 FusionInsight Manager 提供哪些维护功能？...............................................................................18 2.12 HDFS 不适合场景（不适合低延迟数据访问、不支持多用户写入及任意修改文件、无法高效存储大 量小文件、）在高版本的 HDFS 中是否已经解决，如果没有解决，它适合于哪些应用场景？ ................19 2.13 HBase VS 传统数据库有何区别？ .......................................................................................................20
1.1 什么是华为 FusionInsight 大数据平台？ ................................................................................................ 4 1.2 为什么需要它，什么场景下需要它？ .................................................................................................... 4 1.3 华为 FusionInsight 大数据平台聚焦什么样的应用场景？...................................................................... 5 1.4 华为 FusionInsight 大数据平台是怎样发展而来的？ ............................................................................. 5 1.5 华为 FusionInsight 大数据平台与开源社区是什么关系？...................................................................... 6 1.6 华为 FusionInsight 大数据平台是怎样与开源社区同步版本的？ .......................................................... 6 1.7 市场上和 FusionInsight 的同类型产品有哪些？..................................................................................... 6 1.8 华为 FusionInsight 的资料在哪儿下载？ ................................................................................................ 7
商标声明
、HUAWEI、华为、 是华为技术有限公司的商标或者注册商标。 在本手册中以及本手册描述的产品中，出现的其他商标、产品名称、服务名称以及公司名称，由其各自 的所有人拥有。
免责声明 本文档可能含有预测信息，包括但不限于有关未来的财务、运营、产品系列、新技术等信息。由于实践 中存在很多不确定因素，可能导致实际结果与预测信息有很大的差别。因此，本文档信息仅供参考，不 构成任何要约或承诺。华为可能不经通知修改上述信息，恕不另行通知。