华为FusionInsight大数据方案介绍
大数据HCIA试题及参考答案
大数据HCIA试题及参考答案1、以下关于Zookeeper的Leader节点在收到数据变更请求后的读写流程说法正确的是？A、仅写入内存B、同时写入磁盘和内存C、先写磁盘再写内存D、先写内存再写磁盘答案：C2、在FusionInsight产品中，关于KafkaTopic，以下描述不正确的有？A、每个Topic只能被分成一个partition（区）B、Topic的partition数量可以在创建时配置C、每个Partition的存储层面对应一个log文件，log文件中记录了所有的信息数据D、每条发布到Kafka的消息都有一个类别，这个类别被称为Topic，也可以理解为一个存储消息的队列答案：A3、HBase的物理存储单元是什么?A、RegionB、ColumnFamilyC、ColumnD、ROW答案：B4、以下哪些选项属于Hive的数据存储模型？A、以上全都正确B、表C、桶D、数据库E、分区答案：A5、Zookeeper的scheme认证方式不包含以下哪项？（）A、digestB、authC、saslD、world答案：C6、Hive中的这条命令“ALTERTABLEemployee1ADDcolumns(column1string);”是什么含义？A、删除表B、增加列C、创建表D、修改文件格式答案：B7、FusionInsightHD的HBase中的一张表包含以下几个Region[10，20），[20，30），[30，+∞]，分别编号为①，②，③，那么，11，20，222分别属于哪个Region?A、①①③B、①②③C、①②②D、①①②答案：C8、FusionInsightHD的HBase中保存一张用户信息表meg_table，Rowkey为用户id，其中一列为用户昵称，现在按先后顺序往这列写入三个KeyValue:001:Li，001:Mary，001:LiLy，请问scan'meg_table'，{VERSIONS=>2}会返回哪几条数据?A、001:LiB、001:LilyC、001:Li，001:Mary，001:LiLyD、001:Mary，001:LiLy答案：D9、Flink中的（）接口用于流数据处理，（）接口用于批处理？A、DataStreamAPI，DataSetAPIB、DatabatchAPI，DataStreamAPIC、StreamAPI，BatchAPID、BatchAPI，StreamAPI答案：A10、关于RDD，下列说法错误的是？A、RDD具有血统机制（Lineage）B、RDD默认存储在磁盘C、RDD是一个只读的，可分区的分布式数据集D、RDD是Spark对基础数据的抽象答案：B11、加载数据到Hive表，哪种方式不正确?A、直接将本地路径的文件load到Hive表中B、将HDFS上的文件load到Hive表中C、Hive支持insertinto单条记录的方法，所以可以直接在命令行插入单条记录D、将其他表的结果集insertinto到Hive表答案：C12、在fusionlnsight产品中，关于kafka的topic.以下描述不正确的是？A、topic的partition数量可以创建时配置B、每个topic只能被分成一个partition区C、每条发布到kafka的消息都有一个类别，这个类别被称为topi也可以理解为一个存储消息的队列D、每个partition在存储层面对应一个log文件，log文件中记录了所有的消息数据答案：B13、FusionInsightHD产品中，关于Kafka组件部署说法不正确的是?A、Kafka强依赖于ZooKeeper，安装Kafka必须安装ZooKeeperB、Kafka部署的实例个数不得小于2C、Kafka的服务端可以产生消息D、Consumer作为Kafka的客户端角色专门进行消息的消费答案：C14、KafkaClusterMirroring工具可以实现以下哪项功能？A、Kafka跨集群数据同步方式B、Kafka单集群内数据备份C、Kafka单集群内数据恢复D、以上全不正确答案：A15、FusionlnsightHD中，如果需要查看当前登录HBase的用户和权限组，可以在HBaseshell中执行什么命令？A、use_permissionB、whoamiC、whoD、get_user答案：B16、以下关于KafkaPartition偏移量的描述不正确的是？A、唯一标记一条消息B、消费者通过offset、partition、topic跟踪记录C、每条消息在文件中的位置称为offset偏移量D、offset是一个String型字符串答案：D17、Spark自带的资源管理框架是?A、YARNB、MesosC、StandaloneD、Docker答案：C18、下列关于SparkStreaming和Streaming比较说法不正确的是？A、SparkStreaming是一个微批处理框架，事件需要积累到一定量时才进行处理B、Streaming的执行逻辑是即时启动，运行完后再回收C、SparkStreaming的吞吐量大约是Streaming的2-5倍D、SparkStreaming事件处理时延比Streaming更高答案：B19、某银行规划的FusionlnsightHD集群有90个节点，如果控制节点规划了3个，那集群中数据节点推荐规划（）个。
FusionSphere云数据中心解决方案
FusionSphere 6.0解决方案的定位
云数据中心
NFV电信云
云数据中心 企业应用
数据中心虚拟化
计算虚拟化
存储虚拟化 SDS
网络虚拟化 SDN
云数据中心场景 市场聚焦全球运营商数据中心，大型企 业数据中心
交付形态： OpenStack+FC作为独立产品直接面向客 户交付。
COTS/电信平台
NFVI场景
FusionSphere OpenStack
FusionSphere OpenStack OM
Fusion Fusion Fusion
Fusion Fusion Fusion
Compute Storage Network Compute Storage Network
KVM
Fusion Fusion Storage Network
面向云服务的一套架构，一套API，一套生态
/ /
云生态
企业商业应用 行业和区域ISV/SI 开发者
API
咨
FusionStage：PaaS服务
询 云 数据库服务 分布式中间件框架 消息服务 ... 运
安 业全 务服
FusionInsight：数据服务
MR Spark Streaming ML
营
...
VM1 VM2 VM3
VM1’ VM2’ VM3'
FusionSphere OpenStack云平台
FusionSphere OpenStack云平台
华为存储
业务中心
存储远程复制
华为存储
容灾中心
第18页
SDN实现网络服务化
云业务
云平台
Neutron API
华为FusionInsight大数据方案介绍
B 商业理解 数据分析师
P
M
技术实践
数据科学
平台
算法
不断迭代
13
大数据应用挑战
数据分析师
传统分析方法面临大数据的挑战 海量数据分析的及时性、效率和实时应用 当前技能要求搞，需要业务驱动的一站式甚 至one-Click的闭环解决方案
数据集成工程师
Hadoop
开放、统一数据处理，混合负载 稳定、可靠、安全 高效、高可扩展
第三方数据
微信
微博
流式数据 刷卡事件
12
数据价值发现是一个系统工程，数据分析师是不可替代的
以业务问题为出发点，围绕商业理解-数据科学-技术实践才能形成系统的数据价 值发现，数据分析师是核心角色，平台/算法都是他的工具。
商业理解：分解业务问题/理解数据 数据科学：数据方法体系，算法和工具 技术实践：大数据相关平台技术
GFS（分布式文件系统）
Chubby（分布式协同）
分布式存储+ 查询 + 批处理
网页搜索应用驱动Google建立低成本高扩展文件系 统、支持K/V网页数据的查询、批处理构建索引
Google大数据架构2.0 社交网络时代(2010)
Dremel 交互式分析
BI/Analytics
Search Page Indexing Google+
Travel Sky Ticket Booking
Core Banking System
IOT
搜索，社交
大数据平台
复杂度
数据模型
传统数据平台 数据负载特征
并发量
访问量
在大数据和移动互联网时代，传统企业在数据规模和访问量的快速增长，使得技术选择上，向互联网公司靠齐
HCNA CLOUD 《云计算》全套题库含答案
HCNACloud 云计算题库一、单项选择题（红色字为正确答案）1.主机存储虚拟化层+文件系统方式，需要在主机侧挂载存储设备后，对挂载的 LUN 创建文件系统。
（√ ）2.FusionCompute 同一台主机上，智能网卡和普通网卡不能混合使用。
（√ ）3.在华为 FusionSphere 解决方案中，如果想要虚拟机在主机宕机后自动进行 HA，切换到另外的主机，下面哪个条件不是必须的？A.主机属于同一个集群B.主机所属的集群开启 HAC.主机连接相同的共享数据存储D.主机上需要 HA 的虚拟机均使用同一网段 IP4.可以采用多种方式安装 FusionManager，当 FusionManager 部署在 VMware 虚拟化环境时，需要采用哪种方式安装？A.ISO 镜像B.模板文件C.PXE 自动安装D.ISO 镜像和模板文件都可以5.FusionAccess 中一次任务即对系统的一次操作，所有的任务被 FusionAccess 任务中心记录管理，支持任务的定时操作管理。
（√ ）6.FusionManager 对服务器配置监控后，可以对硬件执行某些维护操作。
如下哪个动作不能通过 FusionManager 对硬件执行？A.上下电B.安全重启C.安全下电D.PXE 加载7.FusionAccess 终端用户在 Web Interface 页面看到的虚拟桌面列表，事实上是存储在哪个部件里的？A.WIB.HDCC.ADD.Database8.在安装 FusionCompute 的过程中需要设置主机管理网口 IP 地址和 VRM 管理 IP 地址，下面对这两者的描述正确的是？A.使用主机管理网口 IP 进行多个站点级联B.使用 VRM 管理 IP 地址向集群添加多个主机C.使用 VRM 管理 IP 地址访问 FusionCompute 的 Web Portal 页面D.主机管理网口 IP 地址就是 VRM 管理 IP 地址解析：一个 VRM 管理范围就是一个站点的管理范围，多个 VRM 可以级联，提供统一的Portal 管理多个站点资源。
IT智能运维解决方案部-培训反馈测试-第三周
IT智能运维解决方案部-培训反馈测试-第三周您的姓名： [填空题] *_________________________________华为Fusioninsight大数据产品1. 数据管理范式的下一步创新方向是：（） [单选题] *A. Data Lakehouse(正确答案)B. Data LakeC. Data WarehouseD. Data Stream2. 在实时数据流处理中，华为优先推荐哪种流计算引擎（） [单选题] *A. Flink(正确答案)B. Spark StreamingC. StormD. Heron3. FusionInsight实时检索引擎包括：（） *A. Hbase(正确答案)B. ElasticSearch(正确答案)C. KafkaD. Redis4. 大数据不仅限于Hadoop，是多种主流数据处理技术的合集，成为开放技术的实施标准。
（） [单选题] *A.正确(正确答案)B.不正确5. 华为认为，面向未来()是下一步创新方向，技术创新持续涌现。
（） [单选题] *A.数据仓库B.数据湖C.湖仓一体(正确答案)6. 下列哪一个选项是深度学习主流框架？（） [单选题] *A.HadoopB.HiveC.SparkD.Tensorflow(正确答案)E.Flink7. FusionInsight具备四大能力是(),助力客户解决企业大数据平台建设的关键问题（） *A.一站式平台(正确答案)B.永远在线(可靠性99.999%)(正确答案)C.易用低成本(正确答案)D.可持续演进(正确答案)E.标准化产品，开箱即用华为智慧城市IOC&大数据解决方案8. 华为新型智慧城市建设思路是：1+1+N，其中1+1是指什么？（） [单选题] *A. 一个数字平台+一个城市IOC(正确答案)B. 一个目标+一套平台C. 一个标准+一种方法D. 一个指挥+一笔资金9. 华为认为新型智慧城市建设应包括几个”一”工程？（） [单选题] *A. 6(正确答案)B. 5C. 4D. 310. IOC技术架构的技术基础是什么？（） [单选题] *A. 大数据平台(正确答案)B. PaaSC. SaaSD. IaaS11. 无处不在的IOC：从“看”到”用”，智享实现三屏联动的“驾驶舱”。
FusionInsight解决方案
华为fusioninsight是一个分布式数据处理系统是在hadoop集群上又封装了一层类似于开源的cdhhdp等大数据平台
FusionInsight解 决 方 案
Fusion Insight解决方案：
华为Fusion Insight是一个分布式数据处理系统，是在Hadoopபைடு நூலகம்群上又封装了一层，类似于开源的CDH，HDP等大数据平台 Fusion Insight解决方案有4个子产品和1个操作运维系统：Fusion Insight HD（大数据处理环境）、Fusion Insight MPPDB（并行处理 关系型数据库）、Fusion Insight Miner（数据分析平台）、Fusion Insight Farmer（应用容器）、Fusion Insight Manager（操作运维 系统） 其中有2个带有数据存储的子产品：Fusion Insight HD和Fusion Insight MPPDB Fusion Insight HD使用的数据库是Hive和HBase Fusion Insight MPPDB没有明确使用什么数据库，SQL是PostgreSql-FDW提供的，数据存储使用的HDFS Fusion Insight Miner：基于Fusion Insight HD
华为大数据认证体系介绍
HALP
大数据 认证
➢ 高校教育以专业基础学科 为主，教师缺乏企业实践 经验
➢ 理论教学需辅以企业案例 实训，培养学生自主创新 能力
ICT大赛云赛道加分赛中大数据认证作为加分项
2019年第4届
100,000+学生
1600+高校，首次增加创新赛道
新工 科
ICT 学院
创新训 练营
ICT 大赛
HCIA-Big Data
✓ 大数据工程师 ✓ 产品经理（大数据类） ✓ 项目经理（大数据类） ✓ 售前工程师 ✓ 售后技术服务
华为大数据认证特点
增加知识点的广度和深度
加大开源内容的比重，增加案 例与业务分析思路及端到端实 战内容，以满足大数据核心岗 位技能需要及提升学员的实际 应用能力。
注重人才技能成长路径
GraphBase的架构原理，开
发和调优调试
• 实时检索实战
04. 大数据开发实时流处理场景
• 大数据场景化解决方案 • 大数据应用开发技能要求，
流程，和传统开发差异对比 • 案例举证
• 实时流应用场景、核心诉求和技术架构 • Flume、 Kafka、 Flink、 Spark
Streaming、 Redis的架构原理，开发 和调优调试
• 挖掘综合实验（房价预测/ 信用违约/银行贷款预测）
Thank you.
05. 大数据融合数仓场景
• 数据仓库概念和应用场景
• GaussDB 200介绍
03. 大数据实时检索场景
• 实时检索应用场景、核心诉 求和技术架构
• 融合数仓实战 • 包含离线，实时检索和实
时流处理
• HBase 、ElasticSearch、
FusionInsightHD技术白皮书
FusionInsightHD技术白皮书华为FusionInsight HD 技术白皮书目录1 简介 (1)1.1 FusionInsight概述 (1)1.2 FusionInsight HD组件介绍 (2)2 重点组件介绍 (4)2.1 集群管理Manager (4)2.2 分布式文件系统HDFS (6)2.3 统一资源管理和调度框架YARN (7)2.3.1 Yarn (7)2.3.2 Superior Scheduler (7)2.4 分布式批处理引擎MapReduce (12)2.5 分布式数据库HBase (13)2.6 数据仓库组件Hive (13)2.7 分布式内存计算引擎Spark (14)2.7.1 Spark (14)2.7.2 CarbonData (15)2.8 交互式SQL引擎Elk (16)2.9 全文检索组件Solr (19)2.10 全文检索组件Elasticsearch (21)2.11 批量数据集成Loader (22)2.12 实时数据采集Flume (25)2.13 流式事件处理（Storm） (26)2.13.1 Storm (26)2.13.2 StreamCQL (27)2.14 流处理引擎Flink (28)2.15 分布式高速缓存Redis (30)2.16 分布式消息队列Kafka (30)2.17 作业编排与调度Oozie (31)2.18 数据继承入口Hue (33)2.19 多租户 (34)2.20 安全增强 (36)2.21 可靠性增强 (37)2.22 滚动重启、滚动升级与滚动补丁 (39)1 简介1.1 FusionInsight概述FusionInsight是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对巨量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
FusionInsight解决方案由产品：FusionInsight HD、FusionInsight LibrA、FusionInsightAthena和操作运维系统FusionInsight Manager，数据使能服务：数据集成开发工具、实时决策平台，及私有云服务：HDS大数据服务、ADS数据库服务、RDS数据库服务构成。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
分析云服务Prediction API
（推荐Go、o分gl类e 、Br预ai测n 等）
（深度学习DNN，语音识别、图像识别
批量和流式等计）算融合云服务
Cloud DataFlow
Spanner
Pipeline计算 流计算 Flume MillWheel
智能分析+云服务
智能搜索应用驱动Google建立以Google大脑 为代表的智能分析技术
BigData
数据平台 低维护成本
性能 扩展性
服务 有竞争的，准化, 行
业经验
数据科学分析技术复杂和对技能要求高
5
企业大数据应用演进：数据成为企业的核心资产，推动商业创新
业务价值
信息支撑业务
以降低成本为目的 数据管理改造 离线分析
关注查询和报表
信息管理企业
关注数据的多样化和实时性 提供各种分析 实时分析 数据挖掘 数据安全
2. 简单应用（如详单云存储及查询；专 2. 接入多种数据源，内部/外部等;
据和云相结合;
2. 决策和运维智能化；
题分析）;
3. 各种应用场景（单域、跨域，数据 2. 支持灵活开发各种应用，注重隐私保护；3. 信息交易和共享。
3. 开始启动大数据咨询。
对外开放）;
3. 企业决策数据化，跨行业，跨领域数据
华为FusionInsight方案介绍
Content
1 大数据趋势和挑战 2 FusionInsight概述 3 FusionInsight特性介绍
1
数据库和大数据技术历史回顾
数据库时代
伴随PC发展
数据仓库时代
伴随Intenet和企业信息化发展
大数据时代
伴随云计算发展
SQL
PostgreSQL
Berkeley Ingres Sysbase
E2E ICT Resource Orchestration Engine
OSS suits
Big Data Suits
BSS suits
E2E ICT Resource Orchestration Engine RaaS NaaS OpenStack PCRF CaaS
Cloud OS/OpenStack(Local Resource) + Middleware
MS SQL SQL标准ER模型
IBM System R DB2
关系数据库理论 IBM Edgar Codd
Oracle
人工管理
Sybase IQ Teradat
Netezza Greenplum
MySQL
Orale7
Amazon SimpleDB
Exadata
EMC引爆 MPP收购潮
SAP HANA正 式发布
ONT MxU MxU CPE
RRU Small Cell Small Cell
CloudDSL/OLT
2 ADSL VDSL G.Fast
Percolator 增量框架
Bigtable 分布式NoSQL
Sawzall 高阶语言
MapReduce 批处理框架
Pregel 图计算框
架
交互式分析 + 增量刷新 + 图计算
社交网络数据搜索应用驱动Google建立增量查 询框架、社交图谱分析和交互式分析技术
Google大数据架构3.0 智能大脑时代
客户关怀与流程优化…
运作效能 网络性能管理与SQM策略保障
快速决策与根因分析定位 网络问题与规划
数据货币化 数据变现
OTT开放竞合 M2M和位置分析
Smarter SoftCom 业务和运营的智能融合
6
7
4
OBipgeDraatatiSounitss
8
apps for OM apps for Biz apps for consumer API
Amazon Redshift (ParAccel )
1970 1973
1980s
NoSQL NewSQL
简化数据处理和编程
1992
1996 1997 2000 2003 2005 2006
2008
2010
2012
2013
MR论文
Cassandra
Amazon
GFS 论文
Cloudera
DynamoDB
GFS（分布式文件系统）
Chubby（分布式协同）
分布式存储+ 查询 + 批处理
网页搜索应用驱动Google建立低成本高扩展文件系 统、支持K/V网页数据的查询、批处理构建索引
Google大数据架构2.0 社交网络时代(2010)
Dremel 交互式分析
BI/Analytics
Search Page Indexing Google+
大数据投资在加速（58%->64%）
电信领域：61％已投资或计划投资大数据
3
互联网大数据技术演进：从查询、分析到智能
Google大数据架构1.0 Web应用时代(2003)
Search
Page Indexing
Bigtable 分布式NoSQL
Sawzall 高阶语言 MapReduce 分布式并行计算
金融企业正从第一阶 段进入第二阶段
信息指导决策
运营数据 数据即服务 分析即服务
开放数据
领先的电信运营商正从第 二阶段进入第三阶段
信息促进创新
认知计算 深度计算
互联网公司正在开展
1. 大数据IT基础设施（hadoop）建设 1. 大数据平台，跨域数据整合及分析； 1. 对外数据开放，提供数据服务。大数 1. 构建企业数字中枢；
4. 构建实时分析应用，及时响应业务 挖掘的深度集成。
5. 开始数据挖掘等高级数据分析。
信息应用成熟度
6
大数据现在和未来将深刻的改变运营商……
OM Team
Biz Customer
Consumer Partners
市场分析 实时营销与推荐 客户精细分群与个性化推荐 预测与影响力分析
客户关怀和CEM 360°客户洞察 客户忠诚度维系
BigTable论文
Amazon SQL on Hadoop(Impala/Hawq)
Apache Hadoop
Hbase EMR Spark(IM MR)
Hive
Shark
MongoDB
Stream on Hadoop
集中数据管理和分析
DynamoDB论文
探索数据价值
2
行业趋势：大数据投资初具规模，加速增长
4
大数据与分析逐渐渗透到企业各个方面
应用为中心
分析 能力
架构的转变
转型
应用 数据
数据
分析
分析
能力
数据
能力
数据分析为中心
应用
第移二动数，据云平计台算，+ 数据
应用
应用
业务分析将会决定商业变革
需要全方位的大数据技术平台
Vertical
行业解决方案 快速产生商业收益,
低TCO, SaaS
自动化工具 驱动业务创新