【大数据实训】联想实训平台介绍
【大数据实训】联想实训平台介绍
媒体VM
VM
试验机VM（Docker）
VM VM VM
MR
数据处理
Streamin g
Spark
数据采集
Kafka
实训平台
实战平台
数据存储
HDFS
大数据教学实训平台（含课程和试验）
大数据科研实战平台（Leap HD大数据）
-3节点HX1320( xeon 4116*2, 256G, 480G*2, 4T*2) -1台万兆交换机NE1032 -实训管理及试验license-60并发用户
实验操作 480+个实验，实验时长累计超过1000小时。
2018 Lenovo Internal. All rights reserved.
‹#›
联想大数据实训平台丰富的课程
大数据 认知
认识大数据(10讲)
大数据与政府治理（10讲）
医疗健康大数据(10讲）
房产建筑大数据(6讲）
现代金融大数据（5讲）
‹#›
大数据人才培养加速
2016年2月，教育部公布新增“数据科学与大数据技术”专业，北京大 学、对外经济贸易大学、中南大学成为首家获批高校。2017年3月，上 海工程技术大学、北京信息科技大学、中北大学等32所高校获批，2018 年3月，中国农业大学、中国石油大学、齐鲁工业大学等248所高校获批。 2019年新增获批院校至少300+，普教、高职院校大数据教学需求同样 旺盛。
大数据实战实训平台
大数据授课与实验教学平台
1 2018 Lenovo Internal. All rights reserved.
Agenda
联想大数据教学平台产品概念
联想大数据教学平台市场分析 联想大数据教学平台产品介绍 联想大数据教学平台案例
联想智能超算平台介绍-产品培训资料(客户)
2*E5-2600 v3 CPU, 64-128GB memory, 1 * 300GB HDD, 1 Mellanox QDR/FDR HCA
2*E5-2600 v3 CPU, 64-128GB memory, 1 * 300GB HDD, 1 Mellanox QDR/FDR HCA
LiCO HPC方案配置
集群节点类型
服务器型号
硬件配置
数量
管理节点
计算节点(包括 GPU节点) 登录节点
IO存储节点
x3650 M4/M5
NeXtScale nx360 M4/M5 或者 Flex x240 M4/M5 x3650 M4/M5
x3650 M5/M5
2*E5-2600 v3 CPU, 64GB memory, 2 * 300GB HDD, 1 Mellanox QDR/FDR HCA
方案亮点
易于部署
高可用性
• 打包所有软件，包含操作系统映像，驱动程序，开源软件，脚本以及文档 • 轻松完成集群管理节点的部署 • 三步即可完成整个HPC集群的部署
• 并行文件系统的HA
高速网络
使用灵活
Networking
Lenovo
联想智能 Platform™
Symphony
Lenovo Platform
超算平台Cluster Manager
Lenovo
LiCO Platform LSF
Lenovo Platform
HPC
Rack Server
Redefining x86
02.大数据实验实训平台白皮书
大数据实验实训平台白皮书2018-10-1目录一、平台建设背景 (3)1.1.面临主要问题 (3)1.2.平台建设的必要性 (3)1.3.平台建设原则 (4)二、设计理念 (5)三、平台架构 (5)四、平台功能 (6)4.1.大数据教学资源建设 (6)4.2.大数据实验实训平台建设 (7)4.3.基础支撑平台建设 (14)五、平台优势 (15)一、平台建设背景1.1.面临主要问题由于涉及大数据领域的教学发展时间并不是很长，所以目前学院在教学过程中，主要面临以下几个方面的问题：1.师资队伍建设IT新技术更新迅速，有限的教师资源很难在有限的时间内系统的指导大批学生，设计性和探究性实验难以开展。
另外，教师教学任务繁重，新技术开发课程周期长，内部讲师培养周期长，这样在课程的储备上明显不足。
2.教学实验环境大数据相关实验一般是一人操作多台机器，传统机房是一人一台操作，传统的机房实验室，已经无法满足大数据相关实验操作的要求。
传统机房的现有服务器资源，也大多无法满足大数据实验的高计算、高性能要求。
快速更新的技术，导致现在教学实验环境无法快速适应大数据相关实验教学的要求。
3.课程体系建设由于涉及新的知识体系内容，无参考标准体系，教师在编制大数据相关实验课程方面缺乏积累，教学内容开发缓慢。
大数据相关实验需要大量的真实行业数据，无法通过模拟进行教学。
所以教学内容缺失主要是：缺乏真实数据；缺乏行业案例。
模拟数据的教学无法让学生体会到大数据的真实应用，造成学生动手能力难以提升。
1.2.平台建设的必要性综合目前学院建设所面临的问题，对教师和学生在教学过程中产生很大的影响，教师面临着任务重、备课难、实验课难开展、发论文没思路等困扰，而学生又面临着听不懂、不会做、不会用、学不会的烦恼。
所以如何实现大数据时代的标准教学、如何评估学生综合能力、如何解决师资缺乏、如何保障科研成果、学生就业如何满足企业需求是学科建设中必须要解决的问题。
大数据平台安装实训报告
一、实训背景随着信息技术的飞速发展，大数据已成为国家战略资源。
为了培养具备大数据技术能力的人才，我国高校纷纷开设大数据相关课程。
本实训旨在通过实际操作，使学生掌握大数据平台的搭建与配置，为今后从事大数据相关工作打下坚实基础。
二、实训目标1. 熟悉大数据平台的基本概念、架构及常用技术。
2. 掌握Hadoop、Hive、HBase等大数据组件的安装与配置。
3. 熟悉大数据平台的集群部署与维护。
4. 提高动手实践能力，培养团队合作精神。
三、实训环境1. 操作系统：CentOS 72. 虚拟机软件：VMware Workstation3. 大数据组件：Hadoop 3.1.0、Hive 3.1.2、HBase 2.2.4四、实训内容1. 创建虚拟机与操作系统的安装（1）使用VMware Workstation创建虚拟机，并安装CentOS 7操作系统。
（2）配置虚拟机网络，实现虚拟机与主机之间的网络互通。
2. 集群主节点JDK和Hadoop的安装与配置（1）修改主机名，便于区分不同节点。
（2）进入hosts文件，配置IP地址及对应的主机名。
（3）配置本机网卡配置文件，确保网络连通性。
（4）测试网络连接是否正常。
（5）安装JDK 8，为Hadoop提供运行环境。
（6）安装Hadoop 3.1.0，并配置Hadoop环境变量。
（7）初始化Hadoop集群，确保集群正常运行。
3. 集群从节点JDK和Hadoop的实现（1）将集群主节点的配置文件分发到其他子节点上。
（2）在从节点上安装JDK 8和Hadoop 3.1.0。
（3）修改从节点的hosts文件，确保集群内节点之间可以相互通信。
4. Hive和HBase的搭建与配置（1）安装Hive 3.1.2和HBase 2.2.4。
（2）配置Hive环境变量，并启动Hive服务。
（3）配置HBase环境变量，并启动HBase服务。
5. 大数据平台的集群部署与维护（1）测试Hadoop集群的MapReduce、YARN等组件是否正常运行。
联想大数据平台整体方案
7
联想助力企业打造大数据的关键能力
联想集团依据多年制造领域的经验积累，在不断探索创新的基础上，总结出推动基于数据智能的数据湖
建设四大关键能力。BSDA在强调统一的同时，注重通过智能化的手段完成技术与业务整体的协同。
BD
S
A
Business
统一的 数据应用能力
• 基于业务场景的应用能力提供 • 敏捷灵活的支撑手段与工具 • 高复用性模式，响应快速
360度业务实时决策 汽车车主灵活分析 互联网化市场分析
DMS、客服、CRM 数据集成和管理
10+垂直网站、论 坛汽车数据采集
秒级KPI分析和多维 数据敏捷分析
5大运营领域，30+业 务场景实时监控分析
构建车主标签体系，实 基于AI模型的网络分析， 现车主细分、偏好分析 实时监控车企口碑
12
05海马汽车: 工业大数据，数据湖助力全面数字化转型
客户服务
2
大数据成为联想数字化转型的引擎
支撑500多个大数据场景优化，全面提升产品研发，生产，供应链，客 服等关键环节的运营效率。
产品研发管理
生产制造优化
供应链管理
销售渠道管理
10s内全球亿级设备的产品追踪和量 化分析能力
用户使用追踪
70%产品个性化定制生产，数万个 配置组合
客户服务优化
供应链预测准确性提升10～20%， 准确性超越行业专家
LeapAI-企业人工智能私有
云平台。集数据处理、算法 模型的开发供给、算力资源 管理和应用服务于一体，覆 盖人工智能的开发、部署、 运行与运维全业务流程。
6
LeapAI 产品全景
工作台
大数据平台实习报告
实习报告一、实习背景与目的在大数据时代背景下，我国众多企业纷纷投身于大数据技术的研发与应用，以期提高自身竞争力。
作为一名计算机专业的学生，我对大数据技术充满浓厚兴趣，希望能将其应用于实际工作中。
为此，我选择了某知名大数据平台公司进行为期三个月的实习，以期提升自己的专业技能和实践经验。
本次实习的主要目的是：1. 了解大数据平台的基本架构及其运作机制；2. 学习并掌握大数据处理、分析等相关技术；3. 培养实际操作能力，提高团队协作和沟通能力；4. 拓宽视野，紧跟行业发展趋势。
二、实习内容与过程1. 实习岗位与职责实习期间，我担任了大数据平台开发工程师的角色，主要负责大数据平台的搭建、维护及优化工作。
此外，我还参与了项目需求的讨论和分析，与团队成员共同完成项目开发。
2. 实习内容（1）大数据平台搭建在导师的指导下，我学会了使用Hadoop、Spark等大数据处理框架，并根据实际需求，搭建了适用于项目的大数据平台。
在搭建过程中，我深入了解了这些框架的原理和运作机制，为后续的实际应用打下了基础。
（2）数据处理与分析通过实习，我学会了使用Hive、HBase等工具进行数据处理和存储。
在实际项目中，我参与了数据的采集、清洗、转换和存储等工作，并利用Python、R等编程语言进行数据挖掘和分析。
在此过程中，我对大数据处理流程有了更深刻的认识。
（3）平台优化与调试在项目运行过程中，我发现了一些性能瓶颈。
为了解决这些问题，我查阅了大量资料，并请教了导师和同事。
通过不断的调试和优化，我成功提高了平台的运行效率，确保了项目的顺利进行。
（4）团队协作与沟通实习期间，我与团队成员保持了良好的沟通，共同解决了一系列技术难题。
在项目需求讨论和分析阶段，我积极参与，提出了自己的建议。
通过与团队成员的协作，我学会了如何高效地完成项目任务。
三、实习收获与体会1. 技术提升通过实习，我掌握了大数据平台的搭建、数据处理与分析等相关技术，为今后的职业发展奠定了基础。
大数据计术应用实训报告
一、实训背景与目的随着信息技术的飞速发展，大数据已成为推动社会进步的重要力量。
为了提高学生对大数据技术的理解和应用能力，我们开展了为期一个月的大数据技术应用实训。
本次实训旨在让学生了解大数据的基本概念、技术架构、应用场景，并通过实际操作，培养学生的数据分析、处理和解决问题的能力。
二、实训内容与过程1. 大数据基本概念与架构实训初期，我们首先介绍了大数据的基本概念，包括大数据的定义、特点、价值等。
随后，详细讲解了大数据技术架构，包括数据采集、存储、处理、分析等环节。
通过学习，学生了解了Hadoop、Spark等主流大数据技术框架。
2. 数据采集与存储在数据采集与存储方面，我们重点学习了Hadoop生态系统中的HDFS（Hadoop Distributed File System）和HBase。
通过实际操作，学生掌握了如何使用Hadoop分布式文件系统进行海量数据的存储，以及如何使用HBase进行非关系型数据的存储。
3. 数据处理与分析数据处理与分析是大数据技术中的核心环节。
实训中，我们学习了Spark SQL、Spark Streaming等数据处理工具，并通过实际案例，让学生了解了如何对海量数据进行清洗、转换、聚合等操作。
此外，我们还学习了使用Python、R等编程语言进行数据分析，并通过Jupyter Notebook等工具展示分析结果。
4. 大数据应用案例为了让学生更好地理解大数据技术的应用场景，我们选取了以下几个案例进行讲解和实训：电商推荐系统：通过分析用户行为数据，实现个性化推荐。
智能交通系统：利用大数据技术分析交通流量，优化交通信号灯控制。
金融风控：通过对交易数据的分析，识别和防范金融风险。
医疗大数据：利用大数据技术分析医疗数据，提高疾病诊断和治疗效果。
5. 实训项目实施在实训过程中，我们以小组为单位，共同完成了以下项目：构建一个基于Hadoop的日志分析系统：该系统可以实时收集和分析网站日志，为网站运营提供数据支持。
实训平台介绍
3
Agenda
联想大数据教学平台产品概念
联想大数据教学平台市场分析
联想大数据教学平台产品介绍 联想大数据教学平台案例
房产建筑大数据(6讲）
现代金融大数据（5讲）
城市规划大数据（10讲）
城市交通大数据（4讲）
社会关系网络大数据（9讲）
统计与分析
数据分析概述 建模分析师
R语言基础 SPSS统计分析
SAS数据统计分析
案例分析及业务应用
产品需求的挖掘与分析
大数据产品有计划的不断迭代与优化
技术开发
Linux基础
Java编程基础
-1台万兆交换机NE1032
-1台万兆交换机NE1032
-实训管理及试验license-60并发用户
-Leap大数据平台license
-60台实训终端（PC或云桌面）
9
大数据实训平台介绍
实训教学平台
视频 习题与测验 在线编程 实验操作
DATA 行业数据
大数据科研实战平台
10
联想大数据实训平台功能
16
实验任务及环境（480+）
Hadoop伪分布模式安装 Hadoop完全分布模式安装 Hadoop开发插件安装 HDFS JAVA API操作 Mapreduce实例——wordcount Mapreduce实例——去重 Mapreduce实例——排序 Mapreduce实例——求平均值 Mapreduce实例——Map端Join Mapreduce实例——Reduce端Join Mapreduce实例——单表Join Mapreduce实例——二次排序 Mapreduce实例——倒排索引
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2018 Lenovo Internal. All rights reserved.
15
实验操作
覆盖Java、Linux、Python基础，以及大数据相关生态系统所有框架组件，并且包括数据分析、可视化技术等工具、 平台的应用操作实验。
2018 Lenovo Internal. All rights reserved.
大数据分析师
认识大数据(10讲) 数据分析概述 SPSS统计分析 R语言基础
案例分析及业务应用 北京市二手房及租房价格分析案例
2018 Lenovo Internal. All rights reserved.
大数据产品经理
认识大数据(10讲) 数据分析概述
产品需求的挖掘与分析 大数据产品有计划的迭代与优化
2018 Lenovo Internal. All rights reserved.
19
应用场景（三） – 就业培训
根据就业岗位的能力模型及须掌握的知识体系，以项目教学法，设计成以知识点为单元的任务，通过任务 驱动引擎引导学生完成一个个任务，最终完成真实的项目。岗位包括：大数据开发工程师、大数据分析师、 大数据产品经理等。
-6节点SR650( xeon 4116*2, 128G, 240G*2, 2T*3) -1台万兆交换机NE1032 -Leap大数据平台license
-60台实训终端（PC或云桌面）
2018 Lenovo Internal. All rights reserved.
9
大数据实训平台介绍
实训教学平台
2016年2月，教育部公布新增“数据科学与大数据技术”专业，北京大 学、对外经济贸易大学、中南大学成为首家获批高校。2017年3月，上 海工程技术大学、北京信息科技大学、中北大学等32所高校获批，2018 年3月，中国农业大学、中国石油大学、齐鲁工业大学等248所高校获批。 2019年新增获批院校至少300+，普教、高职院校大数据教学需求同样 旺盛。
2018 Lenovo Internal. All rights reserved.
3
Agenda
联想大数据教学平台产品概念
联想大数据教学平台市场分析
联想大数据教学平台产品介绍 联想大数据教学平台案例
2018 Lenovo Internal. All rights reserved.
4
大数据人才培养加速
24
部分案例
齐鲁工业大学“大数据实训项目”：
为学校提供主流的技术路线和大数据平台，满足学生教学实训和
大数据实训落地院校
清华大学
桂林电子科技大学
中国农业大学
武夷学院
教师科研实战的需求，提供丰富的工业数据集真实模拟实战训练 广西师范大学 齐鲁工业大学
大连海事大学 大连外国语大学
山西中北大学“大数据实训基地”：
联想大数据教学平台案例
2018 Lenovo Internal. All rights reserved.
7
联想大数据教学平台建设方案
系统说明
2018 Lenovo Internal. All rights reserved.
8
大数据实训+科研平台
管理VM
VM
大数据教学实训平台+科研实战平台登录门户
17
应用场景（一）–课后教学辅助功能
作为教师讲授专业课的辅助，为课后提供各种实验环境与实验任务指导书，减轻老师的负担。
2018 Lenovo Internal. All rights reserved.
18
应用场景（二）– 实训课程
作为辅助教学，为老师开设的大数据专来课程提供从理论讲解、课后习题、上机实验等一系列内容，前、后成体 系贯穿，解决学校无法开展新工科教学的痛点。
2018 Lenovo Internal. All rights reserved.
20
大数据实训平台-提供面向培训目标的课程
大数据开发工程师
认识大数据(10讲)
Linux基础
Java编程基础
Hadoop基础
Hive数据仓库
MapReduce编程进阶
数据库Hbase
数据处理实用案例
企业大数据处理综合平台
视频 习题与测验 在线编程 实验操作
DATA 行业数据
2018 Lenovo Internal. All rights reserved.
大数据科研实战平台
10
联想大数据实训平台功能
视频任务，包括：300小时的认知、通识课程，150小时的大数据
视频
专业课程，450小时的实验、实践操作视频。
习题与测验
的软硬件环境； ➢ 传统的实验、实践体系变革、提升空间大
高校开展大数据教学必备的3个条件 （1，师资、2，教材及培养方案、3，实验、实践环境）
2018 Lenovo Internal. All rights reserved.
6
Agenda
联想大数据教学平台产品概念 联想大数据教学平台市场分析
联想大数据教学平台产品介绍
16
实验任务及环境（480+）
Hadoop伪分布模式安装 Hadoop完全分布模式安装 Hadoop开发插件安装 HDFS JAVA API操作 Mapreduce实例——wordcount Mapreduce实例——去重 Mapreduce实例——排序 Mapreduce实例——求平均值 Mapreduce实例——Map端Join Mapreduce实例——Reduce端Join Mapreduce实例——单表Join Mapreduce实例——二次排序 Mapreduce实例——倒排索引
大数据实战实训平台
大数据授课与实验教学平台
1 2018 Lenovo Internal. All rights reserved.
Agenda
联想大数据教学平台产品概念
联想大数据教学平台市场分析 联想大数据教学平台产品介绍 联想大数据教学平台案例
2018 Lenovo Internal. All rights reserved.
城市规划大数据（10讲）
城市交通大数据（4讲）
社会关系网络大数据（9讲）
统计与分析
数据分析概述 建模分析师
R语言基础 SPSS统计分析
SAS数据统计分析
案例分析及业务应用
产品需求的挖掘与分析
大数据产品有计划的不断迭代与优化
技术开发
Linux基础
Java编程基础
Hadoop基础
Hive数据仓库
MapReduce编程进阶 数据库Hbase
Storm实时数据处理
数据迁移工具Sqoop Flume日志框架
Kafka流式数据采集
Zookeeper开发
Scala编程语言
Spark基础
Spark实时计算
Spark SQL编程
Spark MLlib机器学习
数据处理实用案例
实战案例
海量网站日志分析
搜索引擎搜索数据统计分析
电商商品统计分析及可视化展现
13
习题
以判断题、选择题为主的客观题，并以小节习题，单元测验的形式考核学生。
2018 Lenovo Internal. All rights reserved.
14
在线编程
在线的判题系统（Online Judge），用户可以在线提交程序（如Java、Python）源代码，系统对源代码 进行编译和执行，并通过预先设计的测试数据来检验程序源代码的正确性。
习题与测验任务，以判断题、选择题为主的客观题，目前各类习 题共有500多道。
在线编程
在线编程任务，以Java与Python为主的语法、算法编程练习，收 录了语言基础、金典算法，以及BATJ等知名公司面试题。
实验操作任务，覆盖Java、Linux、Python基础，以及大数据相
关生态系统所有框架组件，乃致数据分析、可视化技术等，共
Hadoop基础 企业大数据处理综合平台 北京市二手房及租房价格分析案例
...
21
21
联想大数据科研实战平台
2018 Lenovo Internal. All rights reserved.
22
行业数据
地区房产
法律咨询
股票基 金交易
电商评价
全球书评
搜索引擎 访问日志
01
02
03
04
05
06
07
Spark MLlib推荐算法应用
企业大数据处理综合平台
北京市二手房及租房价格分析案例
汽车品牌口碑情感分析
医疗咨询与疾病预测
2018 Lenovo Internal. All rights reserved.
12
包含音视频、讲义大纲的富媒体课堂
2018 Lenovo Internal. All rights reserved.
2018 Lenovo Internal. All rights reserved.
26
商机及销售流程
中国区中央业务拓展团队BD对接DCG中央销售。 BD团队获取中央区的商机后，教育行业经理将商机传递给分区销售。 教育行业经理对接DCG分区销售，并调用售前资源支持。 BD及行业经理会从产品角度支持销售，同时教育行业经理辅助销售进行下单
媒体VM
VM
试验机VM（Docker）
VM VM VM
MR
数据处理
Streamin g
Spark
数据采集
Kafka
实训平台
实战平台
数据存储
HDFS
大数据教学实训平台（含课程和试验）
大数据科研实战平台（Leap HD大数据）