曙光Xdata大数据平台介绍
大数据管理平台产品介绍
大数据管理平台产品介绍一、概述在当今数据驱动的商业环境中，企业和组织需要一个强大的大数据管理平台来收集、存储、处理和分析海量的数据。
我们的大数据管理平台提供了一系列强大的工具和服务，旨在帮助用户从复杂的数据中提取有价值的信息，以支持决策制定、优化运营和创新服务。
二、核心功能数据集成•数据采集：支持多种来源的数据接入，包括社交媒体、交易系统、物联网设备等。
•数据清洗：强大的数据预处理功能，可以去除冗余数据、纠正错误并标准化格式。
数据存储•分布式存储：采用可扩展的分布式存储系统，确保数据的安全性和高可用性。
•高效索引：为快速查询性能建立索引，提高数据检索效率。
数据处理•实时处理：支持实时数据处理和流分析，以便迅速响应业务需求。
•批量处理：高效的批量数据处理能力，适用于大规模的数据分析工作。
数据分析•高级分析：集成了机器学习、数据挖掘和统计模型，支持预测分析和模式识别。
•可视化工具：提供丰富的数据可视化工具，帮助用户直观理解数据分析结果。
数据安全与治理•访问控制：多级访问控制确保数据安全，防止未授权访问。
•数据质量管理：内置数据质量监控机制，确保数据的准确性和一致性。
三、技术架构云原生架构•多云支持：可在多个云平台上运行，包括公有云、私有云和混合云。
•容器化：利用容器技术实现服务的微服务化，易于部署和扩展。
可扩展性•动态伸缩：根据工作负载自动调整资源，优化性能和成本。
•多租户架构：支持多租户，满足不同客户的隔离需求。
四、应用场景•商业智能：为商业智能提供数据支持，揭示消费者行为和市场趋势。
•风险管理：通过分析历史数据，预测潜在风险并制定相应策略。
•客户洞察：深入理解客户需求，提升客户满意度和忠诚度。
•产品开发：利用用户反馈和市场数据，指导新产品的研发。
五、总结我们的大数据管理平台是为满足现代企业的数据分析和业务智能需求而设计的。
它不仅提供了强大的数据处理能力，还确保了数据的安全性和完整性。
通过使用我们的平台，企业可以释放数据的全部潜力，推动数据驱动的决策，从而在竞争激烈的市场中保持领先。
第16章 曙光XData大数据平台及应用案例-大数据技术基础-宋旭东-清华大学出版社
高效
✓ Big Data Benchmark， 性能领先
✓ 自研高速分析技术， 高效计算
✓ 超大规模集群处理能 力，性能卓越
智能
✓ 标准开放架构，应用快速 移植
✓ 图形化拖拽式操作，使用 便捷
✓ 提供丰富API，易于二次 开发
敏捷
✓ 百余种机器学习算法，智能预测 ✓ 融合深度学习框架，自动推理 ✓ 向导式自动化模型训练，灵活精准
16.2 曙光大数据平台架构及关键技术
曙光XData大数据平台架构
❏ 安全管控系统
安全管控系统通过安全通信协议和角色权 限管理功能，在软件层面提供通信安全和 数据安全的双重保障，有效对数据进行访 问控制和安全管理。
❏ 数据智能系统
数据智能系统可快速实现数据抽取、特征 工程、算法编排、模型训练、模型评估等 全流程的可视化服务功能，快速构建数据 挖掘、机器学习算法模型。
3
XData采用融合的技术架构，深度实现存储融合、计算融合、调度融合、
多源数据融合、 业务流程融合，构建体系化融合的整体系统。系统内嵌深度
学习分布式引擎，实现数据智能 挖掘；内置机器学习算法库，实现高度专业
算法优化；支持全维度任务运行监控，数据可自动分级；利用视觉引擎全景化
展示，实现智能数据透视。系统融合内存计算引擎，实现高效 数据分析处理；
利用任务分解并行执行，实现复杂查询深度优化；采用无共享式数据存储，达
到性能线性规模增长；采用流式计算一体处理，满足实时数据在线分析。系统
采用类SQL接口服务方式，便于用户操作，简单易用；支持结构化和非结构化
异构数据统一化管理；通过一体化运维管理，可实现图形化操作。
16.1 曙光XData大数据平台简介
曙光XData大数据教战手册
曙光XData大数据教战手册曙光信息产业(北京)有限公司产品中心1.教战手册作用曙光XData大数据教战手册是销售人员在与客户沟通时常见问题的回答要点，是让客户清楚曙光在备份领域能做的事情以及曙光的优势，最终为达成销售的目的提供必要的技术解释。
2.背景介绍2.1 什么是大数据“大数据”并不是一项技术，而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。
因此，大数据在业内并没有一个统一的定义。
不同厂商、不同用户，站在不同的角度，对大数据的理解不一样。
目前说大数据的定义，主要有下面两种：第一种是《Teradata Manager》上给出的一个定义，它指出大数据是指超出了常用硬件环境和软件工具在可接受的时间范围内为其用户收集、管理和处理数据的能力。
另一种是麦肯锡给出的定义，它说大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。
2.2 大数据的特点“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。
但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。
因为“用现有的一般技术难以理解”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。
大数据的特征，可以用四个V开头的关键词来描述：1)数据体积大——V olume截止目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。
当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据已经接近EB级。
2)数据类型多——Variety数据的多样性可以把数据分为结构化数据和非结构化数据。
相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。
这些多类型的数据对数据的处理能力提出了更高要求。
3)价值密度低——Value价值密度的高低与数据总量的大小成反比。
曙光XData让数据“发声”
曙光XData让数据“发声”作者：郭涛来源：《中国计算机报》2013年第28期地震、台风、泥石流……有什么好的方法能够预防自然灾害并减小灾害带来的损失呢？大数据是一种可行的方法。
为了预防自然灾害，就必须对大量的地质、气候数据进行整理、分析。
为了满足相关科研机构对于大容量存储和数据分析的需求，曙光公司为其提供了高性能集群系统和并行存储系统，满足了科研机构对I/O带宽高、系统扩展性好、并发处理能力强的需求，同时全面支持先进的高速互联网络并行计算，使得科研机构能够及时做出预判。
有人说，中国是一个天生的大数据国家。
大数据将开启一次重要的IT时代转型，而在这股大数据的淘金浪潮中，如果能够抓住创新的契机，紧贴行业用户的需求，找到大数据的支点，中国企业就可能占得先机。
云计算是技术支点大数据4V（Volume、Velocity、Variety、Veracity）的特点决定了它与传统的数据挖掘技术存在着本质区别。
在利用大数据技术应对自然灾害、控制流行性疾病、帮助政府制定惠民政策，或让企业通过数据再加工实现盈利的今天，仅注重因果关系的传统思维方式产生了很大的局限性。
在以事物相关关系为核心的大数据时代，用户必须具备收集全面而完整的数据，并做出相关性判断的能力。
因此，用户需要强大的数据处理和存储能力，同时还需要先进的实时分析技术。
正如《大数据时代》一书的作者维克托教授所说，大数据的真实价值就像漂浮在海洋中的冰山，其价值绝大部分都隐藏在海面之下。
“征服数据海洋的动力就是云计算。
”曙光公司总裁助理兼存储产品总监惠润海表示，“在云计算出现之前，传统的方法无法处理PB级的非结构化数据。
以云计算为基础的大数据平台，可以通过信息存储、分享和挖掘手段，以更低的成本有效地将大量、高速、多变化的数据存储下来，并进行实时分析。
曙光经过十多年在高性能、云计算和存储领域的精耕细作，已经在国防军工、气象气候、政府、医疗、交通和物流等行业推出了一系列非常成熟的解决方案，同时积累了应对不同规模、不同类型数据处理的大数据实施经验。
大数据平台介绍
大数据平台可以支持不同的应用场景，如 数据分析、数据挖掘、数据可视化等，满 足不同业务需求。
大数据平台的分类
根据部署方式
大数据平台可以分为私有云和公有云两种部署方式。私有云采用云计算技术构建 ，可以实现公有云的所有功能，同时保证数据的安全性和可靠性；公有云则采用 运行公共云的所有基础设施，用户可以通过互联网访问大数据服包括新闻报道、社交
媒体上的评论和论坛讨论功能，帮助用户快速
了解舆情动态，同时还支持多种数据导出方式和定制化的数据分析服务。
微信指数
概述
微信指数是微信团队推出的一款 大数据分析工具，旨在帮助用户 了解微信平台上各类关键词的热 度和趋势。
根据数据处理方式
大数据平台可以分为批处理和流处理两种方式。批处理方式适用于对大规模数据 的离线处理和分析；流处理方式适用于对实时数据的在线处理和分析。
02
知名大数据平台介绍
阿里指数
概述
阿里指数是阿里巴巴集团推出的一个大数据分析平台，旨在为用户 提供关于市场趋势、行业动态和消费者行为等方面的洞察。
大数据平台介绍
• 大数据平台概述 • 知名大数据平台介绍 • 大数据平台的应用与发展趋势 • 大数据平台的未来展望与建议
01
大数据平台概述
定义与特点
定义
大数据平台是一个集成了数据存储、 处理、分析和管理功能的综合性平台 ，旨在提供高效的大数据处理和分析 服务。
特点
大数据平台具有海量数据处理能力、 高性能计算能力、数据安全性和可靠 性等特点，能够满足不同行业和领域 的数据处理和分析需求。
大数据平台的发展趋势与挑战
发展趋势
随着技术的不断进步和应用需求的增加，大数据平台的发展 趋势包括数据实时处理、数据安全与隐私保护、人工智能与 大数据的融合等。
国际新闻KLATencor中国区出货量已超全球30%,将全力支持中国半导体行业发展
http ：//厦门意行一发四收毫米波雷达单芯片SG24TR14量产日前，厦门意行半导体科技有限公司（厦门意行）正式发布24GHz 毫米波雷达单芯片SG24TR14MMIC 。
SG24TR14是一颗24GHz 、一发四收、收发一体的毫米波雷达芯片。
目前，厦门意行已经量产SG24T1/SG24R1套片和SG24TR12一发两收集成单芯片，在车载行业、工业控制、安防、智能家居、无人机等多个行业取得重大进展，和多家业内知名企业达成合作。
此次一发四收24GHz 单芯片的顺利量产，将给行业客户提供更多选择，能够做出更多差异化的产品。
（来自厦门意行）中标珠江数码，中科曙光XData 数据管控能力凸显近日，中科曙光成功中标广州珠江数码集团有限公司（珠江数码）大数据运营支撑平台项目。
中科曙光在珠江数码原有数据聚合基础上，为其构建了数据采集管控平台。
利用大数据流程（数据接入、治理准备、治理过程、治理结果）形成一个对数据行之有效的解决方法。
通过提供Web 管理的方式，将分散、多样化的核心数据通过标准化、质量清洗、集成以及监控等操作进行优化，形成了行之有效的数据管控体系。
XData 数据治理软件是中科曙光推出的一款基于大数据平台，利用大数据流程（数据接入、治理准备、治理过程、治理结果）形成一个对数据行之有效的解决方法。
通过提供Web 管理的方式，将分散、多样化的核心数据通过标准化、质量清洗、集成以及监控等操作进行优化，形成了行之有效的数据管控体系。
为管理员提供了丰富、可视、易用的管理和操作功能，管理员可以通过界面轻松实现数据的接入、标准的定义、质量报告的查看、作业任务的监控、以及系统监控等管理功能。
（来自中科曙光）国际新闻KLA-Tencor 中国区出货量已超全球30%，将全力支持中国半导体行业发展日前，KLA-Tencor 公司一年一度的媒体记者会在上海成功举办。
KLA-Tencor 公司资深副总暨营销总监Oreste Donzella 、中国区总裁张智安先生介绍了公司2018年的发展状况、产品布局及最新的产业发展动态。
大数据服务平台功能简介
大数据服务平台功能简介随着信息化的快速发展，大数据正逐渐成为人们日常生活和企业运营的重要组成部分。
大数据服务平台作为支持大数据应用的基础设施，发挥着至关重要的作用。
本文将对大数据服务平台的功能进行简要介绍。
首先，大数据服务平台提供数据存储和管理功能。
在一个大数据环境中，海量的数据需要被存储并管理起来。
服务平台提供了高可靠性、高扩展性的数据存储系统，可以满足不同规模的数据存储需求。
同时，平台还提供了数据清洗、数据预处理等功能，以确保数据的质量和可信度。
其次，大数据服务平台提供数据计算和分析功能。
大数据分析需要强大的计算能力和先进的算法支持。
服务平台提供了分布式计算框架，可以实现对大规模数据的高效处理和分析。
平台还可以提供各种数据分析工具和算法库，帮助用户进行数据挖掘、机器学习等工作。
此外，大数据服务平台还提供了数据可视化和报表功能。
数据分析结果通常以图表、报表等形式进行展示。
平台可以支持用户自定义数据可视化的方式，帮助用户更好地理解和利用分析结果。
同时，平台还可以生成各种类型的报表和汇总信息，方便用户进行数据汇报和决策。
另外，大数据服务平台还提供数据安全和隐私保护功能。
随着数据泄露和安全威胁的不断增加，数据安全和隐私保护成为大数据应用中的重要问题。
平台提供了严格的访问控制和权限管理机制，确保只有有权限的人员可以访问和操作数据。
平台还可以对数据进行加密和脱敏处理，保护用户的隐私和敏感信息。
大数据服务平台还提供了数据交互和集成功能。
在一个典型的大数据环境中，数据来源多样、格式不统一。
平台可以支持各种数据源的接入，并提供数据转换和集成服务，使得不同类型和格式的数据可以被整合起来进行分析和处理。
最后，大数据服务平台还提供了运维和监控功能。
在大数据应用中，系统稳定性和性能的保障至关重要。
平台可以提供集中化的运维和监控工具，帮助管理员进行系统的管理和监控。
平台还可以实时监控数据处理和分析的进度，及时发现和解决问题。
教育大数据实训平台介绍
数据系统架构师/数据挖掘工程师证书。
XData-EDU大数据实训平台 真实应用案例—用户画像，用户行为分析
用户画像和行为分析：用户画像与行为分析是指根据用户的历史行为数据，对用 户的基本特征做出判断的过程。用户画像是数据挖掘与机器学习算法下的综合应 用，互联网公司已经其他一些企业都非常重视用户画像的分析，例如天猫，京东 等购物网站可以通过用户画像更好的了解客户需求。著名的netflix就是通过精准 的用户画像和推荐系统达到高效的内容推荐和广告投送的。
高度整合的大数据集群 与教学系统 便捷高效的教学系统平 台 精心打造的大数据专业 课程 提供完备的教学与实验 设备 迅速提升教学辅助能力
7
深入大数据教学，快速 掌握大数据知识 真实的大数据生产环境， 快速提高动手能力 高效管理设备，解决后 顾之忧
稳定高效的大数据集群
先进易用的集群管理 系统
最终效果——设备先进，教学高效，课程专业，学生优秀
培养大数据专业人才，搭建教学和实践桥梁
量身定制的课程体系，手把手的实战指导，丰富全面的培养方向
实施过程简单，系统维护容易
一键式快速部署，集中式统一管理，全方位故障诊断，多维度系统监控
领先的技术实力
整体方案自研，软硬一体化设备，顶尖的大数据技术实力，课程、教材、开发工具一站式服务
XData-EDU大数据实训平台
高度 整合 的大 数据 集群 与教 学系 统
学生 教师 教学 web 客户 端
8
千兆以太网
教学平台实验 管理系统节点
教学投影仪
网络交换机
网络交换机
Hadoop 集群
管理节点
数据节点
学生web客户端 Xdata-EDU IDE开发
曙光的资料
科学计算云服务曙光作为云计算先行者，于2009年12月28日，率先投资建成国内第一家商业运营的成都云计算中心，并陆续在北京、无锡、深圳、郑州等地建立云计算中心，布局云端，构建覆盖全国的曙光云计算网络。
曙光云计算中心引进了业界领先的曙光“星云”高效能计算机系统作为云计算服务后端支撑平台，提供电子政务云服务，动态云平台服务，为文化创意、动漫渲染、数字新媒体、生物医药、工程计算、科学研究、科普教育等领域提供弹性云计算服务，为用户提供低成本计算解决方案。
弹性的计算服务不同用户之间计算能力需求差异，用户突发性超大计算需求，往往给传统计算中心带来麻烦，云计算中心提供千亿次到百万亿次弹性计算能力，满足各类用户的灵活需求。
专业的应用支持曙光首席工程师团队提供5*8小时应用技术支持服务，涵盖石油地震资料处理、CAE仿真、工程计算、生物制药、分子材料、气象和海洋预报等领域。
灵活的交付方式提供账号密码，可选择远程或本地计算方式，可选择通过应用Portal或命令方式使用服务。
一体化的服务方案软硬件一体化的部署服务，专业的高性能计算系统管理队伍。
曙光防火墙喜获军队认证和国税入围岁末年初，曙光天罗防火墙捷报频传，获得了中国人民解放军安全产品最高级别的认证，吹响了进军军队安全市场的号角；新年伊始，国税总局又获喜讯，经过多轮的评测，曙光防火墙成功通过了国税的入围验证测试，在众多厂商中脱颖而出，已经得到了国税入围的正式通知。
荣获军队认证的最高级别军队、武警、国防等国家战略部门一直是曙光重点关注的行业，这些国家战略部门，对信息安全的要求更加苛刻，必须通过军队的安全审查认证，才能在这些部门进行部署。
为了做好认证，我们做好了各种准备，与相关机构做了密切的沟通。
军队审查认证更加严密细致，对安全产品的关注点有与其他国家机构有所不同。
经过严密测试，曙光防火墙顺利通过了军队认证，而且获得了最高级别。
曙光获得了军B级最高级别认证是在军队、武警、国防等战略部门畅通无阻的保障。
中科曙光超算方案
中科曙光超算方案引言超级计算机是目前计算能力最强大的计算设备，被广泛应用于科学研究、工程设计和商业计算等领域。
作为我国超级计算机领域的领导者之一，中科曙光公司提供了一系列高性能和高可靠性的超级计算机方案。
本文将介绍中科曙光超算方案的主要特点和应用领域。
1. 曙光服务器系列中科曙光超级计算机方案的核心产品是曙光服务器系列。
这一系列服务器以高性能、高可靠性和高可扩展性为特点，广泛应用于科学研究、航天航空、数字媒体和企业级应用等领域。
曙光服务器系列包括以下几个主要产品：1.1 曙光超级计算机曙光超级计算机是中科曙光公司的旗舰产品，采用了最新的处理器和互联技术，具有卓越的计算和通信性能。
曙光超级计算机主要用于科学计算、气象预报、地震模拟和基因组测序等大规模计算任务。
1.2 曙光超级服务器曙光超级服务器是一款高性能的服务器，具有可扩展性和高可靠性。
曙光超级服务器采用了独立设计的硬件架构和优化的操作系统，能够提供可靠的计算和存储能力。
曙光超级服务器适用于企业级应用、数据库管理和虚拟化环境等场景。
1.3 曙光高密度服务器曙光高密度服务器是一种节能高效的服务器，采用了紧凑的硬件设计和先进的散热技术，能够提供高性能的计算和存储能力。
曙光高密度服务器适用于云计算、大数据分析和虚拟化环境等场景，可以提供更高的计算密度和更低的能耗。
2. 曙光运行环境中科曙光超级计算机方案不仅提供了优秀的硬件平台，还提供了完备的软件环境，以确保用户能够充分发挥计算设备的性能。
曙光运行环境主要包括以下几个主要组成部分：2.1 曙光操作系统曙光操作系统是中科曙光公司自主研发的操作系统，为超级计算机提供了高性能和高可靠性的计算环境。
曙光操作系统具有优秀的并行计算和文件系统性能，能够充分发挥超级计算机的计算和存储能力。
2.2 曙光编程环境曙光编程环境是中科曙光公司为超级计算机开发的编程工具和库函数集合，能够帮助用户快速开发和优化并行计算应用程序。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
总体架构
20
Linux、Windows、MAC客户端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/REST/SOAP/SNMP
并发读写 数据控制器
数据 安全管理
数据 复用管理
数据生命周期 管理
主数据 统一编码
用户行为分析
个性化推荐
文本挖掘检索
日志数据解析
可视化管理
图像识别搜索
数据访问接口 （SQL/JDBC/CLI）
分析挖掘算法库 （Mahout/MLib/Petuum）
并行数据库 中间件
内存计算引擎
并行计算引擎
批处理引擎
语音识别搜索 视频指纹搜索
分析服务器 多维分析工具 报表工具 数据挖掘工具
数据集市 数据集市
8
传统BI
• 以数据仓库、数据集市的形式存在； • 面对日常报表出数据，满足管理汇
报需要； • 根据业务需求进行数据提取，如财
务收入等； • 对单业务的分析较好，对跨业务的
分析较弱； • 缺乏深入去挖掘数据，缺乏全局的
分析思维； • 在企业运行方面，高投入、低产出；
智能化服务管理 • 服务故障检测及修复 • 智能化参数优化建议
基础数据管理 • 可视化元数据 • 自定义节点 • 接入数据管理
18
任务管理 • 监控任务 • 操作任务 • 批量执行
统一用户管理 • 多方式用户认证 • 用户权限管理
数据导入功能 • SFTP/FTP和HDFS/Hbase数据之间互导 • Oracle/DB2/mysql和HDFS/Hbase之间数据互导
大数据思维
整合行业生产、运营、营销、管理等多方面的数据 从企业不同层级人员、不同业务支撑方向两个方面，进行全面数据应用分析挖掘
大数据系统挑战
数据源的挑战
如何稳定的收集多源 异构的数据及整合内 部数据
数据分析的挑战
如何根据具体业务需 求，定制针对性的分 析模型
5
数据展示的挑战
如何根据不同的客户 群体，用不同的形式 展示数据
目录
6
1
大数据应用场景
2
大数据系统架构
3
算法及适用场景
4
大数据解决方案
5
XData系列产品
6
成功案例分享
大数据系统实现要素
7
Байду номын сангаас
数据交换 数据收集 数据来源
数据清洗 数据分析 数据展示
传统数据分析架构
业务处理服务器 Oracle
业务处理服务器 SQL Server
Web服务器
中央数据库 服务器 数据抽取 清洗转换服 务器
基于大数据的系统架构
数据源
数据接入
清洗
内部数 据
外部数 据
互联网 资料
采集代 理
后端日 志
基于流式 计算的实
时清洗
缓存重用
存储计算
数据服务
9
数据消费
数据 缓存 集群
Hadoop
NoSQL
Web Servic
es
Spark
…
DashBoa rd
实时监控 数据统计 数据分析
其他应用
数据质量监控
目录
10
1
大数据应用场景
2
大数据系统架构
3
算法及适用场景
4
大数据解决方案
5
XData系列产品
6
成功案例分享
数据分析
11
预测响应
• 决策树 • 神经网络 • 逻辑斯蒂回归
用户特征分析
个性化推荐
降维分析
• 聚类 • 决策树
• ALS • 聚类 • 协同过滤 • SVM
• PCA
集成算法
分类 聚类 推荐 降维 其他
项目3
大数据系统架构追求自下而上的稳 定，数据价值则追求自上而下的价 值挖掘
大数据项目实施
业务 层面
并列关系
4
技术 层面
从业务的角度进行数据深入分析挖 掘，找出业务规律，从而进行业务 层面的改进
需要对多类型异构大量的数据进行处理，采 用传统的方法不能满足所有需求，需要有一 个高性能、高稳定、高扩展的平台进行支撑
XData-MPP
• 并行数据库管理集群
XData-SDH
• 曙光发行版Hadoop
XData-AUS
• 交互分析平台
XData-MBM
• 有线大数据分析平台
XData-EDU
• 大数据教学实训平台
ParaStor/HDFS
• 大数据存储管理系统
XData-SDH大数据分析系统
17
基础 数据管理
数据 质量管理
1 1 1 1
-
30 %
20 %
10 %
Smartpho nes
30 %
20 %
10 %
Comput er
30 %
20 %
10 %
Tabl et
12
30 % 2%1%00
TV
目录
13
1
大数据应用场景
2
大数据系统架构
3
算法及适用场景
4
大数据解决方案
5
XData系列产品
6
成功案例分享
项目需求
14
需要根据具体项目的需求，进行此部分内容整理，包括客户需求、系统架构设计等
• SVM • linear regression • naive Bayes
• k-means • bisecting k-means • GMM
• ALS • SVD • Collaborative filtering
• PCA • LDA
• sequential pattern • model evaluation
曙光Xdata大数据平台介绍
目录
2
1
大数据应用场景
2
大数据系统架构
3
算法及适用场景
4
大数据解决方案
5
XData系列产品
6
成功案例分享
大数据应用场景
大数据本身，是在海量行业数 据的基础上，去伪存真，解决 某一个特定的问题
项目1
项目2
3
大数据依附于某一行业，解决 行业实际问题，才能体现出大 数据的价值
目录
15
1
大数据应用场景
2
大数据系统架构
3
算法及适用场景
4
大数据解决方案
5
XData系列产品
6
成功案例分享
Xdata产品体系
XData-ETL
XData-EDU
XData-SDH
ParaStor/HDFS
XData-MBM
XData-MPP
XData-AUS
16
XData-ETL
• 多源异构数据汇聚
元数据管理 流处理引擎
NoSQL数据库
NewSQL数据库
关系型数据库
分布式文件系统
资源管理与调度系统
曙光XData-ETL工具箱
XData 管理系统
系统管理 监控管理 任务管理 调度管理 自定义报表
XData-SDH一体机产品功能
全方位状态监控 • 展现集群的CPU、温度、电源状态、网络可
用性等多种监控信息
充分释放硬件的潜力 • 根据集群资源的支撑能力，同时保证集群的性能，系
统会自动限制集群作业的提交
ParaStor分布式文件系统
19
2010年单一系统 16PB
2013年 中国区NAS IDC
排名第3
2014年 中国区NAS IDC
排名第２
2015年上半年 中国区 NAS
IDC 排名第1
1100+用户成功应用 累计销售容量260+PB