1.高速网络InfiniBand加速大数据应用
InfiniBand高速网络互连技术
Opteron core
Opteron core
LS21 Blade
HyperTransport 6.4+6.4 GB/s
Opteron socket
Opteron core
Opteron core
10.7 GB/s
8 GB DDR2 memory
10.7 GB/s
8 GB DDR2 memory
Total cores: aTotal flop/s:
a
13
TH-1A互连架构
• 超级胖树结构
a
14
NO.3 Jaguar美洲虎,2.331Pflops
Cray XT5-HE Opteron Six Core 2.6 GHz,近25万个内核
15
美洲虎的3D-Torus
a
16
a
17
CRAY 超级计算机的Roadmap
Cray XT5: 1+ PF Leadership-class system for science
NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” HP ProLiant Cray XE6
K computer NUDT TH-1A 美洲虎 Cray XT5-HE 曙光“星云” HP ProLiant
a
6
No1: K Computer
• 日本理化研究所(RIKEN)高级计算科学研究院(AICS)和富士通共同研制 • 每秒运算速度超越1亿亿次大关。Linpack测试的最大计算性能达到了
Opteron core
1.8 GHz 3.6 Gflop/s 64+64 KB L1 cache 2 MB L2 cache
InfiniBand 连接现在和未来
InfiniBand 连接现在和未来InfiniBand是致力于服务器端的高性能互联技术，它的使命是：使处理器级的带宽，从处理器到系统I/O、到存储网络，穿越整个数据中心，形成一张统一的、包括服务器互连、服务器与存储互连、存储网络在内的神经网络。
InfiniBand技术是一种开放标准的高带宽、高速网络互联技术。
目前，它的发展速度非常快，而且越来越多的大厂商正在加入或者重返到它的阵营中来，包括Cisco、IBM、HP、Sun、NEC、Intel等。
可以说，InfiniBand已经成为目前主流的高性能计算机互连技术之一。
而且，目前基于InfiniBand技术的网络卡的单端口带宽最大可达到20Gbps，基于InfiniBand的交换机的单端口带宽最大可达60Gbps，单交换机芯片可以支持达480Gbps的带宽，为目前和未来对于网络带宽要求非常苛刻的应用提供解决方案。
InfiniBand体系结构InfiniBand技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能，它通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。
InfiniBand技术通过连接HCA（Host Channel Adapters）、TCA（Target Channel Adapters）、交换机以及路由器来工作，其体系结构如图1所示。
目前，集群计算、存储区域网（SAN）、网格、内部处理器通信(IPC)等高端领域对高带宽、高扩展性、高QoS以及高RAS(Reliability、A vailability and Serviceability)等有迫切需求，InfiniBand技术可以为实现这些高端需求提供可靠的保障。
在I/O技术层面，InfiniBand 具有两个非常关键的特性:一是物理层设备低功耗，二是“箱外带宽”（Bandwidth Out of the Box）。
200G QSFP DD AOC在InfiniBand网络中的应用
200G QSFP DD AOC在InfiniBand网络中的应用随着数据中心的不断深入与高需求，人们对于此领域的拓展研究也在不断更迭最新技术与开发最优性能产品及解决方案。
前段时间易飞扬（Gigalight）发布了200G QSFP DD PSM8光模块，标志着基于NRZ调制的200G低成本数据中心内部平行光互连方案基本完成，也象征着公司在200G解决方案上的领先地位。
不同于业界主张的400G方案，易飞扬（Gigalight）坚持200G的数据中心解决方案，可为客户提供一站式的服务和解答。
本文主要根据现阶段超算中心的发展进程，来分析当前交换机之间InfiniBand技术的特征以及应用领域，其中以200G QSFP DD AOC为例，说明了超算中心互连技术的端口封装形式朝着更高工作带宽发展的现状。
超算系统里的InfiniBand技术根据2017年全球超级计算机500强榜单公布情况，我国无锡“神威--太湖之光”超级计算机以每秒125,435.9TFlop/s的峰值计算能力再次蝉联世界第一名，广州“天河二号”超算系统以每秒54,902.4TFlop/s的峰值计算能力位居世界第二名。
值得注意的是这些超算中心的交换互连技术均采用来自以色列InfiniBand的交换机和网络适配卡。
当前在超算中心互连技术阵营中有以色列的InfiniBand，高性能Ethernet，IBM的BlueGene，Cray和后起之秀Intel的OmniPath，这五大技术占据市场的重要份额，其中InfiniBand和高性能Ethernet占绝对领导地位。
超算中心的互连技术朝着更高带宽、更低延迟、更低功耗和更密的互联端口在发展，而InfiniBand互连技术在当前成为高性能存储互连方案的首选，正是因为其满足了大带宽和低时延的需求。
InfiniBand是一个统一的互连结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信。
它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，让数据中心在局部故障时仍能运转。
Oracle Exadata数据库一体机极致性能和最佳实践
Exadata 采用更高的单路带宽
- InfiniBand提供40Gb/s的带宽，比高端阵列 的光纤通道技术快8倍
Exadata 提供更高的IOPS
- 智能Exadata Smart Flash Cache技术处理更 多的IOPS
• 冗余40Gb/s 交换机 • 统一的服务器和存储网络
• 5.3 TB PCI 闪存 • 跨服务器进行存储镜像
© 2010 Oracle Corporation – Oracle Confidential
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
6
– 6–
Exadata X2 体系架构
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
4
前所未有的交钥匙方案：
Sun Oracle Exadata X2数据库机
• 完整的, 预配置的, 严格测 试的系统提供极限性能 • 随付即用的系统 • 高性能、高可用性
© 2010 Oracle Corporation – Oracle Confidential
Copyright © 2009, Oracle Corporation and/or its affiliates
CONFIDENTIAL – ORACLE HIGHLY RESTRICTED
8
– 8–
Exadata数据库一体机创新的技术架构
集中管理平台
三层架构/两层应用 架构
客户端 避免单点故障
智能存储层 1M IOPS/机架
Exadata Cell
Exadata Cell
InfiniBand
高速交换网络时间：2014-02-24 11:01 点击：441 次InfiniBand 技术是什么？InfiniBand是一种全新的基于通道和交换的开放互连结构标准。
它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系1.InfiniBand技术是什么？InfiniBand是一种全新的基于通道和交换的开放互连结构标准。
它能够连接多个独立的处理器平台、I/O平台以及I/O设备，在同一物理网络上支持一个或者多个计算机系统之间的I/O通信和内部处理器之间的通信。
InfiniBand技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。
因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信。
InfiniBand架构采用的是一种支持多并发链接的“转换线缆”技术，在这种技术中，每种链接都可以达到2.5 Gbps的运行速率。
例如在采用QDR模式情况下,在一个链接通道的时候速率是10 Gbps ，四个链接通道的时候速率是40 Gbps，12个链接的时候速率可以达到120 Gbps。
2.为什么需要InfiniBand？采用Intel架构的处理器的输入/输出性能会受到总线的限制。
总线的吞吐能力是由总线时钟和总线的宽度决定的。
这种速度上的限制制约了服务器和存储设备、网络节点以及其他服务器通讯的能力。
而在InfiniBand的技术中，InfiniBand直接集成到系统板内，并且直接和CPU以及内存子系统互动，在传输层上，它提供了可靠的点对点连接，不同于PCI，Infiniband允许多个I/O外设无延迟、无拥塞地同时向处理器发出数据请求。
Infiniband技术与其他网络协议（如TCP/IP）相比，InfiniBand具有更高的传输效率。
Infiniband高速互连网络(徐迪威)
InfiniBand高速互连网络徐迪威广州广东省计算中心，510033摘要：InfiniBand是目前发展最快的高速互连网络技术，具有高带宽、低延迟和易扩展的特点。
通过研究和实践，对InfiniBand技术的数据包、数据传输、层次结构、与以太网技术的对比、虚拟化、交换机制、发展愿景等进行了全面探索，提出了InfiniBand最终成为高速互连网络首选的观点。
关键词：InfiniBand；高速互连网络；数据包；结构模型；虚拟化；交换机制Research on Design of InfiniBand High Speed InterconnectionAbstract: InfiniBand is a fast growing technology of high speed interconnection (HSI), whose characteristics are high bandwidth, low latency and easy extension. Via researching and practicing, the paper explores on InfiniBand data packets, data transfer, multilevel architectures, comparing with Ethernet, virtualization, switching mechanism, roadmap, etc. The author presents the viewpoint that InfiniBand will become the first choice in setting up HSI.Keywords: InfiniBand(IB); High Speed Interconnection(HSI); Data Packet; Hierarchy Model; Virtualization; Switching Mechanism1引言随着中央处理器（CPU）运算能力的极速增长，高速互连网络（High Speed Interconnection, HSI）已成为高性能计算机研制的关键所在。
超算中心InfiniBand网络光互连解决方案
超算中心InfiniBand网络光互连解决方案高性能计算(High Performance Computing，以下简称HPC)，即超算中心HPC市场正在朝着使用异质计算系统和提高能效比的方向发展：GPU、DSP和ARM处理器同时运行，以实现用更少的能耗带来更高的Petaflop(1千万亿次浮点计算/秒)值。
IDC预测，HPC服务器市场要实现在2017年达到150亿美元销售额的目标，每年的增速就必须要保持在7.3%左右。
超级计算(Supercomputing)的应用范围非常广泛，包括汽车制造模拟、天气预报、分子生物学研究、地球物理学等，在这些领域中往往需要并行计算和处理大量的数据、进行复杂的运算。
最近经常被讨论的大数据分析，也会用到超级计算。
高性能模拟需要最高效的计算平台。
计算集群（Cluster）技术平台由于其出色的生产力和灵活性，现已成为 HPC 模拟最常用的硬件解决方案。
而计算集群Cluster技术平台通常采用以下高速互联技术进行沟通，如：InfiniBand、高性能Ethernet(精简过的帧结构)、BlueGene、Gray等互联技术，其中41.2%的超算中心采用了infiniBand互连技术。
超算中心Top500中还有不少系统采用了以太网或者Cray的互连技术，但正是这些独特的优势让infiniband在超算中大行其道，据统计，全球超算中心Top500榜单中，有41.2%的系统采用了infiniband互连技术。
InfiniBand诞生的缘由：InfiniBand是一种输入输出（I/O）宽带结构，可以提高服务器各设备之间、网络子系统之间的通信速度，为将来的计算机系统提高更高性能和无限扩展性的宽带服务。
InfiniBand 技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的。
因此，InfiniBand技术将会被应用于服务器与服务器（比如复制，分布式工作等），服务器和存储设备（比如SAN和直接存储附件）以及服务器和网络之间（比如LAN， WANs和the Internet）的通信。
干货：InfiniBand技术究竟是何方神圣？
干货：InfiniBand技术究竟是何方神圣？我们经常听到关于某超算中心又用了什么先进的技术，而在这些技术中，InfiniBand技术则是人们谈论最多的话题。
那么InfiniBand到底有多牛？关于更多Infiniband技术架构请参考：InfiniBand知识和架构。
文章内容：1、InfiniBand技术背景和现状2、InfiniBand为超算中心提供超强传输性能3、InfiniBand技术玩家和如今巨头4、盘点全球超算系统哪家强？①、超算为何被视为超级明星①、超算为何被视为超级明星③、采用的处理器类型和份额④、超级计算机中的核心数量⑤、各国的超算系统的数量⑥、各用途和超算供应商的总体处理能力⑦、处理器和各领域的总处理能力⑧、超算系统历史和未来发展去向简单来说，InfiniBand是一种支持多并发链接的转换线缆技术，它既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)，这样它即可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。
1、InfiniBand技术背景和现状设计InfiniBand的目的主要是用于企业数据中心，大型的或超大型的数据中心，为了实现高的可靠性、可用性、可扩展性和高的性能。
并且InfiniBand可以在相对短的距离内提供高带宽、低延迟的传输，而且在单个或多个互联网络中支持冗余的I/O通道，因此能保持数据中心在局部故障时仍能运转。
Infiniband网络是一种高带宽低延时的网络，相比传统的以太网络，最新一代的Infiniband网络带宽可达100Gbps，点到点的延时低于0.6us。
Infiniband网络主要用于高性能计算场景，通过高速的Infiniband网络，将一台台多路服务器构建为一个高性能计算集群，集群性能基本上是单台服务器性能的线性叠加，可以说正是因为有Infiniband网络技术，才能催生出超算高性能集群架构。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数据库应用层
Mellanox网络交换机
网络层 40 GbE互联
SDC: ScaleIO数据客户端 SDS: ScaleIO数据访问服务端 40/10 GbE Ethernet
存储层
PC Server w/ ECS LSI Nytro
PC Server w/ ECS LSI Nytro
PC Server w/ ECS LSI Nytro
8
Mellanox RDMA远端内存直接访问技术
零拷贝
用户层
远程数据传输
应用程序
缓存
应用程序
缓存
内核
硬件
内核旁路
通讯协议卸载d - 56Gb/s
© 2014 Mellanox Technologies - Mellanox Confidential -
RoCE* – 40Gb/s
InfiniBand是实现最高系统效率的关键，平均高于万兆以太网30% Mellanox InfiniBand 实现最高效率99.8%
© 2014 Mellanox Technologies - Mellanox Confidential 5
InfiniBand技术优势
© 2014 Mellanox Technologies
- Mellanox Confidential -
6
InfiniBand 技术的优势和特点
InfiniBand Trade Association (IBTA) 协
会制定规范
• • • • •
远端内存直接访问
• RDMA-读和RDMA-写 服务质量控制（QoS） • 在适配器卡级提供多个独立的I/O通道 • 在链路层提供多条虚拟通道
Mellanox 40GbE 交换机+40GbE网卡实现最佳Oracle性能与扩展性
© 2014 Mellanox Technologies - Mellanox Confidential 14
基于Mellanox以太网的Oracle RAC 方案 2 -分层架构
Oracle RAC 数据库 SDC Oracle RAC 数据库 SDC
Buffer 1
OS
Buffer 1 Buffer 1
RDMA运行于InfiniBand 或 Ethernet
HCA HCA
硬件
NIC
Buffer 1
Buffer 1
NIC
TCP/IP
机架1
© 2014 Mellanox Technologies - Mellanox Confidential -
机架2
线性增加，提供最佳的线性扩展能力
集群任意节点均与两个交换机互联，实现系统的高可靠性；
全省上网行为数据每天8TB，大数据处理平台（90台）40秒完成忙时数据装载、5小时内完成日报表处理
TCO大幅降低高达79.6%
© 2014 Mellanox Technologies - Mellanox Confidential 20
© 2014 Mellanox Technologies
- Mellanox Confidential -
18
Certified Networking Gear
© 2014 Mellanox Technologies
- Mellanox Confidential -
19
河南移动大数据部署实例
任意服务器之间进行40Gb/s无阻塞通信,消除节点间I/O瓶颈 网络采用36口交换机堆叠的Fat-tree架构，最大幅度地降低网络开销，随着节点数量的增加，整体性能
Map Reduce HDFS™
HBase
• 性能提升需求 – 实时操作 – 更快执行速度
(Hadoop Distributed File System)
挑战
• HDFS本事的数据延迟问题 • 不能支持大量小文件 • Map Reduce, Hbase, Hive, 等等的效率.
© 2014 Mellanox Technologies
芯片 网卡 交换机、网关 Metro / WAN 网线、模块
© 2014 Mellanox Technologies
- Mellanox Confidential -
3
超级计算机TOP500中最高占有率
InfiniBand是高性能应用的首选网络 采用Mellanox FDR InfiniBand 的系统同比增长1.8倍
* RDMA over Converged Ethernet
9
加速分布式数据库
© 2014 Mellanox Technologies
- Mellanox Confidential -
10
迈络思网络加速主流数据库
Oracle 数据仓库
• • • •
提供4倍闪存 写性能提升20倍 数据吞吐量提高33% 降低能耗10% 到 40%
高速网络InfiniBand加速大数据应用
刘通 Mellanox亚太市场开发总监
Mellanox公司概况
• FDR 56Gb/s InfiniBand 与万兆/4万兆以太网 • 降低应用等待数据时间 • 大幅提升数据中心投资回报率
股票代码: MLNX
连接服务器、存储器的高带宽与低延迟网络的领导厂商
End-to-End & Virtual Network Ready InfiniBand and Ethernet Portfolio
ICs Adapter Cards Switches/Gateways Host/Fabric Software Metro / WAN Cables/Modules
SDS
SDS
SDS
Mellanox 40GbE 交换机+40GbE网卡实现最佳Oracle性能与扩展性
© 2014 Mellanox Technologies - Mellanox Confidential 15
Mellanox加速分布式Oracle RAC性能
Mellanox 40GbE 交换机+40GbE网卡实现最佳Oracle性能与扩展性
串行高带宽连接
• 开放标准的高带宽、低延迟网络互连技术
SDR: 10Gb/s HCA连接 DDR: 20Gb/s HCA连接 QDR: 40Gb/s HCA连接 –现在 FDR: 56Gb/s HCA连接 – 2011年底 EDR: 100Gb/s HCA连接 – 2014年
集群可扩展性和灵活性
• 一个子网可支持48,000个节点，一个网络可支持 2128 个节点 • 提供多种集群拓扑方式
极低的延迟
可靠、无损、自主管理的网络 完全的CPU卸载功能
• 基于硬件的传输协议 • 可靠的传输 • 内核旁路技术
• 低于1 微妙的应用级延迟
• 基于链路层的流控机制 • 先进的拥塞控制机制可以防止阻塞
IBM DB2 Purescale 数据库:
• 需要低延迟高带宽的网络，同时满足高可靠性 • RDMA 大大降低CPU负荷 • 实现DB2 Purescale 接近线性的可扩展性
微软 SQL Server 数据仓库
• 更高性能，更低成本
Teradata 数据仓库
• 相较以太网，跨机柜SQL查询速度提升2倍 • 数据加载性能提升4倍
Oracle RAC Node 2
PC Server w/ ECS LSI Nytro
Oracle RAC Node n
PC Server w/ ECS LSI Nytro
SDC
SDS
SDC
SDS
SDC
SDS
网络层 40/10GbE交换 机
Mellanox网络交换机
SDC: ScaleIO数据客户端 SDS: ScaleIO数据访问服务端 40/10 GbE
服务器
Virtual Protocol Interconnect
交换机/ 网关
Virtual Protocol Interconnect
存储 前端 / 后端
56G IB & FCoIB 10/40/56GbE & FCoE
56G InfiniBand 10/40/56GbE
完整的InfiniBand与以太网产品线
© 2014 Mellanox Technologies
- Mellanox Confidential -
12
InfiniBand+PCI-e SSD新架构加速Oracle数据库
生产环境： 处理器：16 CPU Itanium2 1.6GHZ（双核） 内存：192G 数量：3
分钟
新架构 RAC节点： AMD Quad-Core 8380 2.5GHZ 4 CPU (4核) 内存：64G 数量：2
- Mellanox Confidential -
22
Map Reduce 工作进程
© 2014 Mellanox Technologies
- Mellanox Confidential -
23
Hadoop MapReduce RDMA优化
开源插件 支持Hadoop版本
• Apache 3.0, Apache 2.2.x, Apache 1.3 • Cloudera Distribution Hadoop 4.4内嵌支持
Hive Map Reduce HDFS™
(Hadoop Distributed File System)
Pig
HBase
DISK
DISK
DISK
DISK
DISK
DISK
速度翻倍
© 2014 Mellanox Technologies - Mellanox Confidential 24