高密度FDR互连交换板的设计与实现
印制板HDI高密互连设计
那IPHONE8呢？？
手机的HDI及类载板
由于SiP封装及模组潮流趋势确定大量爆发。“类载板PCB”就呼之欲出了，英文叫做 Substrate-Like PCB，简称SLP。这种“类载板PCB”基于现有HDI技术、类似于IC载板，但 等级还不到IC载板。这种“类载板PCB”精细度会比传统HDI来得高，但它毕竟还是用来承 载各类主动被元件的PCB，而不是用在半导体封装的IC载板。
MIFI及CPE核心板的线宽线距及微孔
手机的HDI及类载板
苹果电池容量在偷偷变大，ＰＣＢ主板在偷偷变小……
手机的HDI及类载板
手机的HDI及类载板
华为P10拆机及主板
MIFI及CPE核心板的设计经验分 享
ＭＩＦＩ板 HDI：采用2阶8层结构
MIFI及CPE核心板的设计经验分 享
ＭＩＦＩ板 HDI：采用2阶8 层结构
MIFI及CPE核心板的设计经验分 享
芯板其实和普通ＰＣＢ制作是相同的。通 过文档看常规ＰＣＢ如何制作。 －－〉
HDI制作工艺讲解 激光钻孔
保形法（conformal mask）
加大窗口法（large window）
直接法（direct resin drill）
HDI制作工艺讲解
保形法（conformal mask）
3、直接钻孔法： 钻孔前蚀去全部的铜箔 可钻细小间距 成本低 激光定位困难 结合力偏低
HDI关键品质标准
激光钻孔孔形要好：孔底/孔口≥0.5 孔铜厚度：≥15um 不允许孔底有残胶 开窗法打孔的孔口树脂凹陷≤10um
HDI关键品质标准
华为一体机硬件方案
1目录1、华为一体机解决方案介绍 (3)1.1、产品概述 (3)1.2、产品形态 (3)1.3、架构组件 (3)1.4、方案亮点 (4)2、测试环境描述 (6)4.1、硬件描述 (6)4.2、软件描述 (6)4.3、网络拓扑 (7)4.4、网络策略及IP需求 (7)11111、华为一体机解决方案介绍1.1、产品概述华为一体机是华为公司IT产品线云计算领域的旗舰产品。
华为遵循开放架构标准，于12U机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并集成了分布式存储引擎和管理软件，资源可线性扩展、平滑扩容。
1.2、产品形态华为一体机采用业界一流的模块化设计的组件，提供多种产品规模的组合，并提供单一厂家服务，满足各种业务范围的需求。
华为一体机使用的计算/存储/网络都是华为自身的设备，使用计算，存储，网络垂直整合的融合架构硬件平台，高带宽低时延多协议交换能力，NoSAN，内置分布式存储软件，提升应用性能。
华为一体机实现软硬件深度的整合，是真正的一体机。
图1FusionCube融合形态1.3、架构组件如下是华为一体机的总体架构图：FusionManager：负责一体机的资源管理及操作维护等综合管理功能，提供Web方式的统一维护界面；整个系统的业务通过FusionManager呈现，提供用户管理、集群管理、统一硬件监控、告警，存储资源配置，北向告警对接等功能。
FusionStorage：使用分布式云存储技术，将多个刀片服务器的本地硬盘虚拟成共享存储池，Scale-Out架构水平扩展无机头瓶颈，提供高性能高可靠的块存储业务。
硬件平台：使用E9000硬件平台，支持计算、存储、交换、电源模块化设计，都在E9000框内部署完成，计算和存储节点按需混配，支持SAS硬盘和PCIe SSD卡，支持10GE和InfiniBand交换网络。
1.4、方案亮点华为一体机基于华为自研的硬件平台，自研的分布式存储软件，并进行了深度的集成和优化，具有如下特点：统一资源管理计算、存储、网络在一体机内部统一配置和管理，单一用户界面；自动监控IT资源和系统运行状态，告警统一呈现，支持告警转Email。
System x高密度服务器介绍
System x 高密度服务器田晨技术支持工程师议程NeXtScale概览 NeXtScale 产品介绍 专注能耗，成本和扩展22NeXtScale概览NeXtScale – 设计的指导原则按照客户自己的方式使用 管理IT灵活简约而强大简化适应任何客户 扩展需求扩展44System x NeXtScale向外扩展的绝佳架构工业标准机柜 机箱首选的工作负载高性能运算公有云计算节点私有云存储节点协处理加速节点适应今天和未来的架构 更高的密度和灵活性 兼容工业标准机柜 为机架顶端交换机（TOR）优化设计 适用于软件定义网络(SDN) 标准 为提高性能优化设计 源源不断的后 源源不断的后续产品路线图更多新品敬请期待！5 5NeXtScale产品介绍全新的NeXtScale计算机点One Architecture Optimized for Many Use CasesChassis NeXtScale n1200 EnclosureAir or Water Cool TechnologyCompute node NeXtScale nx360 M5NewStorage NeX node* nx360 M5 + Storage NeXPCI Nex node (GPU / Phi) nx360 M5 + PCI NeXDense Compute Top Performance Energy Efficient Air or Water Cool Technology Investment Protection7Add RAID card + cable Dense 32TB in 1U Up to 8 x 3.5” HDDS Simple direct connect Mix and Match*M5 support to be available with 12Gb version at Refresh 1Add PCI riser + GPUs 2 x 300W GPU in 1U Full x16 Gen3 connect Mix and MatchNeXtScale System M5 增强Incorporates Broad Customer Requirements What’s New- 50% CPU核心，最大提升39%的运算性能 Intel Xeon E5-2600 v3 processors (up to 18 core) - 双倍内存容量16 DIMM slots (2133MHz DDR4 up to 32GB) - 双倍内部存储空间4x 2.5” drives - 热插拔HDD option - 新的RAID卡插槽提供更好的PCI灵活性 - x16 Gen3 ML2 slot supports InfiniBand / Ethernet adapters for increased configuration flexibility at lower price (increase from x8) - 可选风冷和水冷 - 投资保护– chassis supports M4 and M539%Faster compute performance150%More Cores22XMemory Capacity314%Faster Memory4All NewHot Swap HDD52XHard Drives5Key Market Segments- HPC, Technical Computing, Grid, Cloud, Analytics, Managed Service Providers, Scale-out datacenters - Direct and Business Partner enabled solutionsFullGen3 x16 ML26 Choice of50%More PCI Slots7Air or Water Cool8目标领域- Key Requirements数据中心基础架构 云计算主要需求: • Mid-high bin EP processors • Lots of memory (>256GB/node) for virtualization • 1Gb / 10Gb Ethernet • 1-2 SS drives for boot 主要需求: • Low-bin processors (low cost) • Smaller memory (low cost) • 1Gb Ethernet • 2 Hot Swap drives (reliability)High Performance Computing主要需求: • High bin EP processors for maximum performance • High performing memory • InfiniBand • 4 HDD capacity • GPU support数据分析主要需求: • Mid-high bin EP processors • Lots of memory (>256GB per node) • 1Gb / 10Gb Ethernet • 1-2 SS drives for boot9虚拟桌面主要需求: • Lots of memory (> 256GB per node) for virtualization • GPU supportNeXtScale M5 满足不同的需求 满足不同的需求Data Center InfrastructureNeXtScale M5 provides: • Intel EP (low bin) • Up to 36 cores / node • Low cost 4 / 8 GB memory • Onboard Gb Ethernet std. • 2 front hot-swap drives (2.5”) • Integrated RAID slotCloud ComputingNeXtScale M5 provides: • Intel EP (mid- to high bin) • Up to 36 cores / node • Up to 512 GB memory / node • Ethernet (1 /10 Gb), PCIe, ML2 • Broad range of 3.5”, 2.5” HDDs • 2 front hot-swap drivesHigh Performance ComputingNeXtScale M5 provides: • Intel EP (high bin) • Up to 36 cores per node • Fast memory (2.1 GHz), 16 slots • FDR ML2 InfiniBand, future EDR • Broad range of 3.5’ HDDs • 4 int. 2.5’ HDD, 2 hot swap • Up to 2 x GPUs per 1uData AnalyticsNeXtScale M5 provides: • Intel EP (mid- to high bin) • Up to 36 cores / node • Up to 512 GB memory / node • Ethernet (1 /10 Gb), PCIe, ML2 • Broad range of 3.5”, 2.5” HDDsVirtual DesktopNeXtScale M5 provides: • Choice of Processors • Up to 512 GB memory • Up to 2 x GPUs per 1U10NeXtScale nx360 M5 –Compute Nodenx360 M5 Serverx16 PCIe 3.0 slot 16x DIMMs Drive bay(s) RAID Slot½ Wide 1U, 2 socket server Intel E5-2600 v3 processors (up to 18C) 16x DIMM slots (DDR4, 2133MHz)) 2 Front Hot-Swap HDD option (or std PCI slot) 4 internal HDD capacity New, embedded RAID PCI slot ML2 mezzanine for x16 FDR and Ethernet Native expansion (NeX) support – storage and GPU/PhiDual-port ML2 x16 mezzanine card (IB/Ethernet)E5-2600 v3 CPUSystem infrastructure Simple architecturex24 PCIe 3.0 slot Optional Hot Swap HDD or PCIe adapterKVM connector1 GbE portsPower, LEDs11NeXtScale nx360 M5 ServerChoice of:2 Hot-Swap SFF HDDs or SSDs 4x 2.5” drives supported per node热插拔硬盘选 件orStd full-high, halflength PCIe 3.0 SlotPCI 选件双端口 x16 ML2 mezzanine 卡 InfiniBand / Ethernet12KVM 连接器1 GbE ports Dedicated or shared mgm’tPower, LEDs标签 for system naming, asset tagging投资保护- 机箱支持M4 或者 M5 Nodesn1200 EnclosureBay 11NeXtScale n1200 EnclosureBay 12 Bay 10 Bay 8 Bay 6 Bay 4 Bay 2Front View Rear View6U Chassis, 12 bays ½ wide component support Up to 6x 900W or 1300W power supplies N+N or N+1 configurations Up to 10 hot swap fans Fan and Power Controller Mix and match compute, storage, or GPU nodes No built in networking No chassis management required Mix and match M4 and M5 air cool nodes¹Bay 9 Bay 7 Bay 5 Bay 3 Bay 1System infrastructure Optimized shared infrastructure3x power supplies5x 80mm fansFan and 3x power supplies Power Controller5x 80mm fans13NeXtScale – 风冷 或者 水冷NeXtScale SystemAir Cool Water Cool TechnologyAir cooled, internal fans Fits in any datacenter Maximum flexibility Broadest choice of configurable options supported Supports Native Expansion nodes− Storage NeX − PCI NeX (GPU, Phi)14Your ChoiceInnovative direct water cooling No internal fans Extremely energy efficient Extremely quiet Lower power Dense, small footprint Lower operational cost and TCO Ideal for geographies with high electricity costs or space constraintsNeXtScale System 水冷科技(WCT)水冷节点和机箱 Full wide, 2-node compute tray 6U Chassis, 6 bays (12 nodes/chassis) Manifolds deliver water directly to nodes Water circulated through cooling tubes for component level cooling Intel E5-2600 v3 CPUs 16x DDR4 DIMM slots InfiniBand FDR support (ML2 or PCIe) 6x 900W or 1300W PSU No fans except PSUs Drip sensor / Error LEDsnx360 M5 WCT Compute Tray (2 nodes)CPU with liquid cooled heatsink Cooling tubes x16 DIMMsSystem infrastructureSimple architectureDual-port ML2 (IB/Ethernet)1 GbE portsLabeling tag1 GbE portsPower, PCI slot for LEDs Connect IBn1200 WCT Enclosuren1200 WCT Manifold156 full wide bays 12 compute nodes三大特点NeXtScale – 关键特点 扩展Even a small cluster can change the outcome Start at any size and grow as you want Efficient at any scale with choice of air or water cooling Maximum impact/$ Optimized stacks for performance, acceleration, and cloud computing17灵活Single Architecture with Native Expansion Built on Open Standards Optimized for your data center today and tomorrow Channel and box ship capable One part number unlocks IBM’s service and support Flexible Storage and Energy Management简单The back is now the front—simplify management and deployment Get in production faster with Intelligent Cluster Optimized shared infrastructure without compromising performance “Essentials only” designIBM NeXtScale 三大特点之（ 三大特点之（1）: 简洁全新银色设计，简约, 更加人性化设计麻雀虽小， 麻雀虽小，五脏俱全 前面板维护设计（ 前面板维护设计（比起机架式， 比起机架式，你是弄潮儿） 你是弄潮儿）>38 ºC!你知道你在拔哪条线？ 你知道你在拔哪条线？18-27ºC你喜欢在那一面工作 你喜欢在那一面工作？ ？专用或共享的千兆管理口 两个千兆以太网网口 支持标准PCI卡 可选灵活的集成或不占槽位的I/O扩展 电源，基本的光通路诊断和KVM远程推送管理访问 简洁的拉出式资产标签，方便命名或者射频识别 第一个银色的System x服务器 简约，简化，低成本 和刀片相似的尺寸，和机架式服务器相似的控制管理和 独立性从凉风习习的一面去接触大多数组件 无工具设计 免断电下线设计 从前端可以去接触管理网络， 从前端可以去接触管理网络，线缆和交换机 简单的线缆设计 (你喜欢前管理或者传统的后管理模式？ 你喜欢前管理或者传统的后管理模式？) 电源和各指示灯在前面板清晰可见1818IBM NeXtScale 三大特点之（2）：灵活你希望机器安装， 你希望机器安装，机房是什么模样？ 机房是什么模样？ 可以整机柜交付，插电即用 基于开放标准设计， 基于开放标准设计，无缝支持现有工具− − − −整机柜交付，接好线缆 客户定制化的清晰标识 IMM和网络地址预设 发货前可靠性免费测试IBM ToolsCenter 支持OpenStack UEFi 和 iMM 符合 IPMI 2.0标准 xCAT 系统监测 Platform Computing收到机器，即是一个可用的系统 – 万事无忧 一个产品编号 节省， 1.55立方米的泡沫，88延米的木材，21,730张纸€$ £ ¥支持软件定义网络（ 支持软件定义网络（SDN）19IBM NeXtScale 三大特点之 （3）： 扩展始于任何规模， 始于任何规模，增长随心所欲 最大化每一块钱， 最大化每一块钱，每一寸空间， 每一寸空间，和每个机 箱一个个节点的增加单独的节点和机箱从IBM直销 从IBM的代理获得优化和购买新节点 今天装入机箱，未来逐步装满使用高密度服务器， 使用高密度服务器，配置必要的部件， 配置必要的部件，将用户的数据中 心的有限空间最大化利用预配置的节点和机 箱想尝试一下扩展有多么快速吗？整机柜发货 以客户为导向优化 “起步套装” 可以灵活的随需特配单位密度上更多的服务器 简便的前面板管理 机架式架构 轻质高性能， 轻质高性能，减少机房地面承重跳跃式扩展完全的整机柜交货可以开箱即用，个性化设置 一体化的整机柜，或者完全预配置完成的整体解决方案40%每个节点重量减少3X核密度，相比于基于E52600系列处理器的1U服务 器整机柜 机箱或部门级解决方案 整体解决方案2X每标准机柜内服务器数2035%电能节约20NeXtScale(飞虎 NeXtScale(飞虎) 飞虎) – 三大目标应用市场 三大目标应用市场高性能计算HPC集群运算 HPC集群运算云计算公有云、 公有云、私有云大数据分析静态数据、 静态数据、动态数据21飞虎三大应用领域（ 飞虎三大应用领域（1）：高性能计算 ）：高性能计算(HPC), 高性能计算(HPC), 理想之选更快Platform HPC Platform LSF Platform HPC 并行化， 并行化， 并发化更多多种类应用,多部门,多项目更省资源共享， 资源共享，整合部署• 部署操作系统和工具 • 多应用部署管理维护• 部署补丁和升级 • 监控、报表和提醒使用与支持• 确保性能, 避免应用冲突 • 单一提供商，HPC专家即用、 即用、扩展• 即插即用，带电下载 • 从单节点到整机柜甚至整方案交付 • 为提高性能优化设计简单、 简单、实惠• 相比其它架构低廉的成本 • 优化线缆，人性化设计 • 没多余部件,前面板维护设计GSS 26 GSS 24 GSS 特点性能：增加组件会线性增加性能，借助De-Clustered RAID 技术加速数 据重构时间 容量：线性扩展，最大支持 >1 YB 鲁棒性：全冗余，高可用性，端到端的校验，增强的RAID保护技术，允 许更多坏盘.允许磁盘热更换BNT Switches2222飞虎三大应用领域（ 飞虎三大应用领域（2）：云计算 ）：云计算(Cloud), 云计算(Cloud), 灵活之选OpenStack EE 如果客户希望完全基于开源产品构建 云框架： 云框架：OpenStack 虚拟化： 虚拟化：KVM, ESXi, Hyper-V 公有云： 公有云：MSP，运营商NeXtScale硬件+ OpenStack EE lab service 开放：使用OpenStack集成开源工具 快速：整个环境搭建时间少于1小时 自动：系统的安装配置完全自动化 企业级架构：包括OpenStack HA，迁移，错误恢复手册，灾难恢复 手册，错误日志，监控， 报警 低成本：定制化服务器+主流的开源框架 灵活可定制，扩展能力强，兼容性好方案特点裸金属管理： 裸金属管理：Puppet, xCAT, Chef计算存储价值私有云： 私有云：所有行业IAAS云 SmartCloud Entry 企业级入门云管理平台 虚拟化： 虚拟化：VMvare,Hyper-V,PowerVM,zVMNeXtScale硬件+ SCE易云 + 共享存储+ BNT网络 异构跨平台支持：Unix 和X86，支持 Vmvware/KVM/HyperV/PowerVM/zVM 端到端的管理：从底层硬件到上层服务的完整管理 开放：几家合作伙伴基于SCE开发自己的云平台 简洁易用，快速上线 快速低风险部署：最快安装时间：10分钟 易用性好，快速转化省成力：3次点击实现云服务 保护投资：企业级低成本IAAS云平台方案特点计算存储和网络： 存储和网络：BNT ，V3700，V7000等价值23飞虎三大应用领域（ 飞虎三大应用领域（3）：大数据 ）：大数据（ 大数据（BigData), 实惠之选低延迟/高性能/高可 扩展简单灵活高可靠性简约设计 轻松管理 高效扩展任务调度低延迟 超高吞吐量 动态线性扩展自动屏蔽故障硬件 添加新节点不影响作业运行 任务失败自动重运行机制Platform Symphony高吞吐量， 高吞吐量，近实时“ 近实时“并行计算和 大数据/ MapReduce的工作负载General Parallel File System (GPFS) 高性能, 分布式文件系统NeXtScale 大数据： 大数据：NeXtScale硬件+ IBMT网络＋ Platform Computing Symphony + Lab Services方案网络： 网络：IBM G8052，G8264特点简单灵活硬件平台 低延迟， ，高性能企业级解决方案 低延迟 高可扩展性 支持多种包跨开源应用价值计算 存储端到端的解决方案 容易与企业级分析应用集成2424NeXtScale， 与机架式及刀片式的比较42U标准机柜可安装2路服 务器19台及4台交换机设 备25 2542U标准机柜可安装Flex 刀箱4框，2路服务器共计 56台42U标准机柜可安装NeXtScale 6框，2路 服务器共计72台及4台交换机设备NeXtScale, 机架式及刀片式的比较基于12 基于12台服务器比较 12台服务器比较（ 台服务器比较（尽供此次培训参考）：功耗 NeXtScale Rack(X3550M4) Flex12台服务器 交换机 3617W 350W 4572W 350W 4184W 按照工业用电平均1元1度计算 12台服务器 6U 12U 交换机 2U 2U总功耗 3967W 4922W 4184W三年电费 105120 131400 107700省24%密度 NeXtScale Rack(X3550M4) Flex10U 按照1U 4500元/年总空间 8U 14U 10U三年托管费用 108000元 189000元 135000元省75%2626Questions?27谢谢 感恩。
新型高密度1S1R结构阻变存储器件概述
新型高密度1S1R结构阻变存储器件概述随着现代半导体工艺的技术进步， Flash 存储器开始遇到技术瓶颈，新型存储器应运而生。
与其他几种新型的非易失性存储器相比，阻变存储器（ RRAM 或 ReRAM）因其具有结构简单、访问速度快等优势，成为下一代非易失性存储器的有力竞争者之一。
基于阻变存储器的交叉阵列是阻变存储器实现高密度存储最简单、最有效的方法。
而仅由阻变存储单元构成的交叉阵列由于漏电通道而存在误读现象。
为了解决误读现象，通常需要在每个存储单元上串联一个选择器构成1S1R结构。
对由阻变存储单元和选择器构成的1S1R结构的研究进展进行综述分析是一项有意义的工作，因此本论文主要对1S1R结构的阻变存储器件的研究进展进行概述。
关键词：阻变存储器，交叉阵列，选择器，1S1R目录中文摘要.......................................... 错误!未定义书签。
英文摘要.......................................... 错误!未定义书签。
第一章绪论 (1)1.1 阻变存储器 (1)1.1.1 RRAM基本结构 (1)1.1.2 RRAM技术回顾 (1)1.2 交叉阵列汇中的串扰问题 (3)1.3 本论文的研究意义及内容 (3)1.3.1 研究意义 (3)1.3.2 研究内容 (3)第二章 RRAM的集成选择器的集成方式 (5)2.1 有源阵列 (5)2.2 无源阵列 (5)第三章 RRAM的集成选择器的类型 (6)3.1 1T1R (6)3.2 1D1R (6)3.3 1S1R (8)3.4 back to back结构 (10)3.5 具有自整流特性的1R结构 (11)第四章 1S1R结构阻变存储器件研究进展 (13)第五章总结与展望 (14)5.1 论文总结 (14)5.2 未来工作展望 (14)第一章绪论1.1 阻变存储器1.1.1 RRAM基本结构阻变存储器（Resistive Random Access Memory,RRAM）和相变存储器的原理有点相似，在电激励条件下，利用薄膜材料，薄膜电阻在高阻态和低阻态间相互转换，这样子就能实现数据存储[1-2]。
高密度互连积层板研发制造方案(二)
高密度互连积层板研发制造方案一、实施背景随着科技的飞速发展，电子设备正朝着更轻、更薄、更高效的方向发展。
高密度互连积层板（HDI）作为PCB（Printed Circuit Board，印刷电路板）的一种，因其高集成度、高可靠性、低重量等优点，已成为航空航天、医疗设备、智能手机、汽车电子等领域的关键组件。
当前，HDI市场主要由日本、韩国和中国台湾等少数企业主导，国内企业在高端市场上的竞争力较弱。
因此，开展高密度互连积层板的研发制造，对于提升国内企业在该领域的竞争力，具有重要意义。
二、工作原理HDI是一种多层板，其制造过程主要包括以下几个步骤：1.基材制备：采用高导热、低膨胀系数、高耐腐蚀性的材料作为基材。
2.线路制作：在基材上采用激光切割或化学腐蚀等方式制作线路。
3.绝缘层制作：在制作好的线路层之间添加绝缘材料。
4.孔金属化：通过电镀或化学镀的方式在需要的孔内形成金属化层。
5.焊接：通过焊接将各层线路连接起来。
其中，孔金属化是HDI制造的关键技术之一。
由于孔径小、孔深，且需满足不同导电层之间的连接，因此对孔金属化的制备工艺和技术要求极高。
三、实施计划步骤1.技术研究：开展HDI制造关键技术的研发，包括孔金属化技术、多层板制作技术等。
2.设备选型与采购：根据技术研发需要，采购相应的制造设备和检测设备。
3.工艺流程设计：根据HDI的制造特点，设计合理的工艺流程。
4.中试生产：在实验室条件下进行小批量生产，验证工艺流程的可行性。
5.批量生产：根据中试结果，调整工艺参数，进行批量生产。
6.产品检测与认证：对生产的产品进行性能检测和认证。
7.市场推广：将产品推向市场，与需求方建立合作关系。
四、适用范围HDI适用于以下领域：1.航空航天：HDI的高可靠性、低重量特性使其成为航空航天领域的首选组件。
2.医疗设备：HDI的精密线路制作能力使其成为医疗设备的重要组件。
3.智能手机：HDI的高集成度使其成为智能手机主板的首选材料。
华为E9000融合架构刀片服务器介绍P
RISC to IA
满足多种工作负载需求的模块化融合架构 计算 存储 2S，4S计算节点、存储扩展型节点、IO扩展型节点 IPSAN， FC-SAN，FCoE，分布式存储
网络
IO加速组件
GE，10GE，40GE，8GFC， FCoE，Infiniband 交换， TRILL大二层数据中心交换机
PCIe SSD， GPU ……
平均增长率
40.3% 4.8%
40% 20%
-6.4%
3.7 SGI 3.3
0% -1.6% -20% -40% NEC
YOY增长率
华为服务器自2013年Q3以来连续六个季度排名全球前四
中国厂商增长依然强劲，这也是Lenovo完成收购IBM x86业务后第一个季度，从发货量来看IBM已跌出前十
2 Source: Gartner Quarterly Statistics: Servers, WW, 4Q14 Update
2009
2006 2003
第 1 代电信级刀 片服务器T8000 (已停产) 同步业界的第一 代刀片服务器， 应用于国内互联 网行业 第 1 代电信级刀 片服务器T8000 (已停产) 大量应用电信领 域小型机平台替 换与国内互联网 行业 第1代企业级刀片服 务器E6000 为电信运营、企业及 互联网中、高端应用 提供高效的统一计算 平台
第2代企业级刀片服 务器E6000H 具有超群的计算性 能和计算密度，可 广泛满足各领域高 密、集群化部署需 求
5
E9000定位
市场定位
体系架构
产品特点
面向云计算、高端企业应 用、互联网业务平台以及高 性能计算等IT规模化、高密 度部署领域，提供全面的高 性能计算支持
Infiniband高速互连网络(徐迪威)
InfiniBand高速互连网络徐迪威广州广东省计算中心，510033摘要：InfiniBand是目前发展最快的高速互连网络技术，具有高带宽、低延迟和易扩展的特点。
通过研究和实践，对InfiniBand技术的数据包、数据传输、层次结构、与以太网技术的对比、虚拟化、交换机制、发展愿景等进行了全面探索，提出了InfiniBand最终成为高速互连网络首选的观点。
关键词：InfiniBand；高速互连网络；数据包；结构模型；虚拟化；交换机制Research on Design of InfiniBand High Speed InterconnectionAbstract: InfiniBand is a fast growing technology of high speed interconnection (HSI), whose characteristics are high bandwidth, low latency and easy extension. Via researching and practicing, the paper explores on InfiniBand data packets, data transfer, multilevel architectures, comparing with Ethernet, virtualization, switching mechanism, roadmap, etc. The author presents the viewpoint that InfiniBand will become the first choice in setting up HSI.Keywords: InfiniBand(IB); High Speed Interconnection(HSI); Data Packet; Hierarchy Model; Virtualization; Switching Mechanism1引言随着中央处理器（CPU）运算能力的极速增长，高速互连网络（High Speed Interconnection, HSI）已成为高性能计算机研制的关键所在。
联想HPC集群系统技术方案
套
作业调度软件
北京 JINGXING 资源管理和调度软件,
套
X86编译器、数学库和并行开发环境
Fortran Compiler编译器，数学库，包含BLAS、LAPACK、Scalapack等等，提供跟踪分析器和跟踪采集器；
OpenMPI、MPICH2和MVAPICH等并行编译环境。
套
系统功耗估算（举例）
存储系统
128GBs每秒单文件吞吐量134+GBs每秒多文件并发吞吐量LENOVO GPFS并行文件系统拥有超过16年的发展历史
交换模块
10Gb交换机业界最低的延时和最高Microbursts转包率Infiniband网络支持56Gbps的FDR端口，低于0.7ns的延时，仅普通QDR的50%
硬件产品优势 细节----NeXtScale – 高密度机箱
CAE仿真业务常用应用特征分析
某用户DYNA应用运行特征 - 网络通讯密集
随着节点数增多，网络通信量显著增加，并向效率随之降低
某用户ABAQUS应用运行特征–存储IO密集
应用特征分析
联想 CAE仿真 HPC 解决方案概述
HPC集群系统方案总体架构
HPC集群系统机柜布局示意图
集群系统软件
2012年6月全球最快500台超级计算机，来自LENOVO的系统总处理能力为58.6PF (47.5% )，位居第一T0P500中排名前10位的超级计算机系统，有5套来自于LENOVOLENOVO可以提供包括硬件、软件和服务在内的整体解决方案， 全部采用成熟、稳定、经过市场检验的成熟技术和产品LENOVO HPC专家技术团队的长期支持，保证客户项目的成功实施与运行
设备配置
数量
单位功耗W
总功耗W
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
高密度FDR互连交换板的设计与实现刘路;曹跃胜;多瑞华【摘要】针对高密度FDR互连交换板PCB设计在信号完整性方面的不足,从工程实现的角度对板材选取、叠层设计、布线规则、抗干扰措施等问题进行分析,给出完整的解决方案.对3种典型高速板材的阻性衰减和介质衰减进行量化分析,确定设计方案的板材及最大通道长度.根据BGA区域走线数量和间距要求,明确BGA区域间隔出线方式和叠层结构.通过理论分析和计算,确定差分线的线宽、线间距、差分过孔设置、差分过孔距离电源分割线最小距离等布线规则.考虑工程实施条件的限制,提出使用微带线布线、保留一侧残桩不背钻等折中处理措施.仿真实验结果表明,基于以上规则设计的FDR互连交换板已应用于包括“天河二号”在内的多款高性能计算机系统,有效解决了FDR高速PCB设计中遇到的各种信号完整性问题.【期刊名称】《计算机工程》【年(卷),期】2016(042)006【总页数】7页(P7-13)【关键词】FDR互连;高速板材;高速信号;叠层;串扰;残桩;差分过孔【作者】刘路;曹跃胜;多瑞华【作者单位】国防科学技术大学计算机学院,长沙410073;国防科学技术大学计算机学院,长沙410073;国防科学技术大学计算机学院,长沙410073【正文语种】中文【中图分类】TP311中文引用格式：刘路,曹跃胜,多瑞华.高密度FDR互连交换板的设计与实现[J].计算机工程,2016,42(6):7-13.英文引用格式： Liu Lu,Cao Yuesheng,Duo Ruihua.Design and Realization of High-density FDR Interconnection Switch Board[J].Computer Engineering,2016,42(6):7-13.当前,采用高速串行传输的高性能计算机互连网络的传输速率已经从最初的SDR(Single Data Rate,2.5Gb/s),DDR(Double Data Rate,5 Gb/s),QDR(Quad Data Rate,10 Gb/s),发展到第四代的FDR(Fourteen Data Rate,14 Gb/s),构成互连网络的互连交换板和接口卡的PCB(Printed Circuit Board)设计全面进入到FDR 高速高频领域。
由于FDR信号的上升时间已急剧减少到10 ps量级,所有与信号完整性相关的一系列问题,如衰减、串扰、反射、电磁干扰等,已经成为制约FDR互连板乃至整个互连网络能否实现功能和可靠工作的关键因素。
基于FDR的互连芯片具有多端口、多通道、多电源种类、高功耗的特点,而为了提高吞吐率,一块互连板上往往要集成多个互连芯片,在有限的板面上,既要考虑器件的摆放和散热、实现高密度的布线、保证跨背板的长距离传输、满足各种信号完整性要求,又要考虑PCB 设计周期、PCB制造工艺的限制以及节省生产成本等因素,设计实现和仿真验证难度非常大。
针对PCB设计有大量研究成果,文献[1]从启发式算法提出了PCB布局优化的方法,文献[2]运用布局布线的协同算法优化PCB设计,实现布线路径寻优和通孔个数控制。
上述文献多是针对PCB设计的某个方面以及从理论上进行研究,其成果还不能直接通过EDA工具应用于PCB设计工程实践。
本文结合FDR互连交换板的PCB设计实例,从板材选取、叠层设计、布线规则、抗扰设计等方面进行优化和折中,以解决FDR高速PCB设计中遇到的各种信号完整性问题。
对于FDR高频信号,传输线损耗是首要的信号完整性问题。
FDR信号沿互连通道从发送端向接收端传播时,由于信号中的高频分量衰减要比低频分量大得多,到达接收端的信号波形产生两方面的严重畸变:信号的电压摆幅大幅减小,信号上升边严重退化。
前者限制了信号的传输距离,后者导致码间干扰。
传输线损耗A可表示为导线损耗Acond和介质损耗Adiel两部分之和,如式(1)所示[3-4]。
导线损耗是指信号路径和返回路径上的铜导线串连电阻造成的损耗。
在高频时,趋肤效应使得电流靠近铜导线表面流动,铜导线的等效串连电阻增大,导线损耗会随着频率的增高而增大,与频率的平方根成正比,如式(2)所示[3-4]。
介质损耗是指构成板材的介质产生的损耗,主要由材料本身的特性决定,与导线线宽等几何结构无关,与频率成正比,如式(3)所示[3-4]。
由式(2)可知,增加线宽可以降低导线损耗,但在实际PCB设计中,受芯片引腿间距、板面、信号层数、阻抗等因素限制,线宽不可能无限宽,FDR设计中常用的线宽/间距/线宽一般为7 mil/7 mil/7 mil或8 mil/10 mil/8 mil,当线宽相同时,导线损耗与导线长度成正比,与材料无关,要降低总的传输损耗,只有从介质损耗方面考虑。
由式(3)可知,介质损耗与耗散因子成正比,使用较小耗散因子的材料可有效降低介质损耗,进而降低总的传输损耗。
表1给出了3种常用高速板材的特性参数[5],以及传输速率14 Gb/s时(基频7 GHz)时,宽8 mil,50 Ω阻抗,根据式(1)、式(2)、式(3)计算出的各种损耗值,这个损耗值与8 mil/10 mil/8 mil差分线的差分损耗比较接近,可以用于评估8 mil/10 mil/8 mil差分线的差分损耗。
可以看出,在传输速率为14 Gb/s,传输长度为30 inch时,Nelco4000-13SI板材的总传输损耗约为14 dB,而目前典型FDR芯片能容忍的电压摆幅的衰减为20 dB～25 dB,因此这种板材能够用于传输距离30 inch 以内的FDR互连交换板设计。
而FR4的总传输损耗约为27 dB,不能用于长距离传输的FDR设计,但传输距离短的FDR互连接口卡(仅连接芯片和光交换器件,长度一般小于5 inch)可以考虑用FR4材料实现以降低成本,如Infiniband公司的FDR类型HCA(Host Channel Adapter)网络接口卡即是用FR4板材实现的。
至于Megtron6材料,总传输损耗最小,但成本也最高,用于FDR设计会增大系统构建费用,可考虑用于下一代EDR(Enhanced Data Rate,25 Gb/s)板材。
总之,对于高频PCB设计,板材是基础,但选择何种板材最终还是取决于信号的传输长度。
PCB设计首先需要确定电路板结构及叠层。
电路板的尺寸和形状往往是已经确定的,而层数则需要根据板上信号频率、印制板管脚密度、印制板制造成本、加工周期和可靠性要求等因素综合考虑。
FDR互连交换板频率高,密度大,采用多层板是降低干扰的必要手段,合理选择层数十分关键。
FDR互连芯片有24个端口,每个端口有8个Tx 通道和8个Rx 通道,采用交流耦合工作方式。
FDR互连板使用了6个互连芯片和3个下行芯片,通过背板连接器引出32个端口往背板,3个上行芯片,通过QSFP(Quad Small Form-factor Pluggable)光纤引出21个端口。
上行芯片和下行芯片间两两用4个端口连接,如图1所示。
FDR互连芯片为BGA(Ball Grid Array)封装,面积为50 mm×50 mm,有1 157个引腿,间距1.0 mm,所有端口的Tx和Rx的P/N引腿分布成3个同心圆排列。
理论上可以用3个信号层就可以把所有端口的引腿走出BGA。
考虑到以下2个因素,用2个信号层引出一组同心圆引腿。
(1)受间距限制,BGA下差分线的线宽/间距/线宽为4 mil/4 mil/4 mil,出BGA后要扩展成8 mil/10 mil/8 mil的宽线,且差分线对之间的距离不小于50 mil,这样BGA外一对差分线要占据2 mm的宽度,BGA中信号密度最大的边有6个端口×8通道共48对信号,如果走一层信号层引出BGA,在BGA外至少需要96 mm的布线宽度,再加上3个互连芯片并排放置,用一个信号层引出一组同心圆引腿使得布线过于拥挤,实现难度大。
(2)BGA的引腿间距只有1 mm,如果用一个信号层引出一组同心圆信号,则BGA下差分线对的间距只有40 mil-26 mil=14 mil,远未达到50 mil间距的要求,且最大并行走线长度也有20 mm,将产生一定的串扰。
为避免上述不利因素,用2个信号层引出1组同心圆信号,每个信号层内差分信号按间距50 mil走出BGA。
这样,FDR互连板至少需要用6个信号层才能把所有差分信号引出BGA,再考虑到板子的连通性与布线余量,以及为放置交流耦合电容留出足够的板面,最终使用了8个内部信号层,22层叠层结构,如图2所示。
其中,10层信号,10层地,2层电源。
板厚4.1 mm(电源2 oz)。
中间的3层板(GND5-GND6)所用的双面板用FR4板材,其余的用Neclo4000-13SI。
PWR1,PWR2可根据电源过流需求选用1oz/2oz/3oz的铜箔。
串扰问题是高速、高密度电路设计中需要重点考虑的问题。
串扰是由电磁耦合引起的,当攻击线中的电压电流发生变化时,通过攻击线和受害线间的互容和互感产生电磁耦合,在受害线上产生噪声电压和电流,沿受害线向发送端流动的称为近端串扰,沿受害线向接收端流动的称为远端串扰。
一般来说,需要将受害线上总的噪声电压控制在信号电压的5%以下[3],考虑到有其他噪声源以及受害线两边都有攻击线,最好将单边攻击线的串扰预算控制在1%以下。
减小串扰的要点如下:(1)加大攻击线与受害线的间距,减小平行布线长度,但这往往会受PCB布线面积的限制;(2)用完整的地平面作为信号的返回路径。
根据经验法则[3,6],对于50 Ω带状线,线间距是线宽的3倍时,近端串扰约为0.5%;对于50 Ω微带线,线间距是线宽的3倍时,近端串扰约为1%。
带状线或完全嵌入式微带线上远端串扰几乎为零,而对于微带传输线,由于感性耦合的影响要大于容性耦合,其远端串扰极性为负,幅值较大。
4.1 间隔出线在本文设计中,高速差分线的差分阻抗为100 Ω,根据Si9000场求解器计算出高速差分线的线宽/间距/线宽为8 mil/10 mil/8 mil(线越宽则导线损耗越小,而10 mil 的间距是为了保持差分阻抗100 Ω),这种类型的差分线用于BGA芯片区域外。
为减小串扰,两对差分线之间的线间距设置为50 mil,差分线与其他低速信号线的间距不小于80 mil。
本文所用互连芯片的引腿间距是1 mm,加上BGA过孔的尺寸限制,使得在BGA芯片区域内的差分线的线宽/间距/线宽只能是4 mil/4 mil/4 mil,虽然这种类型差分线的差分阻抗也是100 Ω,但导线损耗大,要求4 mil/4 mil/4 mil 差分线一旦出了BGA芯片区域,立即转换成8 mil/10 mil/8 mil差分线。