微捷码软件应用于高性能并行计算系统中复杂交换芯片的物理实现

微捷码软件应用于高－性髓并行计算系统中复杂交换芯片的物理实现ＨｕａＳｈｅｎｌ，ＤｉｎｇｓｈａｎＹｏｕｌ，ＸｉａｏｘｉａｏＪｉａｎ９１．－，ＬｉｋｅＬｉｕｌ，ＪｉａＹａｎ９１，一，ＲｏｎｇｒｏｎｇＱｕ０１・２（１．中国科学院计算技术研究所；２．中国科学院研究生院）★摘要：本文主要介绍了面向并行计算系统互连应用的复杂交换芯片（ＳｗｉｔｃｈｈＳｌＣ）的芯片结构、设计权衡和物理实现。

该交换芯片通过集成３路１６ｘ１６交叉开关和特别垫垒处理单元，不仅可支持具有高吞吐量和低延迟的多层多功能包交换，而且还在其１６个ＲＸ／ＴＸ端口间提供了先进的全局垫垒处理加速功能：以１５６．２５ＭＨｚ频率运行，拥有８０Ｇｂｐｓ端口交换和２４０６ｂｐｓ内部包交换容量以及３．１２Ｇｂｐｓ的端口吞吐量。

通过对一些芯片路径多模多角下时序的仔细调整以及对输出片上时钟网络的０ＣＶ优化，以微捷码的Ｂ１ａｓｔ工具为主达成了４种功能模式、３个ＰＶＴ角点下芯片物理实现的完全时序收敛。

目前，该芯片已通过０．１８ｕｍ／６ＭｅｔａｌＣＭＯＳ技术完成投片，拥有约２０００万个晶体管、１７个不同的时钟域、４８个ＲＡＭ宏块、１２．３９ｍｍｘ１２．３９ｍｍ芯片尺寸以及１０５３个引脚倒装芯片封装。

关键词：高性能、交换、时序收敛、ＣＤＣ、多模、ＯＣＶ、ＯＦＴ１Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的结构Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ是作为一款应用于高性能、高效率大型计算系统【１１的关键互连芯片而设计。

在大型计算系统的建造中，高度可扩展的互连光纤（ｉｎｔｅｒｃｏｎｎｅｃｔｆａｂｒｉｃ）技术起着重要作用；为增强互连光纤的可扩展性，它不仅必须集中优化光纤的拓扑结构、光纤交换芯片的带宽、延迟、端口吞吐量，而且还需改善交换芯片的全局同步机制和功能。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ是一款高性能多功能交换芯片，支持源一目的地布线、流程控制、单播包和多播包交换以及专用于加速全局同步的垫垒处理。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的结构如图ｌ所示，它拥有１６个全双工ＲＸｇＩ＇Ｘ端口，在每个ＲＸ端口各有３个应用于其进人数据包的ＶＣ（虚拟通道），且每个ＶＣ都与其在３个１６ｘ１６交叉开关中的响应开关以及芯片内一个垫垒处理单元相连接。

具有多个ＶＣ和多个交叉开关的Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的多层式结构通过更好地调整以支持大型互连网络和计算系统上的并行应用，可改善高负载环境中流量堵塞并减小包交换延迟。

通过集成经专门设计的垫垒处理单元，这款交换芯片可显著降低全局垫垒通信延迟，特别是用于大型互连网络计算系统时更是如此，从而可改善并行算法和应用的可扩展性ｆ２１。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ采用了Ｏ．１８斗ｎｌＣＭＯＳ技术，已集成了约２０００万个晶体管；以１５６．２５ＭＨｚ频率运行，拥有８０Ｇｂｐｓ端口交换和２４０Ｇｂｐｓ内部包交换带宽以及３．１２５Ｇｂｐｓ单向端口吞吐量；零负载・该项目由中国国家高技术研究开发计划提供经费资助，合同号为Ｎｏ．２００６ＡＡ０１Ａ１０２．ｈ¨＾．，＾……，’；ｍ＾，。

，、…万方数据端口到端口延迟小于１００ｎｓ。

对于采用Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ创建的１０２４节点互连网络，其硬件全局垫垒处理延迟在１“ｓ以下，这个数字比目前市场中商用芯片Ｉｎｆｉｎｉｂａｎｄ交换芯片效果好很多。

２ＤＳ０００ＳｗｉｔｃｈＡＳｌＣ的时序约束设计时序约束设计是成功ＡＳＩＣ物理设计的第一步，它直接关系到芯片功能的正确性以及芯片实现的质量。

对于Ｄ５（）００ＳｗｉｔｃｈＡＳＩＣ的时序约束设计，我们主要集中于芯片的时钟定义、输入输出端口约束以及内部ＣＤＣ（跨时钟域）时钟约束。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ具有如下特性：（１）１７个运行频率达１５６．２５ＭＨｚ的时钟域（２）１６个１９位ＳＳＤ（源同步数据）输入端口和１６个１９位ＳＳＤ输出端口，所有时钟频率为１５６．２５ＭＨｚ。

ｃｌｋ一７（３）约４０００个内部ＣＤＣ信号，主要是ＲＸ与ＴＸ时钟域（ＲＸ和ＴＸ在此系指ＦＩＦＯ的接收端口和传输端口）间异步ＦＩＦＯ内并行地址指针（ａｄｄｒｅｓｓｐｏｉｎｔｅｒｓ）ｏ（４）一个异步处理器双向总线接口。

２．１ＳＳＤ输入和输出端口的时序约束Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的ＳＳＤ型输出的结构如图２所示。

考虑到Ｓｅｒｄｅｓ芯片的时序需求以及最大化输出数据有效时序窗口的要求，将输出时钟的上升沿（ｒｉｓｅｅｄｇｅ）调整到输出数据窗口中心来达成下列时序等式会具有更好效果：７Ｉ？。

ⅡＬ呻≥Ｔｏ＋Ｔｏｑ＋Ｔ‘皿，．啊“．一ｙ＋７Ｉ：ｄｕｐ（１）图１Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的结构、、～．，～ｒ～……－，。

，‘，，Ｔ，ｔｓ＿图２０５０００￥ｗｉｔｃｈＡＳＩＣＳＳＤ输出端１３的结构凡柚≤１ｋ柚＋１凶＋１ｋ（２）ＬｆＴｈｄｄ≤０．５木ｈ（３）ｋ＜氏枷（４）对于芯片中ＳＳＤ型输人端口，其结构如图３所示。

为了让输入数据窗口在从外部Ｓｅｒｄｅｓ芯片送出后尽可能保持不变，要求在芯片内输入ＲＸ时钟路径的延迟与其相关的输入数据路径延迟最好相匹配，以下时序等式中对这些要求进行了定义：Ｔｄ岫≥ｋ＋ｔｑ＋Ｔｄｋ，—。

咖（４）Ｔｄ哪≤ｋ＋钆（５）Ｉ－‘●＾，＾．．．．…：……一万方数据■———■ＨｉＴ咖ＴⅢ！ＲＸ帅ｒ］ＲＸ＿唑！ｍ门！刁ｉｏ图３ＳＳＤ型输入端口的结构２．２ＣＤＣ接口的时序约束Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的ＣＤＣ接口结构如图４所ＩＸＣ１ｋＲＸ—Ｃｌｋ图４ＣＤＣ接口结构在Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ中约有４０００条ＣＤＣ信号路径，其中多数是ＲＸ时钟域与ＴＸ时钟域间异步ＦＩＦＯ中并行地址指针。

为了降低跨时钟域数据交流期间亚稳态，这些并行ＦＩＦＯ地址位首先以格雷码（Ｇｒａｙｃｏｄｉｎｇ）进行编码并在发送端寄存，然后采用双同步Ｄ触发器在其ＲＸ端取样。

对这种ＣＤＣ路径广泛使用的时序约束是设置虚假路径（ｆａｌｓｅｐａｔｈ）。

当路径被作为虚假路径设置时，ＥＤＡ工具将忽略它们，不会对这些虚假路径进行任何控制，因此对这些路径也就没有任何延迟匹配和控制问题。

在深亚微米ＡＳＩＣ中，芯片内逻辑门级电路间各种线路延迟问题已上升到了不容忽视的程度。

没有进行时序控制，这类并行ＣＤＣ路径的时序可能从各方面导致所交流ＣＤＣ数据正确性失效，包括ＦＩＦＯ接收方出现错误的数据取样。

这些都是出了名的芯片设计师难以调试的ｂｕｇ，因为其往往ｈｔｔｐ：／／ｗｗｗ．ｃｉｃｍａｇ．ｃｏｍ是随机发生的。

因此，为了将这类ＣＤＣ失效机率降至最低，采用保守方式来执行ＣＤＣ数据交流会更好，而且为了将错误取样机率降至最低，需约束这类并行ＣＤＣ路径以让其时序控制在一定安全范围内。

在我们的案例中，我们使用如下时序等式来约束ＣＤＣ路径：Ｔ‘赴珊≤Ｍｉｎ（Ｔ诎删，Ｔ吲ｋ删】（７）△ｋ≤１／４Ｍｉｎ｛Ｔ蒯ｋ删，Ｒｄ驯Ｊ（８）３Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的ＤＦＴ设计该芯片集成２０００万个晶体管并拥有１０５３个引脚，若没有在芯片中内嵌ＤＩＰＩ＇（可测性设计）设计，那么对如此复杂ＡＳＩＣ进行测试要得到好的故障覆盖率是不可能的。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的ＤＦＦ设计目标是制定出一款能采用通用逻辑分析器和向量产生器，通过片上ＪＴＡＧ接口在我们的实验室简单测试板上测试这款复杂ＡＳＩＣ的ＤＦＦ解决方案，同时避免使用昂贵的ＡＴＥ（自动测试设备）和专门设计的ＡＴＥ负载板。

为达到这一目标，我们在Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ中插入了扫描链（ＳＣＡＮ）、压缩扫描链（ＣｏｍｐｒｅｓｓｅｄＳＣＡＮ）、时速存储器内建自测试（Ａｔ—ｓｐｅｅｄＭＢＩＳＴ）、边界扫描（ＢＳＣＡＮ）和片上时钟控制器。

该芯片的ＤＩＴＦ结构如图５所示。

通过集成这些ＤＦＴ结构，所有测试矢量都可通过片上ＪＴＡＧ控制器轻松地加以控制、加载和捕捉。

对于粘粘（ｓｔａｃｋ—ａｔ）故障，ＳＣＡＮ的覆盖率是９６．４５％、ＣｏｍｐｒｅｓｓｅｄＳＣＡＮ的覆盖率为９５．９０％，时速存储器内建自测试覆盖率为１００％；对于桥接故障（ｂｒｉｄｇｉｎｇｆａｕｌｔ），其测试覆盖率约为９４％。

４Ｄ５０００ＳｗｉｔｃｈＡＳｌＣ的物理规划设计规划设计包括有ＩＯ规划、平面布局以及电源网万方数据图５Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的ＤＦＴ结构格设计等。

Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的物理设计是以联电和舰（ＵＭＣＨＪ）的通用０．１８ＩＸｍ／６ＭＣＭＯＳ技术为基础，同时使用了Ｆａｒａｄａｙ的标准单元库、ＰＬＬ、可编程ＩＯ库、双端口寄存器堆编译器。

该芯片拥有４８个１７ｘ２０４８位双端口寄存器堆宏单元、内嵌有一个ＰＬＬ，同时它还拥有６９０个信号ＩＯ引脚，包括ＰＷＤ／ＧＮＤ引脚在内的话引脚总数高达１０５３个，因此它属于引脚限制（Ｐａｄ—ｌｉｍｉｔｅｄ）、ＩＯ密集型ＡＳＩＣ设计。

为了提供更好的ＩＯ信号完整性并将ＳＳＮ（同步交换噪声）负面影响降至最低，我们选择了倒装芯片平面布局和封装。

压焊垫块（ＢｕｍｐＰａｄ）尺寸为１３０ＩＸｍ×１３０ＩＸｍ，使用Ｍ６金属层、间距为２００斗ｍ；锡球间距为１．０ｍｍ，使用１２层封装基板、３５ｍｍＸ３５ｍｍ尺寸的１０５３个锡球引脚。

所有端口的引脚均以成组方式分配，如图６所示。

为最小化芯片的电源网格中电压降（ＩＲ—Ｄｒｏｐ），使用Ｍ６／Ｍ５／Ｍ４进行电源网格布线，同时使用许多Ｐｏｗｅｒ／ＧＮＤＩＯＰａｄ和宽电源环。

在交互迭代和优化后，最终的芯片平面布局如图７所示。

基于ＳＡＩＦ向量文件的功耗分析显示此交换芯片的功耗约为３—４Ｗ。

带有ＩＯ环的芯片内核尺寸约为９．８ｌｎｎｌｘ９．８ｎｌｎｌ，带有压焊垫块阵列的芯片尺寸约为１２．３９ｐｍｘ１２．３９斗ｍ。

图６倒装芯片封装基板平面布局图７交换芯片平面布局５Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的物理设计细节Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的物理设计细节包括有许多方面：ＣＴＳ、布局、布线、ＤＲＣ／ＬＶＳ和各种相关分析和验证。

在本文中，我们着重介绍了我们所遇到的难题以及设计过程中我们在该芯片的ＣＴＳ、多模多角时序收敛以及ＯＣＶ优化中所使用到的解决方案。

５．１时钟树设计对于Ｄ５０００ＳｗｉｔｃｈＡＳＩＣ的时钟树设计，它需对ｈｔｔｐ：／／ｗｗｗ．ｃｉｃｍａｇ．ｔｏｍ万方数据１６个输入时钟和一个芯片的核心时钟进行综合，每个时钟域建立独立的时钟树。

主要程序如下：（１）设置时钟树时序约束，如：定义每个时钟树的根点（ｒｏｏｔｐｏｉｎｔ）和端点、定义相关的插入延迟、偏差、允许布线的金属层。

（２）设置允许仅为时钟树所用的单元，如：ＣＬＫＩＮＶ、ＣＬＫＢＵＦ。

（３）基于偏差和余量需求来综合时钟树并进行优化。

（４）进行迭代直到时序收敛。

微捷码的Ｂｌａｓｔ—ｆｕｓｉｏｎ工具可基于偏差组（ｓｋｅｗｇｒｏｕｐ）来综合并平衡时钟树，因此我们可如表１般定义偏差组。