FC VS IP

FC SAN和IP SAN

1. 存储发展历程

源于系统对于转发和存储的要求不断提高，存储的发展日新月异。从最早的内置硬盘到DAS 存储，再到20世纪末出现的FC SAN以及今天已经被广泛使用的IP SAN，大型复杂的IT系统不断推动着存储架构的发展。

早期的大型服务器存储使用DAS（Direct Attached Storage），又称直连存储。在这种方式中，存储设备是通过电缆（通常是SCSI接口电缆）直接和服务器相连。I/O请求直接从服务器发送到存储设备。由于早期的网络十分简单，所以直连式存储得到发展。DAS存储方式如下图所示：

DAS曾经是一种流行的存储系统，但不能满足大容量存储和设备共享需求，于是出现了SAN 等其他存储技术。

SAN（Storage Area Network，存储局域网络）的诞生，使存储空间得到更加充分的利用以及安装和管理更加有效。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN 本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽。

SAN存储方式如下图所示：

在SAN 网络中，所有的数据传输在高速、高带宽的网络中进行，SAN 存储实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。

早期的SAN 采用的是光纤通道（FC ，Fiber Channel ）技术，所以，以前的SAN 多指采用光纤通道的存储局域网络，到了iSCSI 协议出现以后，为了区分，业界就把SAN 分为FC-SAN 和IP-SAN 。

FC 和IP 都是存储传输协议，二者孰优孰劣一直是业界争论的焦点。接下来的部分将会从二者的起源、发展、协议、安全、可管理、兼容性等各方面对其进行阐述。

2. FC 协议

FC 开发于1988年，最早是用来提高硬盘协议的传输带宽，侧重于数据的快速、高效、可靠传输。到上世纪90年代末，FC SAN 开始得到大规模的广泛应用。

FC 光纤通道拥有自己的协议层，它们是：

z FC-0：连接物理介质的界面、电缆等；定义编码和解码的标准。 z FC-1：传输协议层或数据链接层，编码或解码信号。

z FC-2：网络层，光纤通道的核心, 定义了帧、流控制、和服务质量等。 z FC-3：定义了常用服务，如数据加密和压缩。

z FC-4：协议映射层，定义了光纤通道和上层应用之间的接口，上层应用比如：串行SCSI 协

议，HBA 的驱动提供了FC-4 的接口函数。FC-4 支持多协议，如：FCP-SCSI ，FC-IP ，FC-VI 。

参照OSI 和TCP/IP 模型，FC 的分层结构如下：

光纤通道的主要部分实际上是FC-2。其中从FC-0到FC-2被称为FC-PH ，也就是“物理层”。

动态Native 地址(8/24-bits)FC-3: 通用服务

FC-4: ULP Mapping

光纤通道在FC-2可以没有任何高层协议支持的条件下生成所有网

络地址(固定与动态

)光纤通道在FC-2可以没有任何高层协议支持的条件下生成所有网络地址(固定与动态)

光纤通道主要通过FC-2来进行传输，因此，光纤通道也常被成为“二层协议”或者“类以太网协议”。

按照连接和寻址方式的不同，光纤通道支持三种拓扑方式：

z PTP（点对点）：一般用于DAS（直连式存储）设置

z FC-AL（光纤通道仲裁环路）：采用FC-AL仲裁环机制，使用Token（令牌）的方式进行仲裁。光纤环路端口，或交换机上的FL端口，和HBA上的NL端口（节点环）连接，支

持环路运行。采用FC-AL架构，当一个设备加入FC-AL的时候，或出现任何错误或需要

重新设置的时候，环路就必须重新初始化。在这个过程中，所有的通信都必须暂时中止。

由于其寻址机制，FC-AL理论上被限制在了127个节点。

z FC-SW（FC Switched 交换式光纤通道）：在交换式SAN上运行的方式。FC-SW可以按照任意方式进行连接，规避了仲裁环的诸多弊端，但需要购买支持交换架构的交换模块或

FC交换机。

3. iSCSI协议

iSCSI（互联网小型计算机系统接口）是一种在TCP/IP上进行数据块传输的标准。它是由Cisco 和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI 协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。

iSCSI标准在2003年2月11日由IETF（互联网工程任务组）认证通过。iSCSI继承了两大最传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。

基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP 网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。

iSCSI的数据包结构如上图所示，在实际工作时，是将SCSI命令和数据封装到TCP/IP包中，然后通过IP网络进行传输。具体的工作流程如下：

(1) iSCSI系统由SCSI适配器发送一个SCSI命令。

(2) 命令封装到TCP/IP包中并送入到以太网络。

(3) 接收方从TCP/IP包中抽取SCSI命令并执行相关操作。

(4) 把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方。

(5) 系统提取出数据或命令，并把它们传回SCSI子系统。

4. FC和IP对比分析

在简要介绍了协议之后，接下来对FC和IP的各方面做一个对比分析，包括了性能、安全性、兼容性、扩展能力、成本等多个方面。

?性能（带宽和效率）

传输性能实际包括了传输带宽和传输效率两方面。

iSCSI的协议层是利用现有以太网的，在硬件上兼容现在的网卡、网线、以太网交换机等设备，目前以太网的主流速度是千兆。从带宽上看，目前主流的4Gb的FC领先于1Gb的iSCSI。但当10Gb以太网发展起来后，iSCSI协议会具有明显优势。

因此，从带宽角度来看，对于需要高带宽的用户，可以选择4Gb FC技术或者万兆以太网技术构建存储网络。而对于大多数的企业用户、教育用户和政府用户，千兆的iSCSI技术是一种很好的选择。

从效率方面来看，由于iSCSI协议借鉴了SCSI协议适合大数据量传输的优势，在千兆以太网上表现出良好的传输效率。以下是从协议和报文长度角度出发，对传输效率进行了对比分析：FC协议的最大帧长度为2048字节，其中包括36字节的控制字节（4字节起始标志SOF＋4字节结束标志EOF＋4字节CRC校验＋24字节帧头），有效的报文传输率为

（2048－36）/2048＝98.2％。

iSCSI是建立在TCP协议之上。TCP报文的一般长度为1500字节，其中包括54字节的报文头（14字节以太网头＋20字节IP头＋20字节的TCP头），有效的报文传输效率为

（1500－54）/1500＝96.4％。

如果采用巨帧来进行传输，也就是采用9000字节的报文长度来进行传输，那么此时的报文有效传输效率为

（9000－54）/9000＝99.4%。

由上述比较可知，FC和IP的传输效率差别并不大。在采用IP巨帧的情况下，IP的传输效率甚至比FC更高。在实际中的测试也证明，当负载未达到千兆带宽的极限值时，iSCSI的性能与FC的性能相差不大。

?安全性

在保证数据安全方面，FC和IP各有所长。

在FC的分层协议中，定义常用服务的FC-3层，主要用于保障数据安全，比如数据加密和压缩等。但是FC是工作在第二层的协议，并没有用到第三层的功能，因此到今天，也没有在协议中建立相应的安全机制以及安全通用协议。但是FC SAN系统一般是单独建设网络，FC网络和已有的IP网络是完全隔离的，不会受到IP网络上的黑客和病毒的攻击，因此，FC网络的安全系数相对较高。

此外，通过Zoning、LUN Masking等机制，可以将SAN网络进行分区，避免服务器和存储之间的非法访问，进一步保证了安全性。

对于IP SAN而言，虽然iSCSI是设计在不受信任的广域环境中的使用，但是IP网络上的各种安全机制都可以用来保证数据安全的传送，比如VPN、IPSec等。如果单独建设存储网络，也能很好的保障数据的安全性。

对于FC SAN领域中的Zoning、LUN Masking等功能，IP网络中也有对应VLAN、CHAP认证机制想对应，同样能避免服务器和存储之间的非法访问，保证数据安全。

?兼容和扩展性

FC的标准化程度远远落后于IP，兼容性是一个难以解决的难题。

FC协议与现有的以太网是完全异构的，两者不能相互接驳。因此光纤通道是具有封闭性的，而且不仅与现有的企业内部网络（以太网）接入，也与其他不同厂商的光纤通道网络接入（由于厂家对FC标准的理解的异样，FC设备的兼容性是一个巨大的难题）。因此，对于以后存储网络的扩展由于兼容性的问题而成为了难题。

由于参与核心技术开发的厂商少，使FC协议的完善大大滞后于市场需要。到今天为止，主要的3、4家FC交换机的供应商仍然无法将各自的FC交换机互联，更不用说级联、堆叠这样的复杂应用。FC的主机通道卡(HBA)、FC交换机、FC存储设备分属不同阵营，加上不同的主机操作系统差异，使FC SAN的建立过程充满了标准冲突，绝大多数部署和管理过FC-SAN的用户都深切体会到FC-SAN的复杂、难以管理和兼容性差。因此，FC行业的封闭性，使得很多从业厂商将产品视为套牢用户数据的圈套。在用户初次采购设备后，大量的后续数据管理，如扩容、升级、备份、远程容灾等，都限制在本厂商产品范围内选择。

IP技术是目前使用最多的网络数据传输协议,其标准性和开放性早已成为共识。因此基于IP技术的IP存储协议ISCSI在互联互通方面有着先天优势,不存在任何兼容性问题.微软2003年同年，宣布对iSCSI技术的免费支持，所有驱动内置到Windows操作系统，可免费下载。以Intel为代表的业内十多家重量级硬件公司也纷纷宣布支持iSCSI技术。基于iSCSI协议构建的IP存储，已崭露头角，成为新一代存储系统的标准，成为IT新时代围绕IP技术进行的网络与存储融合的标志性技术。

?灵活和适应性

从网络的适应性和灵活性而言，IP协议已经建立了完善的流量控制和容错机制，能够在各种环境下，实现高效的数据传输。

z流量控制机制对网络的适应性方面：FC采用基于信用的流量控制机制降低了网络的利用率；iSCSI的流量控制机制对网络的适应性更好，尤其在网络传输延迟较大的网络中。

z超时重发机制的灵活性方面：FC使用的是静态的超时重发机制，不会根据网络的情况动态地加以改变，因此发送方可能过早或过迟地出现超时，这对改善网络的综合性能不利；

iSCSI可以动态地自适应于网络的当前情况，改善存储传输的性能。

因为IP具有良好的网络适应性和灵活性，因此在理论上传输距离可以不受限制。而FC一般只限于近距离的传输，如果要实现远距离的传输，一般要通过协议转换器，转换成IP协议再进行传输。?管理和维护

从网络管理和维护的角度来看，IP比FC具有明显的优势。

运行FC协议的光网络，其技术难度相当大。FC协议的管理采用了专有的软件，需要专门的管理人员，并且培训费用高昂。TCP/IP网络的知识通过这些年的普及，已有大量的网络管理人才，管理人员的成本较低。此外，由于支持TCP/IP的设备对协议的支持一致性好，即使是不同厂家的设备，其网络管理方法也是基本一致的，这就进一步降低了管理和维护的难度。

?整体拥有成本

如果建立FC SAN，用户需要建设一张新的FC存储网络，并购置相应的FC交换机和HBA卡，并且要培养专门的管理和维护人员。

如果建立IP SAN，ISCSI存储系统可以直接在现有的网络系统中进行组建，并不需要改变网络体系，也不需要购买专门的交换机和HBA卡。如果运用交换机来连接存储设备，对于需要增加存储空间的企业用户来说，只需要增加存储设备就可完全满足。此外，IP网络的管理和维护成本也远低于FC网络。

因此，从整体拥有成本来看，IP SAN要远远由于FC SAN。

总结：

针对上述各方面的分析，总结如下：

FC SAN IP SAN

性能 主流是4Gb；

8Gb标准未知；

主流是1Gb；

10Gb已经开始商用；

安全性 单独建网，保证安全性；

Zoning、LUN Masking防止非法访问；

单独建网，保证安全性；

VPN、IP Sec、Qos等保障安全；

VLAN、CHAP认证防止非法访问；

兼容和扩展 兼容性差，各厂商标准不统一，导致不 兼容性好，标准统一，各厂家的IP

性 容FC 产品之间兼容性和互操作性差； 同一厂家的不同型号产品也存在类似

问题；

网络之间可互连互通；

灵活和适应性

网络适应性差；

缺乏流量控制和容错机制； 不适于远距离传输； 网络适应性好；

具备完善的流量控制和容错机制； 不受传输距离限制； 管理和维护

技术难度大； 学习难度高； 技术难度小； 学习难度低； 整体拥有成本

单独建网费用高； FC HBA 卡成本高； 管理维护成本高；

无需单独建网；

可采用网卡，也可用HBA 卡； 管理维护成本低；

5. 前景和展望

目前看来，FC 协议历经1Gb 和2Gb 的发展过程，达到今天的4Gb ，但是未来8Gb 的发展方向尚不明朗。而得益于以太网发展的速度，iSCSI 有了长足的进步，1Gb 已经成为主流，10Gb 的网络也已经开始商用。

FC 和IP 网络的发展历程如下：

上图中，红线代表IP 存储的发展过程，黑线表FC 存储，可以看到：

z FC 存储技术发展缓慢，前景不明，FC 网络将被以太网替代。虽然经过10年的发展，FC

端口速度仅有4Gbps；下一代8Gbps的FC存储标准目前处于停滞状态，正在讨论是否停止FC的发展，转而采用FCoE技术。而FCoE技术则意味着FC网络将被淘汰，SAN网络统一到以太网技术上。

z IP存储技术发展迅速，是目前所有第三方知名咨询机构认可的存储技术发展方向。在iSCSI 作为网络存储标准化技术以来，仅仅经过4年时间就达到了10Gbps的速度，并且在4～5年内将达到100Gbps的速度。