存储技术培训

15
最大程度地利用存储和网络的特性
iSCSI 建立在来自存储和网络领域的两个应用最广的协议之上
存储领域
▪ iSCSI 使用SCSI命令集，即所有存储配置使用的核心存储命令
在网络方面
▪ iSCSI使用IP和以太网 ▪ 大多数企业网络的基础，并被越来越多地应用于城域网和广域网。 ▪ 随着近30年的研究、发展和整合，IP网络已经具备了最高的可管理性、
多用户可以共享不同种类的数据 容易安装和调试 增加了可靠性和数据的有效性
11
优点: 支持文件共享 易管理
NAS的优缺点
缺点: 是网络盘，而不是SCSI盘 不支持本地文件系统 软件兼容性差（某些数据库和系统级软件不可以使用）
12
SAN - Storage Area Network（存储区域网络）
• 可以有冗余措施，数据安全得到保障
• 可以多对1扩展或1对多扩展，实现数据
…
• 采用网线连接，部署起来更为方便，低
• 集中式管理，维护成本低
缺点：
• 如采用阵列冗余技术和电源冗余技术等 价较高
25
中型监控系统中的视频数据存储（SCSI存储
SCSI存储系统
SCSI存储系统
视频服务器
视频服务器
监控客户端
…
IP摄像头
DVR/DVS
…
监控局域网
NAS/iSCSI 扩展柜
NAS/ IP SAN存储方式
实现方式：
PC DVR
• 主要采用基于以太网的NAS和iSCSI存储
• 扩展柜可以带有阵列功能，冗余电源等
优点：
• 存储的扩展能力大大提高
• 兼容DVR, PC DVR, DVS和IP摄像头
• 支持多台DVR数据共享，提高了数据空 率
缺点
扩展能力差 低的存储空间利用率 低效率的存储空间的增长 不可以交叉共享存储空间 连线不方便，而且连线最大距离太短
10
NAS - Network Attached Storage（附网存储）
局域网里的文件服务器 NAS设备可以连到LAN或通过网关到 SAN 通过 NFS or CIFS 命令来进行文件级访问
存储概念 视频监控典型方案
1
磁盘 vs RAID
硬盘目前最大750G,可是。。。
如果要更大的盘，怎么办？ 如果要更高的访问速度，怎么办？ 如果盘坏了，要求数据不丢失，怎么办？
解决方案： RAID : 冗余磁盘阵列 • 可靠性高 • 容量大 • 速度快
2
磁盘 vs RAID
磁盘
RAID阵列
3
并行读写,速度快 最大数据容量 没有冗余 低可靠性
优点： • 实现一定程度的扩展，价格较便宜
缺点： •扩展能力有限 •无任何冗余措施，硬盘损坏会造成数据丢失 •简单RAID功能的可靠性，整体系统的冗余 高（例如通道冗余性） •SATA或1394线长度有限制，不易部署 •只能 1对1的扩展，不能实现存储共享 •多扩展柜分布式管理，不易管理，维护
24
前端存储（DVR网络扩展存储）
RAID 4
一个磁盘坏，数据不丢
6
并行读写, 速度快 容量 “损失” = 1/n 可用容量 = n-1 一个磁盘坏，数据不丢 可靠性高
RAID 5
一个磁盘坏，数据不丢
7
RAID 6
可以同时坏2个硬盘 冗余性能好 容量 “损失” = 2/n 可用容量 = n-2 极大的提高了数据存储的可靠性 速度比RAID 5慢
互操作性和经济有效性。
16
存储技术发展趋势
网络存储
基于对象 的存储
DAS：直连存储 NAS：网络附加存储
企业级海 量存储
智能化存储－下一代的存储 SAN：存储局域网络
17
各种海量存储技术对比 (纵向)
类型 项目
表现形式
容量可扩展性
DAS
NAS
FC SAN
IP SAN(iSC
DVR，服务器内/外 挂的SCSI、SATA 、1394扩展柜等
UNIX
LAN
Windows NT/2000/xp
SUN
客户端电脑 Linux 应用服务器
SAN
Tape Library
RAID
JBOD
Tape
网络存储设备
•通过其他协议（FC，iSCSI）来实现SCSI的扩展，进而克服直连SCSI的缺点 •一般采用专用的网络来进行存储访问 •在网络上实现真正的块级高速访问
二个磁盘坏，数据不丢
8
RAID小结
写性能：RAID 0>RAID 10 > RAID 5>RAID 6 存储代价(需要冗余掉的磁盘数目)：RAID 1 >RAID 6> RAID 5>RAID0
RAID 0 适用于对性能要求高，对数据安全性不敏感的领域 RAID 5比较适合数据量大有冗余性要求的应用 RAID 1适合对磁盘容量要求不高，要求高可靠的应用 RAID 6适合应用在数据可靠性要求高的领域
18
存储架构 存储协议 网络 传输协议
I/O 文件系统 格式化 本地硬盘 共享
2.3 存储协议比较
NAS
CIFS
NFS
以太网
以太网
TCP/IP 文件
TCP/IP 文件
否
否
SAN
iSCSI
FC
以太网
光纤
TCP/IP 数据块
FC 数据块
是
是
否
否
是
是
可
可
否
否
19
视音频监控与网络存储
视频监控对存储的要求： 1. 海量：几千至几万个点，要求1000-10000TB的存储容量。 2. 价格的敏感性:突破了传统的存储方式 3. 可扩充性: 监控点和监控业务的不断增长 4. 可管理性: 海量存储的管理瓶颈 5. 网络连接：IP存储
监控专网
分布式 集中存储
分布式 集中存储
中心存储
WORM存储系统
归档存储
近距离存储
22
远距离存储
前端存储（DVR存储）
DVR 存储 …
四个通道IDE控制器
实现方式：
• 通过DVR内置IDE控制器管理硬盘 • 非冗余模式工作，硬盘轮流存储数据 优点：
• 价格便宜 缺点：
• 无任何冗余措施，硬盘损坏会造成数据 丢失
13
FC SAN
FC SAN的缺点：
不可用于远程存储 需要有系统管理员额外具备FC的管理维护技术 建设费用昂贵
➢ 光纤通道卡 ➢ 光纤通道交换机 ➢ 光纤通道盘 ➢ 光纤
14
iSCSI SAN
iSCSI SAN的优势：
▪ 利用无所不在的以太网络，一定程度上保护了现有投资。 ▪ IP存储超越了地理距离的限制，适合于对关键数据的远程备份。 ▪ IP网络技术成熟,不存在互操作性问题 ▪ IP存储减少了配置、维护、管理的复杂度。 ▪ IP网络已经被IT业界广泛认可－网络管理软件和服务产品可供使用 ▪ 千兆网的广泛使用大大提高了IP网络的性能 ▪ 万兆网络技术的发展，使IP存储在性能上可以超越FC存储
• 容量有限，最多8片盘容量 • 分布式存储，存储空间不能共享，不易 管理
8片硬盘
DAS存储方式
23
前端存储 （DVR直连扩展存储）
DVR/DVS …
DAS存储方式
SATA扩展柜
实现方式： • 主要采用SATA、1394，USB扩展方式 • 扩展柜不带阵列功能，只是盘堆形式，或 简单的低性能的简单RAID
RAID 0
一个磁盘坏，数据丢失
4
RAID 1
镜像, 同样的数据有2个拷贝 容量损失, 浪费一半空间； 成本高 可靠性高
RAID 1
一半的磁盘坏，数据不丢
5
并行读写, 速度快 容量 “损失” = 1/n 可用容量 = n-1 单独的盘作为冗余盘 一个磁盘坏，数据不丢 可靠性高
DVR/DVS
DVS
DVS
28
DVR/DVS
多种视频监控存储方案
1. DVR存储：DVR存储方案 2. SCSI存储: 流媒体服务器+磁盘阵列存储方案 3. FC存储: 流媒体服务器+FCSAN 磁盘阵列存储方案 4. IP存储: 平台服务器＋IP SAN/NAS存储方案
29
视频存储方案的比较
性能 模式
9
DAS － Direct Attached Storage（直连存储）
clients
LAN
Server
Disk drives
扩充服务器内部的驱动器的容量 高性能的SCSI连接 有限的可用存储 更多的存储空间 = 购买更多的内部硬 盘
用完硬盘插槽 =购买更多的服务器
Server
Disk drives
20
视频监控系统中的存储
近距离存储
前端本机存储:
扩展及集中存储:
DVR内置硬盘存储 SATA，USB等扩展存储 IP存储
SCSI
分布式集中存储: FC
IP
远距离存储
SCSI
中心存储:
FC
IP
21
视频监控的存储
视频服务器
分布式 集中存储
ห้องสมุดไป่ตู้
视频服务器
DVS DVR NVR
前端存储
局域网
集中存储系统
集中存储
DVR存储
可靠性 低
统一管理 提供平台 扩展能力 造价成本 API
否
无
低
低
兼容前 端存储
无
SCSI 存储
是
否
无
低
高
无
FC 存储
是
是
无
高
高
无