NetApp 重复数据删除技术
NetApp软件产品对照表
英文描述中文描述1.Data ONTAP®Netapp开发的具有多项独家知识产权，结合WAFL文件系统设计安全可靠的微内核操作系统。
通过多任务实时微内核和专利的WAFL文件系统的设计，对网络数据访问提供优化的存储服务，具有高稳定性，高效率，多重通讯协议的特性。
2.FlexVol®NetApp FlexVol 技术提供了真正的存储虚拟化解决方案，不仅可以降低管理费用和资本支出、减少中断故障并降低风险，而且还可提供出色的灵活性以帮助企业快速适应不断变化的需求。
3.FlexShare™借助 FlexShare 技术，管理员能够轻松整合不同的应用、确定特定数据集的优先级，并根据业务的变化情况动态调整优先级。
借助 FlexShare，单个 NetApp 系统将能托管多个工作负载，并为每个负载分配相应的优先级4.Snapshot™提供在线备份功能，支持对之前版本的数据进行近乎即时的访问，而无需完整、单独的副本。
5.Deduplication FAS 重复数据删除技术可以在 FAS 卷中搜索并删除重复数据。
通过与 NetApp Data ONTAP® 软件紧密集成，FAS 重复数据删除功能可在后台运行，而且几乎不会对读写性能造成任何影响。
6.FilerView®是用于执行从安装到完成配置的管理任务的主界面。
利用 FilerView，管理员不必再学习特殊的语言或命令行界面来配置和维护 NetApp 存储设备。
只需一个 Web 浏览器，管理员就可以进入易用的图形用户界面，并且可以通过浏览各个屏幕来执行任务。
界面上将始终显示一个浏览树，以便于在各个任务间切换。
7.SecureAdmin™安全模式需要 SecureAdmin 软件，该软件在 Filer 上实施安全套接字层 (Secure Socket Layer, SSL 3.0)服务，用于进行用户验证和保密通过 HTTP 处理的命令8.AutoSupport™9.FlexCache®FlexCache技术能够自动地复制、存储和服务基于NFS协议请求的数据。
NetApp产品及解决方案简介
全球增长最快的全 闪存存储提供商
NetApp Data ONTAP® 全球排名第一位的网络存储操作系统
Ranked #1 in Revenue
Top 5 Branded Storage OS 2015 Q4 Worldwide – Revenue Market Share
Ranked #1 in Capacity Shipped
$B
• • •
•
• •
AltaVault-PBBA
EF / E-Series AFF / FAS
Shift Underway
Source: Worldwide Enterprise Storage Systems Forecast 2015-19, IDC; Worldwide Enterprise Storage for Public and Private Cloud 2014-18, Segment Forecasts by IDC NTAP Market Intelligence
*Source: IDC Worldwide Quarterly Enterprise Storage Systems Tracker 2015 Q4, March 2016
3
NetApp 在闪存解决方案领域的领导地位得到市场认可
挑战者 领导者
415+
~200
PB 闪存售出量
NetApp
项与闪存相关 的专利
互联网媒体服务
Sports/Religion/Corporate 媒资库Media Industry Databases Shared IT/OpenStack
23
NetApp 与行业ISV’s的解决方案整合
NetApp-FAS6200-系列_zhCN
包含 SAN 或 NAS 协议
您选择的一个 SAN 或 NAS 协议（iSCSI、FC、NFS、CIFS）会随附于您
的系统。
增值软件：
提供经济实惠、易于购买的附加软件模块，增强基本系统功能。可以单独购买这些产品，也可以随 NetApp 完整包一起购买所有这些
产品。
功能 应用程序集成
产品/特性 SnapManager® 套件
FAS6200 系列旨在满足最苛刻的数据中心 高可用性要求。机柜阵列级功能（例如备用 控制路径 [ACP] 和持续 NVRAM 写入日志） 进一步增强了我们本已高度可用的体系结 构。除此之外还有诊断服务处理器，该处理 器可在将要发生的问题尚未影响可用性之前 帮助您很好地解决问题，并且您还有可以信 赖的企业级存储基础架构。
12
12
8
四 4 Gb FC 存储/磁带 HBA（光纤）
24/16
24/16
8/8
FAS6200 系列软件
FAS6200 包括一个简化的软件结构，提供了 更多价值和增强的简单性，同时为构建定制 解决方案保持了一个灵活的基础。
增强如下表所示，包括：
• 现在，更多软件通过 Data ONTAP Essentials 随附于每个系统，成为标准 配置
满足您要求最苛刻的工作负荷
具备高性能和可用性的 PB 级企业级存储使 FAS6200 系列能够满足最苛刻的业务应用 和技术应用，以及整合的虚拟环境。 FAS6200 系列体系结构旨在为实现高性能而 设计，其中FAS6280 系统有 24 个核、192 GB 内存，以充分利用 64 位 Data ONTAP 8
48
最大适配器数
双 10 GbE（光纤或铜质）
16
16
重复数据删除技术详解(一)
重复数据删除技术详解（一）在之前的文章“备份系统中的常见功能特性”中简单介绍了下重复数据删除的概念，本文就重复数据删除（也叫数据去重）技术进行深入讲解。
概述重复数据删除（后文简称“重删”）是灾备系统中非常重要的一项能力，它通过删除数据集中的重复数据达到缩减数据量的效果，以此满足日益增长的数据存储需求。
重复数据删除技术在灾备系统中应用十分广泛，当然这项技术本身也不仅仅用于灾备系统，同样应用于存储系统、数据传输和同步、论文查重等场景。
其带来的主要优势包括：•降低数据存储量，节省空间。
•降低网络数据传输量，节省带宽。
•提升存储效率。
•减小备份窗口。
重删基本原理重删的基本原理是通过某种算法计算出数据集中的某部分数据的hash值，以此hash值作为此部分数据的唯一标识（因此也称作指纹）。
当某两部分数据的hash值（指纹）相同时，我们就认为这两部分数据是一致的。
注意：需要尽量确保hash值的唯一性，避免hash值碰撞（即2个不同数据的hash值一致）。
一些厂商为了避免此种情况，可能会采用2种hash算法来确保数据的唯一性。
某些场景下，为了提升效率，还会同时使用强hash和弱hash。
弱hash的计算速度快，但碰撞率高，用于快速找到不同的数据块；强hash的计算速度慢，但碰撞率低（约等于0）。
当2个数据块的弱hash值相同时，会再进行一次强hash值的校验，以此确定数据块内容是否一致。
因为需要对数据进行指纹计算和存储，所以使用重删技术都会需要用到指纹库。
除了指纹库之外，其实还需要记录原数据与实际存储数据之间的映射关系，此种关系一般称为索引信息，有的也叫做元数据信息，元数据信息本文中就不做过多介绍了。
那么如何衡量重复数据删除技术的好坏呢？主要通过两个指标：重复数据删除率和性能。
其中，重复数据删除率（后面简称“重删率”）很大一部分情况下依赖于数据自身的特征。
一般来讲，有固定格式、变化频率低的数据重删率高。
此外，数据量越大，重删率越高；数据切片越小，重删率越高。
NetApp 备份和恢复
磁带仍很重要
– 超过 90% 的公司 会继续使用磁带
© 2008 NetApp。保留所有权利。
4
NetApp 备份和恢复价值
提高备份速度以处理窗口
进行快速、可靠的恢复以保持业务连续性
进行简单的部署和管理，以降低操作成本
通过数据重复删除和磁带基础结构优化来实现高效率，从而降低容量 和电源消耗
© 2008 NetApp。保留所有权利。
9
完全适应现有环境
主数据中心 离站
更快 备份
更快 恢复
更快 备份
更快 恢复
App 服务器
虚拟基础结构
离站长期存储
备份 服务器
磁带 库
NetApp® VTL
完全集成 更高效率
© 2008 NetApp。保留所有权利。
10
效率：重复数据删除仅仅是开始
重复数据删除 – 风险降低 95%
备份时间减少了 98%：从 16 小时缩减为 15 分钟 为远程备份节省了 $400k 的成本 在操作方面每年节省 500 人工小时
通过 VMware® 重新架构的备份 每日备份时间从 96 小时缩减为 30 分钟 备份基础结构中剩余 0 个磁带加载器 回收了 225 吨的装备（包括磁带库）
利用生产重复数据删除
提高存储效率
© 2008 NetApp。保留所有权利。
16
综合的基于复制的备份
主数据中心 远程
对数据执行重复数据删除 以提高空间利用率 集中管理 在线、频繁、无服务器的 备份 应用程序一致的备份 永远增量备份
Snapshot™ 副本
SnapVault® WAN SnapMirror® NetApp® DataFort Lifetime Key Management™ 磁带或 VTL Protection Manager 集中备份
重复数据删除+VMwareDR=提高成本效益
重复数据删除＋ＶＭｗａｒｅＤＲ＝提高成本效益随着存储技术的快速普及，越来越多的企业用户开始意识到：从物理服务器转变为整合的虚拟化基础设施将具有不可否认的IT优势。
但是，快速迁移到VMwa re使灾难恢复(DR)的传统方法已经过时了，而且会增加DR实施的复杂性，因此人们又开始寻求新的方式。
用于VMware Virtual Infrastructure 3(v13)的DR要求你的所有VM(虚拟机)都需要定期复制到远程站点，从而消耗了大量的存储和网络带宽。
而我们则尝试通过在VMware主存储系统上使用NetApp重复数据删除，来最大限度地减少你的主存储环境中的数据量。
数据量的减少会使得你的下游基础设施的优势不断加强，从而减少复制所需的带宽以及DR站点上所需的存储。
使用重复数据删除所节约的成本可以使DR在成本可能会受到控制的情况下变得切实可行。
例如，有个企业曾报告在重复删除其VMwa re Virtual DesktopInfrastructure(VDI)环境之后，为其桌面提供DR所需的存储和带宽变得很少了，并且为其VDI环境和V13环境添加DR切实可行。
在本文中，我将探讨通过VMwareDR实施重复数据删除所需要采取的措施。
我还将讨论利用你的DR环境中的复制数据用于DR测试及其它目的的情况。
在主VMWare环境中实施重复数据删除由于VMware环境中的每个虚拟机都要求为其操作系统采用专用的存储，因此会出现大量的重复数据。
你可能有很多VM 安装了同一个操作系统和应用程序。
如果100个VM运行同一个操作系统，且每个虚拟机需要10GB至20GB的存储空间，即1TB至2TB的存储空间专用于同一数据的几乎相同的拷贝。
应用重复数据删除可以有效消除此冗余。
概括地说，如果将x个虚拟机指定给一个存储卷，在重复数据删除后，你所需的操作系统存储空间量将是非重复数据删除环境下所需存储空间量的1／x。
很显然，所获得的实际结果将取决于卷中有多少个VM和这些VM相似程度。
NetApp FAS2000 系列(中文)
* ࣙ乘䜡㕂ⱘ FAS2020 ㋏㒳ϞDŽ 图 1) 附带的软件和可选软件包。
快速应对变化
为帮助您的数据存储基础架构适应业务增长 的需求，我们提供：
• 更高水平的性能来支持要求最为苛刻的 应用
• 全新集成的 SAS 连接功能，可根据需要 提供最大 136TB 的容量来支持您的所有 工作负荷
借助广泛的内置软件和可选软件，您可以：
全新简化的产品结构不仅让您以具有吸引力 的价格灵活订购预配置系统（包括高容量驱 动器），而且也可以通过订购按订单配置的 系统（允许您选择驱动器数量、类型和容 量）来定制您的配置。
易于购置、部署和管理
您无需成为存储专家即可购置、部署和管理 FAS2000 存储系统，并使 NetApp 存储基础 架构符合您的业务要求。
NetApp 深圳 深圳市福田区中心四路 1 号嘉里 建设广场 2 座 15 楼 19、31 室 邮编：518048 电话：86-755-33043191 传真：86-755-33043193
/cn/
© 版权所有 2009 NetApp, Inc. 保留所有权利。未经 NetApp Inc. 事
• 易于扩展，能够处理多个工作负荷和 Windows 应用程序
• 以易于订购的预配置系统（包括高容量驱 动器）形式提供
* FAS2000 软件包提供了添加功能强大的数 据管理软件许可证的简单方法。有关详细 信息，请参见 FAS2000 软件包数据表。
** 有关详细信息，请参见 System Manager 数据表。
为您工作繁重的 IT 员工减轻负担 不需要太多的存储专业知识，就能利用 全套管理工具来优化性能和管理系统运 行状况。
降低成本 降低入门级存储系统的总体拥有成本。
配置NetApp重复数据删除时最常见的四个错误
配置 NetApp重复数据删除时最常见的四个错误作为现场工程师，我需要与各行各业的客户打交道。
当我向客户谈到我所看到的生产环境 VMware 负载的重复数据删除率通常保持在 60％ 到 70％时，他们经常表示怀疑。
我会得到这样的回答：“但是我们的 VM 负载不是这样的”，然后是“眼见为实”。
我偶尔也会碰到一些我喜欢的回答：“你们的竞争对手不是这样告诉我的，我要亲眼看到才相信。
”事实往往是：当客户进行了概念验证或直接购买了我们的产品并开始实施时，他们在自己的 VMware 环境中看到的真真切切就是他们所希望看到的空间节省。
最近，我的一个客户将 600 多台 VM 从使用着 11.9TB 磁盘的现有阵列迁移到了一个新的 NetApp 阵列上。
这些 VM 上有不同的应用程序、操作系统类型和配置，通过重复数据删除，其容量降低为 3.2TB，实现了高达 73％ 的节省。
不过，偶尔客户会打电话跟我说：“嘿，我只有 5％的重复数据删除率！怎么办？”这些较低的重复数据删除率几乎总是因为以下某个重复数据删除配置错误造成的。
配置错误 ＃1 —— 没有立即启动重复数据删除（或者忘记 - s 或扫描选项）Dedupe 博士最近在博客上指出，NetApp 建议对所有的 VMware 负载进行重复数据删除。
你可能已经注意到，如果你将我们的虚拟存储控制台 (VSC) 插件用于 vCenter，那么使用该插件创建 VMware 数据存储时会导致启动重复数据删除。
我们建议立即启用重复数据删除功能，这里面有很多原因，但以下是最主要的原因：在 NetApp 卷上启用重复数据删除 (ASIS) 后，控制器将跟踪写入该卷的新数据块。
然后，在定期删除重复数据的期间，控制器会查看这些新的数据块并消除所有重复数据。
但是，如果在启用重复数据删除之前你的卷里已经有一些 VM 呢？除非你明确地指示 NetApp 去扫描现有的数据，否则 NetApp 根本不会检查那些 VM 或是对其执行重复数据删除！这最终导致了很低的重复数据删除率。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
16
A-SIS Deduplication: 命令
授权激活
– license add <a_sis>
启动
– sis on <vol>
重复项处理已存在的数据
– sis start -s <vol>
规划何时进行 deduplicate 或是手动
– sis config [-s schedule] <vol> – sis start <vol>
Original Data Deduplicated Data New Data
Actual Storage Consumed
基于时间的重复项扫描 从若干个备份拷贝中去除重复项 空间节省率随者时间的推移而提 高 每次备份结束运行Deduplication 重复项扫描 节省可见空间率: 20:1甚至更多
Volume Deduplication
Original Data Volume Duplicates Identified And Removed Actual Storage Consumed
卷的重复项扫描 在单一的卷中去除重复的数据 适用于归档和压力不大的主存储 系统 Deduplication周期性地基于变化 进行重复项扫描 节省体现为全卷的百分比
排序
Path /vol/vol5
State Enabled
Status Progress Active 25 MB Searched
e Enabled
Status Progress Active 40MB (20%) done
核验
Path /vol/vol5
业界第一个普遍意义的重复数据删除技术 到2008年5月，已经安装了~6,600 个许可
– 系统总容量约 185PB – 平均空间节省达 30%
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
2
支持Deduplication的FAS系统 的 支持 系统
应用透明的重复项合并 显著的容量节省：
– 备份数据 – 归档数据 – 访问压力不大的主数据
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 7
实现的技术：WAFL 数据块共享
Deduplication 在 WAFL 文件系统树中实现数据块共享 一个单独的数据块可被索引 256 次
Update Inode
qsort
qsort ... qsort Duplicate Merge Sort Entry File Block Ref Count File
Deduplicating
Sorting
Fingerprint File
© 2008 NetApp. All rights reserved.
Fingerprint File
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 9
A-SIS Deduplication: How it really works!
Block Write Log New FPs
空间节省变化基于你的数据类型 NetApp 空间节省估算工具用于 POC 的测试
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%
Tag line, tag line
NetApp 重复数据删除技术
NetApp Deduplication History
NetApp Deduplication for FAS:
以前的名称 “A-SIS deduplication” Supports R200, FAS2000, FAS3000, and FAS6000 注：最小支持版本 7.2.4
Initialization (only necessary on pre-existing volume)
Block Write Log New FPs
Change Log File Change Log File
Gather Gatherer File
qsort
qsort ... qsort Merge Sort
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
6
Deduplication “数据块级 重复项合并 数据块级” 数据块级
原始数 据文件 重复数据 块确认 重复数据 块移除
(在字节级校验后)
对于应用和用户来 说文件没有任 何变化
NetApp Confidential -- Do Not Distribute 14
A-SIS Deduplication: How it really works!
Initialization (only necessary on pre-existing volume
Block Write Log New FPs
A-SIS Deduplication: How it really works!
Block Write Log New FPs
Change Log File Change Log File
Byte-by-Byte Compare Increment and decrement Block Ref. Count File Update new inode
Sort by Inode
Update Inode
qsort
qsort ... qsort Duplicate Merge Sort Entry File Block Ref Count File
Fingerprint File
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 13
NetApp Confidential -- Do Not Distribute
3
为什么需要 Deduplication for FAS? 降低存储成本
FC – Based Systems
$/GBeffective
SATA – Based Systems RAID-DP
Primary (FC) Primary & NearStore (SATA) Dedupe Space Savings “Other” Space Savings
A-SIS Deduplication Upcoming Features
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
4
Deduplication for FAS
高级单一实例存储
– 数据块级重复识别
INODE 1
INODE 2
IND
IND
IND
IND
DATA
DATA
DATA
DATA
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
8
A-SIS Deduplication: How it really works!
A-SIS Deduplication: How it really works!
Block Write Log New FPs
Change Log File Change Log File
Fingerprint File
© 2008 NetApp. All rights reserved.
SIS Check
Change Log File Change Log File
Byte-by-Byte Compare Increment and decrement Block Ref. Count File Update new inode
Sort by Inode
Update Inode
qsort
qsort ... qsort Duplicate Merge Sort Entry File Block Ref Count File
State Enabled OR
Status Progress Active 30MB Verified
/vol/vol5
Enabled
Active
10% Merged
© 2008 NetApp. All rights reserved.
NetApp Confidential -- Do Not Distribute
检查状态
– sis status [-l] <vol>
检查节省的空间!
– df –s <vol>
© 2008 NetApp. All rights reserved. NetApp Confidential -- Do Not Distribute 17
A-SIS Deduplication 空间节省
Change Log File Change Log File
Gather Gatherer File
Gathering
Byte-by-Byte Compare Increment and decrement Block Ref. Count File Update new inode