网络存储技术应用项目7存储服务器(逻辑)磁盘重复数据删除的配置与管理
《网络存储技术》课程标准
网络存储技术》课程标准《网络存储技术》 是高等职业院校计算机网络技术专业均开设的 一门专业技术课程， 是高职素质教育中的重要组成部分， 本课程注重 培养高职学生的计算机应用能力， 是操作性和实践性很强的课程。
通 过学习，使学生掌握必要的网络存储技术基础知识，具备调试技能， 提高网络存储各部件的组装、设置、日常维护、维修及管理系统安装 等使用技术能力，重点培养学生的综合处理能力。
2．设计思路本课程以构建学生信息化基础核心能力、 为职业能力提供信息化 工具为出发点、打破传统的学科知识体系， 重构教学做一体式的课程， 以情境式案例为载体，逐步推进学生计算机基本能力的培养。
3．课程目标通过本课程的学习， 使学生能够掌握网络存储和虚拟化技术的基 础知识。
通过实际项目及任务，典型案例分析与实战操作为手段，培养学课程名称： 网络存储技术 课程类别：专业必修课 授课单位： 术专业信息与软件工程系 适用专业：高职高专网络技时： 40 学时分：41．写 人：盛建军 2014年 8 月审 定 人：尹光辉 课程性质生进行网络存储与虚拟化实现方案系统分析与实践实施的能力，实现高职院校学生的自主学习、工作以及完成综合任务的能力，对职业素质养成起非常重要的作用。
4.教学内容组织和编排通过对企业调研，了解到企业中与信息化相关的职业岗位，结合工作实际，根据需要掌握的基本技能，形成8个学习案例和3个综合实训项目，针对网络技术专业学生设计选修内容。
《网络存储技术》学习案例及课时分配表5.课程内容与教学要求在教学过程中，教师根据每个案例中的典型任务给学生布置任务，明确要达到的能力目标，进行知识点的引导，通过学生自己对任务的实施和讨论，教师对任务的评价，强化训练学生的操作能力，沟通能力，团队协作能力。
课程案例与工作任务和知识点之间的对应关系:任务任务一：掌握理论基础知识4术案例四：精益 求精-存储协 议及接口技案例三：万全之策-RAID 技 术盘控制系统的基础知识2. 了解衡量存储系统性能的参3.了解SATA SCS 硬盘接口和 SAS SSA FC 战术1.掌握RAID 勺基础知识和实现方案2.了解RAID 系统的硬件构成3.熟悉RAID 的技术术语4.掌握各种RAID 级别技术的实现方法5.掌握RAID 各种级别故障分析及修复方法、阵列崩溃通用处 理方案、阵列危机状态下有无 热备份盘的通用处理方案1 .了 解 SCSI 总线、Fibre Channel 及iSCSI 协议，并能将术案例五：神奇的纸张-存储的文件系统案例六：共享的资源-DAS SAN NAS技术详解iSCSI与光纤通道进行比较2.掌握SCSI总线信号、的使用状态、同步传输与异步传输及SCSI命令描述等知识1. 了解文件系统的概念和主流文件系统的特点2.熟悉NFS和CIFS网络文件系统工作原理和特点、共享文件系统特点以及存储系统与文件系统的关系1.了解存储分类、直连式存储DAS网络接入存储NAS存储区域网络SAN的基础知识，并能对DAS NAS与SAN S行分析和比较2.熟悉iSCSI SAN、iSCSI 与各类型存储方案综合评比、iSCSI、SAN及NAS的比较4案例七：有备 无患-数据容 灾、备份技术1掌握数据备份、数据复制、数据一致性、容灾方案评价指 标、备份与拷贝、归档的区别、 备份的实现方式、LAN Free 和Serverless 备份2. 了解主流备份软件和介质及备份技术新趋势任务 案例 知识点 学时任务二：掌 握虚拟化 技术 案例八：给航空公司建个虚拟平台-虚 拟化技术1.了解虚拟化技术、虚拟化存储技术2.掌握计算机虚拟化、多计算机虚拟成一台计算机、一台计算机虚拟成多台计算机的方法3.掌握数据中心应用的虚拟化技术VMware vSphere 存储阵 列的特殊虚拟应用-虚拟磁带 库、企业如何选择虚拟磁带库2供的虚拟磁盘3. VMwarevCenter 安装并建立数据中心和集群4. VMwareData Recovery 安装 配置及部署全过程6. 教学方法及手段本课程采用项目导向，任务驱动，案例引导，学生做中学，学中 教的一体化教学模式。
数据管理与储存数据归档与清理
数据管理与储存数据归档与清理在当今互联网时代，数据的管理和储存已经成为了每个人、每个组织都必须面对的重要问题。
数据的数量和种类不断增加，对数据的处理和维护也变得愈发重要。
在数据管理中，数据归档与清理是非常关键的环节，它们能够有效地提高数据存储的效率和数据利用的价值。
本文将探讨数据归档与清理的概念、意义和方法。
一、数据归档的概念与意义数据归档是指将不再频繁使用或不再需要修改的数据移除当前数据存储系统，将其存档到另外的存储介质中。
它的主要目的是为了减少当前存储系统的负担，提高存储效率，并保证数据的安全性和可访问性。
数据归档的意义在于：1. 提高存储效率：随着数据量的不断增加，存储系统的负担也越来越重。
通过数据归档，可以将不常用的数据转移到较廉价的存储介质上，释放出更多的存储空间，提高整体的存储效率。
2. 保证数据的安全性：数据归档将数据存储到不同的介质中，从而减少了因单一介质损坏或故障而导致数据丢失的风险。
同时，将归档数据与当前数据分开管理，也降低了非法访问和数据泄露的风险。
3. 提升数据可访问性：数据归档并不意味着数据不可访问，相反，合理的数据归档可以将数据存放到专门的存档系统中，以实现更加高效和快速的数据查找和检索。
二、数据归档的方法数据归档的方法有很多，根据具体的需求和数据特点选用相应的方法才能达到最佳效果。
以下列举几种常见的数据归档方法：1. 基于时间的归档：按照数据的创建时间或修改时间来划分归档级别。
将长时间未被修改的数据归档到较廉价的存储介质上，保留较新且频繁访问的数据在当前存储系统中。
2. 基于重要性的归档：根据数据的重要性和紧急程度，将不同级别的数据归档到不同层次的存储系统中。
重要性高的数据保留在当前存储系统中，而不重要的数据则归档到较低成本的介质中。
3. 基于容量的归档：根据存储系统的容量限制，将超出容量的数据归档到其他存储介质中。
这种方法适用于存储系统容量有限，而不方便扩容的情况。
网络存储技术的应用与管理
网络存储技术的应用与管理网络存储技术的应用与管理随着互联网的快速发展和信息化的普及，我们生活中产生的数据越来越多，个人和企业对于数据存储的需求也越来越大。
为了解决这个问题，网络存储技术应运而生。
本文将介绍网络存储技术的应用和管理，并讨论其在个人和企业中的重要性。
一、网络存储技术的概述网络存储技术，简称NAS（Network Attached Storage），是一种将存储设备通过网络连接到计算机网络中的技术。
它可以提供存储、备份、共享和管理数据的功能，为用户提供了方便、快捷的数据存储方式。
二、网络存储技术的应用1. 个人用户网络存储技术为个人用户提供了方便的数据存储和访问方式。
通过使用网络存储设备，个人用户可以将自己的照片、音乐、视频等文件保存在网络存储设备中，随时随地通过互联网来访问和管理这些文件。
另外，个人用户还可以通过网络存储技术来备份自己的重要数据，确保数据的安全性。
2. 企业用户对于企业用户来说，网络存储技术是一个非常重要的工具。
它可以为企业提供高效的数据共享和备份服务。
企业可以将重要的文件和数据保存在网络存储设备中，实现多人同时访问和编辑。
另外，网络存储技术还可以提供数据备份和容灾恢复的功能，确保企业数据的安全性和稳定性。
三、网络存储技术的管理网络存储技术的管理是确保系统正常运行和数据安全的基础。
以下是一些常见的网络存储技术管理方法：1. 安全管理网络存储设备是存储着重要的数据的，为了保证数据的安全性，需要进行相应的安全管理。
例如，采用密码机制进行访问控制，设置访问权限和用户权限，以及定期备份数据等。
2. 容量管理网络存储设备的容量管理是一个重要的环节。
管理员需要对存储设备中的数据进行定期的清理和整理，确保设备的正常运行和存储空间的充足。
3. 性能管理网络存储设备的性能管理是为了保证其正常运行和高效率的工作。
管理员需要监控存储设备的性能指标，例如带宽利用率、读写速度等，并根据需要进行相应的优化调整。
网络存储技术应用项目化教程 第2版 项目13 存储服务器重复数据删除
任务操作
（4）在【重复数据删除】下拉列表中选择【虚拟桌面基础结构(VDI)服务器】， 在【对早于一下是假的文件进行删除重复】保持默认数值【3】则只对创建时长 超过3天的文件进行数据删除，需要即时对文件进行重复数据删除则输入【0】， 点击【设置删除重复计划】,如图13-5所示
任务操作
(5)在弹出的【删除重复计划】选项卡中勾选【启用后台优化】和【启用吞量优 化】，并根据实际情况设置【开始时间】，如图13-6所示
任务验证
（1）在在【服务器管理器】上进入【文件和存储服务】选择【卷】，可以看到 （D:）后的【重复数据删除率】和【删除重复保存】已经发生了变化，如图137所示
任务验证
（2）右键点击【D】盘选择【配置重复数据删除】，查看删除重复配置，可以 看到已经按照项目要求进行了配置，如图13-8所示
项目13 存储服务器重复数据删除
目录
项目任务 项目相关知识 任务实施
项目任务
项目任务
Jan16公司使用一台拥有24个磁盘扩展槽的高性能服务器作为公司的网络存储 服务器（NS2），并且已经安装了Windows Server 公司网络中，公司网络拓扑如图13-1所示。
项目相关知识
知识点
重复数据删除技术 文件级与块级 优点 要求 注意事项
重复数据删除技术
Windows Server 2012的重复数据删除技术
在Windows Server 2012的重复数据删除功能中，它可以实现块级和文件级的 重复数据删除
块级 文件级
hash
Hash，把任意长度的输入通过散列算法，变换成固定长度的输出
3TB+1TB NTFS D
……
……
……
……
……
网络服务器配置与管理文件和存储服务
网络服务器配置与管理文件和存储服务
一.网络服务器配置
1.主机名定义
配置网络服务器的第一步就是定义主机名，主机名是网络服务器的逻辑名称，用于标识网络设备，且应该与路由器的DNS服务器保持一致，以便客户端能够正确识别网络服务器。
可以使用如下命令配置主机名：hostname <hostname>
2.IP地址配置
IP地址是网络通信的逻辑地址，要为网络服务器配置IP地址，可以使用以下命令：
ifconfig <interface> <address>
3.网关配置
网关是用来连接不同网络的设备，网络服务器应该被正确配置以访问其它网络。
可以使用以下命令为网络服务器配置网关：
route add default gw <gateway>
4.DNS服务器配置
DNS服务器是解析域名的服务，网络服务器应该正确配置以使用DNS 服务。
可以使用以下命令来配置DNS服务器：
nameserver <ip address>
二.文件服务器配置
1.安装文件服务器
文件服务器的安装是将文件共享到网络的第一步，可以使用安装程序或软件包管理器来安装文件服务器。
2.设置文件访问权限
安装文件服务器后，应配置文件访问权限，以设置哪些用户可以访问文件服务器中的文件。
可以通过以下方式管理文件访问权限：+设置文件夹访问权限：配置文件夹的访问权限，设置哪些用户可以访问。
(完整版)网络存储使用管理规定
网络存储使用管理规定网络存储是物流部为公司各部门提供进行网络资源存储和数据交流的公共平台，用于各部门上传和下载信息资源。
为保证网络存储的正常运行和安全使用，各部门人员在管理与使用时要遵守以下规疋：一、网络存储上传资源管理规定：1 .任何部门或个人不得进行危害网络存储系统安全或数据安全的操作。
2. 网络存储上传的信息资源要遵守国家的各项法律、法规，无反动违法内容。
3. 网络存储上传的信息资源要经过杀毒处理，不上传带毒数据或危害系统安全的数据。
4. 凡不符合要求的数据，一经查出，将不予通知，直接删除。
二、网络存储存储空间使用管理规定：1. 网络存储未对每个用户进行存储容量限制，但是由于总存储容量限制，为保证所有部门都能正常使用，原则上每个部门不超过200G2. 网络存储作为公司存储资源平台，不要长期存放大容量无用资源，应定期进行数据清理，删除不使用的资源，节省空间。
3. 当网络存储空间不足时，物流部对超出规定容量的部门进行提示，限期清理；规定期限内未作清理的，物流部有权直接删除超出部分数据。
三、网络存储管理人员管理规定1. 各部门指派专人作为网络存储管理人员。
2. 管理人员负责组织本部门人员认真学习“网络存储使用管理规定”，对于不符合规定的操作要及时处理。
3. 管理人员负责组织本部门人员进行网络存储登录和使用方法的培训。
4. 各部门人员注意访问密码的保密工作和使用安全，出现问题由个人负责。
5. 管理人员负责定期检查和清理本部门的存储资源。
6. 管理人员负责收集本部门人员使用中提出的问题，汇总后向物流部反馈。
四、“临时文件”使用管理规定1. “临时文件”文件夹是为全体人员提供的，用于临时进行数据传输的公共用户，不具有保密和存储功能。
2. 各部门人员在传输完数据后要及时删除“临时文件”文件夹下数据，不要长期储存。
3. 物流部定期对“临时文件”文件夹进行清除，不再另行通知。
4. 因个人不及时删除数据造成的数据丢失和泄密损失由个人负责。
课程标准模板教学大纲-网络存储技术
《网络存储技术》课程标准一、课程基本信息适用专业：计算机网络技术学时数：64二、课程的性质：本课程为计算机网络技术理论必修课，是以应用为主的网络工程技术类的专业课程。
课程的任务：通过本课程的学习，使学生了解存储技术在网络层面的应用，掌握服务器存储的部署和运维方法。
本课程将紧密结合实际，基于WindowsServer2012平台构建企业网络存储架构的相关技术，以企业在部署网络存储服务器为导向，实际过程中所遇到的问题以及如何解决，以一个个项目的形式循序渐进的掌握网络存储相关知识。
整个课程按照从基础到应用，从基本功能到高级功能的逻辑进行讲授，要求学生通过动手实践来掌握相关的技术操作技能。
前导课程：《计算机网络基础》、《WindowsServer操作系统管理》。
三、课程教学目标依据企业职业岗位需求和专业培养目标，确定本课程的培养目标为：（1）知识目标IT技术的发展日新月异，随着互联网、云计算、移动终端和物联网的迅猛发展，全球数据量以每两年翻倍的速度增长。
信息技术已进入以数据为中心的时代，而随着存储技术的不断发展和完善，企业的IT技术架构正在从以服务器为中心逐渐向以数据存储为中心的方向演变。
本课程以win server 2012为平台，围绕云计算基础架构工程师、系统管理员、网络工程师等岗位对企业数据中心架构与维护的能力要求，通过引入行业标准和职业岗位标准，基于企业真实案例，帮助学生快速掌握云存储技术。
（2）技能目标了解并掌握DAS、SAN、NAS等网络存储技术，通过项目背景、项目分析、相关知识等环节，并经过验证，以项目实验的方式掌握网络存储相关技能。
四、教学内容与学时分配根据《网络存储技术》项目内容，本课程根据企业实际环境共分为23个项目，加上导论共24个教学任务具体如下。
教学组织表五、课程教学实施根据工作任务与职业能力分析，以及教学组织安排，本课程采用讲授加项目教学相结合的方式，使学生达到职业能力要求。
网络存储技术试卷(有答案)
一、单项选择题1、使用串行传输方式的硬盘接口不包括( )A. SAS B。
FC C. SATA D. SCSI2、RAID6级别的RAID组的磁盘利用率（N:成员盘个数）：（)A. N/（N—2）B。
100% C. (N—2）/N D。
1/2N3、对于E—mail或者是DB应用,以下哪个RAID级别是不被推荐的：（）A. RAID10B. RAID6 C。
RAID5 D. RAID04、磁盘阵列中映射给主机使用的通用存储空间单元被称为（),它是在RAID的基础上创建的逻辑空间。
A。
LUN B。
RAID C。
硬盘 D. 磁盘阵列5、下列RAID技术无法提高读写性能的是：（)A。
RAID0 B。
RAID1 C. RAID3 D. RAID56、下列RAID技术中可以允许两块硬盘同时出现故障而仍然保证数据有效的是：（）A。
RAID3 B。
RAID4 C。
RAID5 D. RAID67、下列RAID技术中无法提高可靠性的是（）A. RAID0 B。
RAID1 C。
RAID10 D. RAID018、主机访问存储路径顺序为（）A。
文件系统-〉应用系统->卷—〉I/O子系统—〉RAID控制器->磁盘B. 应用系统—>文件系统->卷—〉I/O子系统-〉RAID控制器->磁盘C。
应用系统—>文件系统->I/O子系统-〉卷->RAID控制器—>磁盘D。
应用系统—〉文件系统->卷-〉RAID控制器—〉I/O子系统—〉磁盘9、下列RAID技术中，磁盘空间利用率最低的是（)A。
RAID1 B. RAID3 C。
RAID0 D。
RAID05 10、8个300G的硬盘做RAID 5后的容量空间为( ）A。
1200G B. 1.8T C。
2。
1T D。
2400G 11、RAID5可以保护存放在存储中的数据不会因为硬盘原因而丢失，当RAID5中的硬盘损坏后数据仍然存在,RAID5中最多可以损坏( ）块硬盘。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
网络拓扑
项目分析
• 公司员工为方便工作，经常会在不同文件夹中存放了大量的相同文件， 并且基本不整理，这直接导致存储空间被大量的重复数据占用。在网 络存储中，为解决大量的重复数据存储问题可以采用重复数据删除技 术，它可以最大限度避免重复数据占用存储空间。
– 不可逆转，无法通过hash值计算出源文件
文件级
• 对于已经存储在存储系统中的文件，会先计算出它们各自的hash值， 并将这些hash函数值组织成hash函数库，单独存储起来
• 当有新的准备存储的文件到达存储系统以后，会先计算这些新文件的 hash值，再将这些hash值与hash函数库进行比较，则可以判定文件有 无重复
• 当然，解决上述问题后，如果空间仍然不足，则需要通过在线扩容扩 展磁盘空间，确保文件服务器的正常运营。
– 如果发现hash值已经存在库中，只要将指向这个hash函数值所代表的数 据块的指针存入相应的位置即可 – 如果不在数据库中，则将实际存储到系统中，并将hash值添加到函数值 库
优点
• 重复数缩性和性能 – 可靠性和数据完整性
要求
• 作为重复数据删除候选的卷必须符合下列要求:
• 其结果是对每个文件执行磁盘内转换。文件不再作为独立的数据流进 行存储，而是替换为指向存储在通用存储位置的数据块的存根。
重复数据删除技术
Windows Server 2012的重复数据删除技术
• 在Windows Server 2012的重复数据删除功能中，它可以实现块级和 文件级的重复数据删除
项目7
存储服务器重复数据删除的配置与管理
• 重复数据删除技术
重复数据删除技术
• “重复数据删除”的目标是通过将文件分割成小的 (32-128 KB) 且 可变大小的区块、确定重复的区块，然后保持每个区块一个副本，在 更小的空间中存储更多的数据。区块的冗余副本由对单个副本的引用 所取代。此外，还会对区块进行压缩以便进一步优化空间。
– 不能是系统卷或引导卷。重复数据删除在操作系统卷上不受支持。 – 卷可为分区的 MBR 或 GPT，并且必须使用 NTFS 文件系统格式化。 – 卷可以驻留在共享存储（如光纤通道或 SAS 阵列）上，或者完全支持 iSCSI SAN 和 Microsoft 故障转移群集。群集共享卷 (CSV) 不受支持。 – 卷必须向 Windows 公开为不可移除的驱动器。 – 远程映射驱动器不受支持。
项目背景
• 为方便员工办公，公司在网络存储上建立了一个共享目录供公司各个 部门存放数据，使用一段时间后，存储管理员发现目前存储空间已经 告急。存储管理员在仔细分析磁盘空间情况后，发现在不同目录下存 放着大量的相同文件，比如：公司产品视频、产品资料等。
• 为此公司希望管理员能尽快采取措施解决存储存在的两个问题：
– 如果发现hash值已经存在库中，只要将指向这个hash函数值所代表的文 件的指针存入相应的位置即可 – 如果发现新的hash值 ，除了将文件存储起来之外，还要更新函数值库
块级
• 文件分割成固定大小的数据块，再对数据块计算hash函数值，再构造 一个函数值库
• 当有新的数据需要存储时，用每块的hash函数值与函数值库进行比较
注意事项
• 对超过以下时间的文件进行删除重复 默认3天
• 磁盘不会立即对存放的数据内容进行重复数据删除处理，这保证了数 据写入和读取的性能不会受到重复数据删除功能的影响 • 重复数据删除允许对卷中的目录或文件类型进行排除，被排除的文件 类型和目录将不会进行该功能的处理
• 应用重复数据删除功能的前提：应用本身会有很多重复的数据，否则 由于过多存储了文件的hash函数值，会导致存储性能下降。
– 块级：如果磁盘的多个区块存放着相同的数据，则存储只需存放一份。 – 文件级：如果磁盘中存放着多个相同的文件（哈希值相同），则存储只 需存放一份。
hash
• Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任 意长度的输入（又叫做预映射， pre-image），通过散列算法，变换 成固定长度的输出，该输出就是散列值。
可能遇到的问题
• 在基于块的备份解决方案中，例如磁盘映像备份的方式，备份将会保 留所有的重复数据删除的数据。
• 一般情况下，基于文件的备份解决方案中，他们将不会保留重复数据 删除的数据，除非它们是重复数据删除感知的。它们将以没有重复数 据删除的形式备份一切。这意味着需要准备更大的备份媒介才能存放 这些数据。 • Windows Server Backup解决方案是重复数据删除感知的，而其它第 三方产品需要预先进行测试是否被支持。