Brian Peterson是Forsythe Technology的存储架构师,专门从事存储策略和成本优化的研究。Peterson在IT界的供货方和客户方都曾工作过。
在2007年的网络存储大会上,IBM负责系统存储的总经理Andy Monshaw在他的主题演讲中表示:"2005年以前,数据还是可以预测的,并且你可以判断存储容量在未来数年的增长情况。"由于数据的急剧增长,合规报告的增加,以及复杂的数据需求(比如纵向数据挖掘),存储需求开始螺旋式上升。
在21世纪的头几年,通过逐步改进,比如更好的维护合同和容量使用率,IT管理员获得了成本与操作上的好处。从2005年开始,急剧增长的数据使得成本削减更加困难,并推动管理员采用服务器虚拟化和桌面虚拟化。
服务器--存储缺口
服务器虚拟化让一个物理服务器可以被多个虚拟机(VM)所使用,每个虚拟机都有自己的20GB操作系统和自己的存储空间、备份需求以及存储I/O。随着更多的VM服务于更多用户所调出的更多的应用程序并进行更多的I/O密集型进程,虚拟服务器也开始变得慢起来。
改进后的自动化配置系统使得新VM的部署更加容易,可以几分钟之内完成。Gartner Group的《2009年企业存储主要问题》报告中指出,由于"服务器虚拟化移动性工具要求共享的存储,许多企业第一次开始部署SAN和NAS,因此存储适配器突然间变成了应用程序性能的瓶颈,而传统的备份手段也变得尤其问题多多。"其他的结果还包括:
存储网络空间的大量消耗;
对旧存储网络的压力;
备份数据大量增加;
经常需要增加存储;
存储架构、存储管理和数据复制的复杂性增加。
服务器虚拟化让我们把存储于每台服务器中低成本磁盘驱动器的操作系统数据迁移到SAN(或NAS)环境,从每GB存储成本来说,后者往往更加昂贵。VM的存储可以带来--在许多情况下已经带来--非常高昂的成本。由于维持存储的生命周期成本基本上是购买成本的七倍,因此非常有必要采用新技术来优化虚拟服务器环境中的存储。
重新寻找平衡
虚拟服务器环境中良好管理的SAN(或NAS)存储设置可以降低数据存储成本,提高性能,或简化操作。像往常一样,你可以在"更便宜--更好--更快"这个三角中选择两个方面进行优化,但是不能同时优化所有三个方面。市场上也没有单一的"灵丹妙药"。
本文比较了VM存储管理的六个技术,并检验了哪些方式--或方式的组合--可以更好的应对各种数据管理挑战。
一个虚拟化服务器环境要求服务器、网络和存储团队齐心协力。这些团队可能某种程度上倾向于各干各的,但是要构建一个均衡的服务器-存储策略,每个团队都必须理解其他人的优先任务、流程和要求。将存储规划与虚拟服务器需求整合起来可以使组织更加高效地支持数据增长、成本控制和性能上的要求。
下面每个存储解决方案都可以节约存储,但是没有一个是完美的:
对VM OS镜像进行重复数据删除。将几乎相同的OS镜像予以重复数据删除可以大幅减少空间要求。
实施VM分层存储。根据数据变动性、优先级和访问频率,将不同的数据类型指定到合适的存储层。
合并SAN。通过本文所描述的几种方法优化SAN存储。
通过使用针对VM的NFS(网络文件系统)并使用重复数据删除来简化管理。
从快照进行配置。把VM当做完整大小OS镜像"黄金副本"的空间优化快照进行部署,可以在几个完整OS镜像的空间内存储下很多VM。
对备份进行重复数据删除。备份重复数据删除在虚拟服务器环境下可以带来特殊好处。
对OS镜像进行重复数据删除
在虚拟化环境下,每个OS镜像中80-90%的内容都是相同的。例如,每个用户的Windows开始画面都是一样的,只有系统信息,比如主机名称和注册表数据,可能会不一样。此外,OS镜像不会明显影响磁盘I/O性能。一些厂商现在在提供针对主存储的重复数据删除功能,这样OS镜像所占用的空间可以有效减少70%左右,同时还不会对性能产生明显影响。一家主要存储厂商保证OS重复数据删除最少可以节约50%的存储空间。
对VM存储的重复数据删除正变得越来越普遍。举例:一家大型保险公司拥有400TB的主存储,并且有200个快速增长中的虚拟服务器,每个虚拟服务器有20GB或更大的OS镜像。通过对VM OS镜像进行重复数据删除,优化SAN,对VM备份进行重复数据删除,这家公司预计未来三年可以节约至少75万美元的成本。
使用存储分层
服务器管理员不仅应该告诉存储团队需要多少新存储,而且应该告诉他们应该把哪种类型的数据放在哪种类型的存储上。存储团队可以设置分开的存储池,这样更加静态的和访问频率更少的数据(比如,OS镜像)可以放在速度比较慢的第三层存储(例如,SATA磁盘)--这个存储层的成本往往比第一层存储的成本低五到七倍。访问频率更高的数据,比如应用程序,可以放在第二层存储。最快、最昂贵的第一层存储应该保留给那些最容易变动的页面文件和数据库。
需要指出的是,一些虚拟化组件,比如VMware Site Recovery Manager(SRM:站点恢复管理器),目前要求恢复单一VM所需的所有数据都应该在单个ESX存储池。基于阵列的分层工具(比如,Compellent、EMC和日立数据系统的工具)。
举例:一家金融服务公司拥有超过300TB的存储和庞大的VM环境。这家公司将操作系统放在廉价的第三层存储,将经常使用的、容易变动的应用程序和用户数据分配在更加昂贵的第二层和第一层存储。该公司超过70%的存储迁移到第三层存储。比起原来承载所有VM数据的第一层存储,第三层存储的成本要低75%。
合并存储网络
大型光纤通道SAN曾经要支持成百上千台物理服务器,并增长到每个光纤架构需要12个以上的交换机。现在,VM服务器可以按照10:1、15:1甚至20:1的比例合并客户端,使用带宽更高、速度更快的数据通道,加上数量上更少的端口,创造出更加扁平更加快速的SAN。现在可以再次使用上世纪90年代末简单的双导向器SAN架构,甚至在中型企业也可以这么做。由于一个SAN现在可以支持高达8Gb/秒的带宽,因此性能也有所提升。
一些虚拟化管理产品(例如,VMware ESX 3.x)不支持存储多路径负载均衡,因此一次只能支持一条I/O通道。现在的VMware ESX 4.x可以让第三方多路径软件(比如EMC的PowerPath VE)同时使用多条I/O通路。这可以将端口数或者每端口带宽要求减少50%或更多--可能可以将成本减少一半。高性能端口可能成本更高,但是现在需要的数量可以变少。
另一个解决方法,N端口虚拟化(NPIV)可以让单个HBA(主机总线适配器)支持多个虚拟主机总线适配器(vHBA)。每个子OS可以在SAN中有一个独一无二的ID,从而提高了可靠性和安全性。存储管理员可以使用现有工具来监视从虚拟服务器到存储阵列的SAN流程,从而帮助进行故障排查、I/O映射和容量规划等任务。
考虑NAS
虚拟化存储也可以通过NAS设备上的NFS来进行,不必使用带VMware工具的基于FC(光纤通道)或iSCSI(互联网小型计算机系统接口)的SAN。对于虚拟服务器来说,NAS设备拥有现成的可以使用的文件系统,从而排除了对基于服务器的文件系统(比如VMFS:虚拟机文件系统)的需要。尽管相对于SAN来说,NAS比较慢且安全性较差,但是NAS也有自己的明显优势。如果正确部署并使用独立的VLAN(虚拟局域网)和多个Gb级以太网连接或更快的10Gb/秒以太网连接,NAS至少在速度和安全性上可以和更加复杂且昂贵的光纤通道SAN相媲美。
NAS的优点包括:
对VM服务器OS的重复数据删除功能内置在一些厂商的NAS设备中(例如EMC的Celerra和NetApp的FAS)。这种功能可以有效减少存储要求。
可以使用现有的低成本的1Gb/秒和10Gb/秒以太网,无需使用复杂而昂贵的光纤通道SAN。
NAS更加容易管理。例如,存储管理员在扩展虚拟服务器上NAS存储的时候无需进行主机系统操作,而SAN的扩展需要扩展LUN(逻辑单元号)或在服务器上创建更多的LUN,然后扩展文件系统和进行主机端的其他修改。
NAS部署需要一些最佳实践指导,并注意一些事项:
不要长距离使用NAS,延迟性可能会随着距离的增加而变得明显。
使用UDP(用户数据包协议)上的NFS v3(3.0版本的网络文件系统)和较大的帧,以便获得最佳性能。
考虑使用一个孤立的VLAN来获得更好的安全性和传输独立性。
VMware SRM对NAS提供有限的支持。注意你的版本。
举例:一家医疗组织拥有200TB以上的光纤通道主存储,在NAS上部署了VMware来简化管理和对操作系统进行重复数据删除。这家组织大幅减少了虚拟服务器的SAN连接成本,简化了后续管理,并减少了VM对存储容量的要求。
从快照进行配置
通过向VM服务器提供针对完全大小"完美OS镜像"的快照(可写入的且空间优化的),使用基于阵列的快照OS镜像,新的VM可以得到快速而经济的配置。组织可以快速回应新的VM需求,同时节约大量的磁盘空间。对基于快照的镜像的更新被写入单独的地址,通常被称为"save-vol"或"snap reserve"。每个OS镜像都可以单独更新并保持自己的特征。许多个密集的子OS快照所占用的空间将只有几个完整卷副本那么大。
重要的最佳实践指导包括:
将页面文件存储在第一层或第二层存储上,而不要放在基于快照的C:驱动器上。这是因为页面文件会持续变动或经常被使用并消耗大量可变空间。
快照要求每个子VM有独一无二的裸卷或单独的NFS卷。OS对黄金镜像的补丁不是自动打到副本上的。可以采用的解决方案包括:
分别将补丁应用到每个基于快照的OS实例上。这比较容易,但是缺少空间效率,因为它增加了系统所需的save-vol空间。
给黄金镜像加补丁,然后将所有OS实例都用新的快照重新部署一遍。然后从备份中恢复系统状态信息(注册表,程序文件,主机名称等)。这要比第一个方法难许多,但是保证了标准的OS以及其安全性,并能够控制补丁所带来的存储增加。
OS镜像的快照部署可以带来良好的经济效益。例如,存储100个完全大小的典型的20GB OS镜像副本需要2TB的存储。如果单位成本是20美元/GB,那么总的购置成本大约在4万美元左右。使用快照镜像后,用户可以将存储要求压缩20倍。同样的100个副本,通过快照部署后,可能只占用100GB的磁盘空间,只需要2000美元的购置成本。
举例:一家大型出版公司拥有300TB的主存储。该公司充分利用阵列快照的速度性、经济性、灵活性和空间节约性,利用阵列快照来为站外的内容生产者和开发者提供OS镜像。由于这家公司的员工人数随着出版业务量的变化而增减,因此这种OS部署可以让他们快速而灵活地配置VDI(虚拟桌面基础架构)桌面。
对备份存储的重复数据删除
VM镜像数据的高度重复性意味着镜像重复数据删除可以将备份存储节约至多95%。对备份数据的重复数据删除可以提供良好的投资回报。VM环境下有两种备份重复数据删除方法可以使用:
基于主机端的备份重复数据删除(比如,EMC的Avamar或赛门铁克的PureDisk)替代原有备份软件。主机端的重复数据删除消耗更少的网络带宽。
基于目标端的重复数据删除(比如Diligent Technologies的产品,EMC的Data Domain事业部的产品,NetApp和Quantum的产品)便于部署,而且可以很好地和现有备份软件协同工作,但是不能减少网络带宽的负担。
虽然标准的磁带备份要比基于磁盘的备份或VTL(虚拟磁带库)备份便宜许多,但是随着重复数据删除率接近100:1,对同样容量的存储进行重复数据删除所需要购买的磁盘的成本已经接近于自动化磁带。举个例子,利用200美元/TB的LTO-4磁带,备份100TB的VM数据,购置成本是2万美元左右。我们假设重复数据删除磁盘在压缩前的单位成本是1万美元/TB。如果压缩比率是25:1,那么磁盘购置成本是10万美元--远高于磁带。如果压缩比率是100:1,磁盘购置成本降到2.5万美元--几乎和磁带一样。
磁盘相对磁带还有其他优势:
用户可以针对灾难恢复进行具备高成本经济性的备份复制;
在电能、空间和冷却要求上的环境节约;
远程复制上的带宽节约;
相对于磁带管理的诸多问题,磁盘管理方便许多;
磁盘在SLA(服务水平协议)和恢复速度上优于磁带备份,因此可以大幅减少商业风险。
备份重复数据删除非常流行。例如:一家大型地区银行组织有超过200TB的磁盘主存储,还要支持300到400个VM服务器。通过基于来源端的对VM数据的备份重复数据删除,该组织几乎可以不必再用旧的备份存储系统、软件和维护操作,同时改善了本地恢复能力和灾难恢复能力。 |