人类各项发明、创新,大多都是为了更加的高效、方便、灵活,并且节省成本。例如,从种植业、畜牧业的出现,到蒸汽机的发明,到自来水、集中供电的出现,再到互联网的出现(信息传递更快更高效,更省成本),无一不是如此。
IT也不例外,以企业级存储为例,近10年来逐渐出现的自动分级、去重、压缩也是为了更高效地使用存储资源,更节省成本。而最近两三年,软件定义存储的出现,依然是为了这个需求。
伴随着需求,还有两大背景:
一是,随着个性化、物联网、万联网的发展,数据以前所未有的速度迅猛增长,数据的存放、管理、优化、利用成为难题,用户面临着如下挑战:
存储利用率低,数据僵化在某些硬件组件里,难以提供随需动态变化的服务等级,缺乏精确的控制,部署和调整存储资源需要经过复杂的流程(例如需要应用管理员与存储管理员等进行协调),自动化程度低,对请求的响应慢……。
二是,虚拟化、云计算和硬件技术的发展,使得软件定义成为可能;在此之前,存储用户也希望更加高效、简单、灵活,且成本较低,但十年前,SSD和高速网络尚未出现或发展不够,分布式存储难以堪当重任;彼时虚拟化云计算还未出现或者尚未成熟,从存储中调用控制信息给前端应用或OS使用,去实现灵活敏捷的存储资源的部署,在那时还不是那么迫切。
随着虚拟化和云计算的普及,用户的思维方式也发生了转变,逐渐意识到,快速、敏捷、灵活地获取计算资源已经成为可能,并且逐渐要求能按需使用,按需付费。因此,做为虚拟化和云计算里重要的组成部分,存储也应适应新的需求而不断完善。
下面围绕这这两大背景展开阐述:
我们先来看一下,在物联网、万联网(IoT,Internet of Things)的伴随下,未来数字宇宙的惊人变化。
我们知道:
KB= 210 xByte ;
MB=210 xKB ;
GB=210 xMB ;
TB=210 xGB ;
PB=210 xTB ;
EB=210 xPB ;
ZB=210 xEB ;
IDC在2012年预计,到2020年数字宇宙规模将超出其在2011年的预期,达到40ZB,如下图所示。
40ZB到底有多大呢?假设地球人口按照73亿计算,40ZB相当于地球上人均5600GB以上的数据。
2014年4月,IDC发现数据的增长超过其在2012年的预期,预计2020年将达44ZB的数据量,比2012年的预估增加了10%。
有趣的是,在整个全球的数字宇宙中,2017年新兴市场(Emerging Markets)的数据所占全球数据的百分比,将首次超过成熟市场(Mature Markets,也即指发达国家和地区)。
BTW,关心大数据的朋友,可以去文章最后给出的索引链接查看,会发现被标记被分析的数据量,将从2013年的22%提升到35%。
预计,2014~2020的6年里,IT从业人员仅仅增长到1.285倍。平均每个IT人员管理的数据量从230GB增加到1231GB,5倍多!
这是好消息?因为,IT人员将普遍受欢迎;
还是坏消息?因为,IT人员会非常忙;
因此,作为数字的载体- 存储,变得日益重要。对于IT人员而言,他们对于存储的诸多要求中,简单易用也变得日益重要。
可以看出,过去十多年甚至二十多年里,数据的增长速度在很多时候超越了摩尔定律(半导体芯片上集成的晶体管将每一两年翻一番)。
从硬盘厂商希捷的一份报告可以发现:在企业级SSD普及以前,存放数据的盘,无论性能还是容量,与CPU、内存比较,都发展得异常缓慢。以1987-2004年为例,17年间,CPU和内存的性能提升了200万倍!而磁盘仅仅提升了11倍!
二三十年前,CPU的处理能力较弱,内存较小,单块磁盘的性能和容量都较小。为了不抢占宝贵的CPU和内存资源,也为了提高数据的性能、可靠性(如RAID保护)、可用性(如快照,容灾,双活等)、扩展性,以及提供方便易用的集中管理,诞生了外置磁盘阵列(也叫集中存储),阵列本身自带智能控制器,能够组织管理数据,并提供快照、容灾等高级的软件功能。有些高端存储甚至能在一个单一阵列里提供1000乃至数千块盘,如EMC VMAX,HDS VSP和华为OceanStor等。
然而,近几年来,新的技术显著地改变了存储架构。包括:
1、SSD:延时从磁盘的毫秒级缩短到亚毫秒级(0.1毫秒),性能从单块15K磁盘的180左右IOPS,猛增到单块SSD的8000 IOPS(外置磁盘阵列),甚至到单块SSD的36000IOPS(内嵌在服务器里的SAS或SAT接口的SSD,或者PCIeSSD);闪存价格的下降速度比硬盘更快,根据IDC预测,两者价格曲线将于2015-2017年出现交叉,届时单位GB的SSD的价格甚至低于单位GB的15K磁盘的价格;
例如,2014-04-30,SanDisk发布世界上第一款4TB SSD,并计划2015年发布8TB,2016年发布16TB SSD;
2015年3月,SanDisk推出的InfiniFlash全闪存阵列里内置了64个单卡容量达8TB的闪存卡;同月,在美国2015OCP峰会上,来自中国的初创公司NetBric全闪存阵列也是内置了64个8TB闪存卡。如此看来,单盘SSD容量超过单盘的磁盘容量,指日可待。
可喜的是,除了国外Intel、Micron、Sandisk、SamSung、Seagate、Toshiba、HGST、Fusion-IO、Greenliant(绿芯)等SSD厂商之外,中国也涌现出不少SSD厂商,除了华为自研SSD之外,还有MemBlaze(忆恒创源)、Shannon(宝存,2015-04-24公布将被Silicon Motion公司收购)、RunCore(源科)、苏州恒成芯兴等SSD厂商;
2、SDS:Software Defined Storage,也即软件定义存储。由于各大外置磁盘阵列的存储厂商的存储控制器(包括EMC,IBM, HDS, DELL等)都已经或转向X86架构,各个部件都逐渐采用业界的标准硬件,因此硬件已经趋于同质化,存储厂商也早已开始比拼丰富的软件功能。早在数年前,许多厂商已经逐步将原来高端存储才有的功能,下移到中端甚至入门级存储。从2012年开始,以分布式存储为主的软件定义存储开始为大家所知,并将逐渐成为未来6~15年的主流。基于服务器的分布式存储又名Server SAN,它是由多个独立的服务器内嵌的磁盘或SSD池化组成的一个存储,也能提供外置磁盘阵列的功能;
Server SAN多采用类似云计算、大数据(例如Hadoop)的多副本数据存储方式,颠覆了传统外置磁盘阵列的RAID、快照、复制的数据保护方式,牺牲容量来赢得高可靠性。但是,由于Server SAN的盘的价格与原来服务器内置的普通盘毫无两样,因此单位TB的成本远低于外置磁盘阵列。
3、CPU多核技术:服务器的CPU多核早已被业务应用利用起来,尤其在虚拟化环境里,多核处理器功不可没,既提高了处理器利用率,也提高了单台服务器上用户对更多I/O的需求,这其实也驱动着底层存储需要变革。如前所述,绝大多数存储控制器采用了X86架构,但真正利用其多核处理IO,从最近三年才开始。例如,DELL Compellent Storage Center 6.3在2012年11月推出多核技术;EMC VNX 2在2013年9月推出MCx多核技术;而做为纯软件方式的存储Nexenta,也利用多核技术去实现其在线的压缩功能;正是有了多核的利用,Server SAN才能在处理业务应用之外,心有余力地去处理IO,实现丰富多彩的软件功能;
4、高速网络技术:分布式存储借助于节点之间的缓存(用SSD存放)的同步复制来确保数据的冗余性,也得益于近些年来网络的高速发展;通常推荐采用万兆网络,甚至有的采用四万兆(40GbE)的网络。目前,万兆网络的延迟非常小,大约在100微秒左右,远小于PCIe闪存的延迟1毫秒;如果采用RDMA技术,延迟能更小;
5、大容量服务器和磁盘:分布式存储借助于大容量的服务器和磁盘,也能够提供以往外置磁盘阵列才能支持大存储容量。例如,DELL PowerEdge R730XD最多16个3.5寸近线SAS盘,可支持多达近100TB的裸容量;另外,单块的机械磁盘容量也越来越大,例如,2015年03月,HGST首次向公众展示了10TB的机械硬盘;这样,不远的未来,仅凭服务器内置磁盘,即可支持100多TB的裸容量。如果SDS还支持服务器连接JBOD、直连存储来进行Scale Up(纵向扩展),容量就更大了。
6、分布式存储的技术逐渐成熟。面向对象存储的技术逐渐成熟。
7、虚拟化和云计算要求更智能的存储,能够调用其控制信息,配合上层更灵活敏捷的部署存储资源。
在这些技术的推动下,软件定义存储(包括Server SAN)已经或将逐渐普及开来。目前,在市场上,已经有很多SDS存储公司或方案,如国外的:VMware VSAN, Nutanix, HP StoreVirtual, IBM GPFS, EMC ScaleIO, NetApp Data ONTAP, Nexenta,Windows Server Storage Space, Redhat Gluster和Redhat Inktank Ceph, 飞康FreeStor Simplivity, Pivot3,Scality, Maxta,Pernixdata,Atantis, Sanbolic, Tarmin, Primary Data, DataGravity, ProphetStor等公司;
国内的SDS公司或产品,也如同雨后春笋般兴起,如:达沃时代(Daowoo)、华为FusionStorage、众志和达、赛凡(Cyphy)、大道云行、华云网际(FusionCloud)、智云创新等。
最后总结一下,为何出现软件定义存储?
简而言之,随着用户需求的变化(因为数据激增),技术的变革,软件定义存储能够提供给用户更快的性能,更高的灵活性和开放性,更强的扩展性,更简单的管理(后面的篇章会提到),更少的投入。
以Server SAN为例,从投入成本看:由于省却了外置磁盘阵列的存储控制器,存储光纤交换机,服务器HBA光纤卡,仅硬件的投入,即可降低到普通机架式服务器硬盘的价位。它将传统存储的专用硬件,转变成通用硬件,通过融合计算,存储达到降低成本的目的;
从开放性看:只要通过兼容性验证,它支持业界标准的硬件,如服务器、SSD、磁盘、IO控制器,并且能在最快时间采纳新的硬件,灵活性极高;
从扩展性看:如果分布式的存储,都能支持在线的横向扩展,能自动地在一个资源池里线性地、同时地增加计算资源和存储资源,使用户获得可预测的性能和容量。 |