大数据时代得有什么样的存储
2013中国大会在北京召开,大数据成为备受关注的核心话题,来自国际、国内的存储专家和IT分析师从各个角度阐释了大数据和云计算新的发展趋势及其对IT基础架构的影响。众多专家认为,大数据时代的存储,应当是分布式的存储,并呈现出与计算融合的趋势。当然,不同专家对融合的理解也有所区别。
SNIA-China技术委员会主席雷涛表示,在当前的大数据时代,由于数据量TB、PB级的急剧膨胀,传统的数据搬移工作已经不现实,因而存储服务器出现新的融合趋势。在这样的架构中,数据不再移动,写入以后分散在STORAGE,它的计算节点融合在数据旁边的CPU,数据越来越贴近计算。
雷涛补充说,大数据只谈商业分析的数据支持,这是小数据思维,从金融、运营商、政府行业我们做的项目里面发现,大数据是嵌入到整个行业里面,替换以前的存储和计算的系统架构的过程。
华为存储产品线Marketing部长经宁认为,大数据带来的三大变化,包括从集中式走向分布式,从水平走向纵向,从计算为中心转向以数据为中心,总结一句话,即在大数据下架构方向走向分布式存储的架构。
2013年,华为存储产品线把理念进行升级,变成“存以致用,融以致远”。经宁表示,融合架构是我们面对大数据挑战一个很好的选择。华为更多的希望把数据智能用起来产生价值,通过融合架构实现计算存储融合,可以带来更高的管理效率更高效能,大大降低我们管理上的开销。
中桥国际调研咨询公司首席分析师王丛女士则从虚拟化、云计算数据保护和融合架构三个维度谈了中国数据中心的发展变化。她表示,具有高可移动性的虚拟机用于生产,掉了链子就很难判断是哪个物理环境,这就驱动了融合架构。融合架构避免了整合的时间和网络问题判断的时间,能够实现统一集中透明管理,可以根据工作负载去实时动态配置资源,也可以实时监控哪里出了问题,怎么解决问题。
王丛还指出,融合架构有不同的形态,其中一种是在原来硬件基础上用一个软件罩上,然后形成融合架构,实现目的是可以在线扩展,所有动态可以负载均衡,在最大限度提高部署效率前提下,又能够降低因为硬件问题而导致的应用性能降低和应用的不稳定。
老牌存储厂商NetApp同样对存储架构很有体会。NetApp公司北方区及电信事业部技术总监刘炜表示,在今天把数据存起来不是很难的问题,买一个移动硬盘就可以存储数据,但是在上面存储享受的服务级别不同的,不同于放在数据中心和网络云上面的服务级别的。
为了不让数据成为整个企业发展的负担,而是成为真正的价值点,从资料变成资产,基础架构需要快速、安全地支持一些新的技术手段。刘炜认为,应用级别和服务级别怎么定义需要有很好存储架构。NetApp集群存储系统,并不是简单地迎合新概念,而是面向实际的应用设计。NetApp做了很多IT架构的设计,满足应用分级、资源分层的需求,你可以用虚拟化,也可以不用。
Fusion-io大中国区技术总监Tonny Ai与英特尔公司通信和存储基础架构事业部存储部市场总监 Christine M Rice女士谈到了SSD在大数据时代数据中心的应用。Tonny Ai表示,让包括非结构化数据的大量数据快速变成信息,不仅仅是服务器要快,存储速度也要跟上CPU的速度,闪存正是针对当前网络存储速度落后的解决方案,能够有效提高存储的性能。
同时,Tonny Ai认为,在云计算、大数据时代,集中式存储需要的管理和维护非常困难,分布式存储模型是大势所趋。在这其中,Fusion-io提供了PCIe闪存卡、全闪存阵列以及SDK工具,支持提升各种应用的性能。
Christine M Rice女士指出,SSD不只是让数据变快。她认为,通过SSD在数据中心的使用,能够帮助节约成本,降低延迟,加快访问数据的速度,同时还能够提供非常高的可靠性和管理级别,结合了DRM的使用进行软件分层管理。
戴尔亚太存储技术总监许良谋则强调了SSD的利用要在成本和性能之间的平衡,如何更好地应对大数据——闪存的成本和寿命让很多企业对它爱恨交加。许良谋认为,大数据需要一个高容量高速度的共享存储,戴尔的流动数据架构就是一个让数据平滑迁移的平台。
戴尔实现了一个新的技术突破,即快速SLC和eMLC大容量盘可以用到流动架构里面,再加上普通的大容量盘,两级固态盘优化和流动数据架构的配合,这种方案可以比普通纯闪存的方式实现75%以上的成本节约。
许良谋介绍到,戴尔一直通过收购、合作等方式,在自身产品线中不断引入新的存储技术,力图把最好的存储产品以最经济的方式提供给用户。 (编辑:ASP站长网) |