大数据时代是机遇还是难题？

    业务准备好管理大数据的管理和处理了吗，更不用说保持法规所要作的？

    多大才算大？让我们来看看：1EB（exabyte）是1000PB字节，或1000000TB的数据。到目前为止，大多数企业数据的讨论在TB以内，但不会太长久。最近的一份来自思科的报告称全球移动数据的流量在2010年到2015年之间会增加26倍。仅移动数据量一项的预计就会在2015年每月超过6EB（exabyte）。到那时，查询将在PB规模，万亿的记录数据集上运行，需要更大的规模来处理机器产生的数据的新容量。

    这意味着，三年内讨论将围绕着EB（exabytes）的数据进行 ― TB被PB所替代，然后再到EB（exabytes）字节只需短短的三年。Oracle把它们最新的数据仓库设备命名为Exadata是有理由的 !

    世界上移动设备的激增，以及法规上对CDRs和无线接入协议（WAP）记录的存储和维护需要，把电信行业置于大数据潮流的风口浪尖上。

    而当数据大量增加时，商业和法律条规加紧了对移动数据的保留。例如在美国，移动数据必须保存两年或三年，而在世界的其他地方，数据必须保留七年（中东），10年（印度）或更长时间（日本）。

    但并不只有通信领域是这样的。大数据的保留和管理的要求在其它如公用事业的智能电表，和有网络日志的网络安全这样的领域涌现，它们都有一种共同的思路：在一种高度管制下的行业中由机器产生的大量的大数据。

    刊登在2011年5月26日的《经济学家》杂志上的一篇题为“用大数据的建构”的文章说：

    去年人们储存了足够的数据可来填充60000家国会图书馆。全世界有40亿手机用户（其中12%的人拥有智能手机）已经将他们自己变成了数据流。YouTube每分钟收到24小时的录像。制造商在他们的产品中嵌入3千万个传感器，在互联网这样的东西上将无声的金属片转换成数据生成的节点。智能手机的数量以每年20%的速度增长，而传感器数量的增长率为30%。

    以如此庞大的量和速度进入了大数据时代已经成为IT与业务上的挑战。对于那些没有适当的策略和基础设施的企业，它可能是非常昂贵和危险的。

    然而，大数据也是大机遇

    不管是受法规还是竞争原因的驱动，大数据是大业务，这点可以从分析市场内的收购合并活动量就可以看出。EMC对Greenplum的收购，IBM对Netezza的收购，惠普对Vertica的收购。 虽然这些和其它解决方案，相对于传统的联机事务处理（OLTP），关系型数据库管理系统（RDBMS）和数据仓库系统，已成功为企业降低了复杂的深度分析的成本， 但他们对大量数据的长期保存成本上并不是最佳的。对不断增长的数据库的存储、硬件和管理成本的密切关注是一个非常现实的问题。

    让我们检查一下保留大量的机器生成的数据的经济情况。硬件和软件投资的资本支出（CAPEX） 需要开始消化，而每个人最终也是最初关注的是数据查询。这个问题很大程度上已经被许多关系型数据库管理系统（RDBMS）和数据仓库解决方案和设备解决，它们通常以每TB的存储进行测量和定价。

    但是持续经营性支出（OPEX）推动了整体成本以维持任何正在实施的系统。组成总资本支出（CAPEX）和持续经营性支出（OPEX）的维度方程包括，支持加载吞吐量和数据查询的服务器，必要的物理存储数据和存储种类。压缩、存储和检索如此大量数据的效率最后决定该方程 ― 从减少所需的空间，（人）的管理和技能，到所需硬件和存储的种类。

    减少大数据的问题

    以更全面的方式解决大数据问题的业务不仅是检验分析需求，还有整体数据的保留成本，这些成本可以TB（terabytes）来测量，但也可能是PB（petabytes），很快EB（exabytes）作为字节容量也会迅速增加。新的管理类型上的经济正在发生改变，而规定只会变得更严格。

    所有的企业，特别是那些高度管制行业，需要为大数据做好准备，就像他们为主要的企业方案和改革IT项目上所作的准备一样：建立一种战略，实事求是的，做最坏的打算，引进专家，而且不要害怕有为长期的节约现在的支出。从长远来看，有合理的策略和适于大数据的基础设施会让最成功的企业更有优势。

（编辑：ASP站长网）