设为首页 - 加入收藏 ASP站长网(Aspzz.Cn)- 科技、建站、经验、云计算、5G、大数据,站长网!
热搜: 手机 公司 数据
当前位置: 首页 > 大数据 > 正文

五种数据虚拟化方式完善数据仓库

发布时间:2021-07-12 04:23 所属栏目:125 来源:互联网
导读:一大批商业智能(BI)、预测分析、数据和内容挖掘,门户和其他系统使用企业数据仓库(EDW)不断增长的信息来源。然而,却有相当的关键业务的企业数据被置于企业

  一大批商业智能(BI)、预测分析、数据和内容挖掘,门户和其他系统使用企业数据仓库(EDW)不断增长的信息来源。然而,却有相当的关键业务的企业数据被置于企业数据仓库之外。为了向业务决策制定者交付最最全面的信息,IT团队利用数据虚拟化以保持和扩展他们现有的企业数据仓库投资。

 

 

  本文探讨了五种整合模式,这些模式将企业数据仓库和数据虚拟化结合起来,连同来自Composite软件公司的数据虚拟化客户实例,以解决实际的业务和IT问题。这五个模式包括:

 

 

  数据仓库扩增

 

 

  数据仓库联盟

 

 

  数据仓库中心和虚拟数据集市

 

 

  提取、转换与加载(ETL)流程的补充

 

 

  数据仓库原型开发

 

 

  企业数据仓库投资的价值最大化

 

 

  在日益增长的数据量和复杂的环境下支撑关键的、但是千变万化的信息需求在今天是大型企业和政府机构充分理解的一项挑战。

 

 

  这种不可抗拒的压力已经并将继续推动对企业数据仓库的需求,因为一系列商业智能(BI)、预测分析、数据和内容挖掘,门户网站以及其他重要应用程序都依赖于来自企业数据仓库的数据。

 

\

 

 

  然而,业务的变化经常超过企业数据仓库改进的速度。而且虽然对一大部分企业数据物理上的集中和转换会有所帮助,但还是有大量的企业数据仍置留在企业数据仓库的范围之外。更有甚者,企业数据仓库本身在整个的生命周期内也需要支持,推动了对数据原型、迁移、延伸、联盟以及利用企业数据仓库资产的解决方案的需求。

 

 

  数据虚拟化中间设备,是一种较早的数据联盟或企业信息整合(EII)中间设备的高级版本,通过提供一系列灵活的数据整合技术来维持、延伸和因而从现有的企业数据仓库的投资中推动更大的商业价值,对企业数据仓库互补。[page]  1.数据仓库扩增

 

 

  企业针对散乱数据和数据量指数倍地增长的困境,已经部署了数据仓库以满足他们许多报表的需要。然而,许多数据源仍留在数据仓库之外。为用户提供完整的商业洞察力以支持收入、成本、风险管理的目标往往有下列需求:

 

 

  来自数据仓库的历史数据和来自交易系统或操作数据存储器上实时更新的数据;

 

 

  来自数据仓库的汇总数据和来自交易系统或操作数据存储器上向下钻取的详细数据

 

 

  掌握来自主数据管理(MDM)中心或数据仓库的客户、产品或员工数据和来自交易系统或操作数据存储器上的详细数据

 

 

  来自数据仓库的内部数据和来自外部数据源包括云计算在内的外部数据

 

 

  数据虚拟化能有效地将数据仓库的信息与另外的数据源联合起来,因而延伸了现有的数据仓库架构和数据。这些互补的图表有利于补充当前数据到数据仓库的历史数据,补充详细数据到仓库中的摘要数据,补充外部数据到仓库中的内部数据。

 

 

  能源公司将最新数据和历史数据结合起来—为跨越超过10000个生产油井优化部署维修人员和设备,一家能源公司运用数据虚拟化把来自他们油井和SAP维护管理系统的成员、设备和油井状态实时数据与来自他们的企业数据仓库的历史表层、次表层和业务数据联合起来。最终的结果是为机器的正常运转提供了更快的维修并且因此获得更多的收入。

 

 

  2.数据仓库联盟

 

 

  企业实施数据仓库的一个主要原因是克服各种交易和分析系统之间的独立工作,特别是在现在的大多数大型企业和政府机构里。然而,针对许多常见的务实理由,单一的“企业”数据仓库仍然难以达成。相反,因为同样的理由,多个数据仓库和数据集市被开发和部署,以致数据分散的问题还是没有解决。

 

 

  优化业务绩效需要来自这些各种各样的数据仓库和数据集市中的数据。但在物理上结合多个集市和仓库变成一个单一的、完整的企业数据仓库通常是过于昂贵又费时。

 

 

  数据虚拟化能够联合多个物理数据仓库。举两个例子,销售和财务数据仓库的组合,或公司并购之后两个销售数据仓库的组合。这种方法通过创设一个跨越各个数据仓库的整合图表,用提取的方法使不同架构的设计合理化,以达到数据仓库的逻辑合并。

 

 

  投资银行对金融交易数据仓库的联合—为实现更灵活的客户自助式服务报表和满足证券交易委员会(SEC)的合规性报表要求,一个主要证券公司用数字虚拟化将来自不同独立交易数据仓库中的股票、固定收益证券和其他投资持有和交易信息联合起来。最终结果是提高了顾客满意度和降低了报表成本。

 

 

  3.数据仓库中心和虚拟轮辐

 

 

  一个典型的数据仓库模式是一个中央数据仓库中心被卫星数据集市像轮辐一样地围绕着。这些集市使用数据仓库数据的一个子集并且被数据仓库的一个子集的用户所使用。有时这些集市的创设是因为分析工具需要数据以另一种形式出现。另一方面,他们可能被创设用来避开数据仓库的控制,好像是一个“叛逆”的数据集市。不管什么原因,每一个额外的数据集市都会增加成本以及损害数据的质量。

 

 

  数据虚拟化提供的虚拟数据集市能消除或至少显着减少对围绕在数据仓库中心的物理数据集市的需要。这种方法提取了数据仓库的数据以满足特殊的消费工具和用户查询的要求,同时还保留数据仓库所固有的质量和控制。

 

 

  共同基金经理消除“叛逆”金融数据集市—一个共同基金公司运用数据虚拟化,让150多个金融分析师建立投资组合分析模型,用分析工具利用一个10TB的金融研究数据仓库提供的广泛的投资金融数据。在引入数据虚拟化之前,分析师经常创建新的卫星数据集市为每一个新的项目提供有用的数据子集。为加速和简化数据访问,杜绝不必要的高成本和多余的物理集市,公司用数据虚拟化创设了虚拟的由一套稳健的、可重复利用的图表构成的数据集市,直接按需要访问财务数据仓库。这使得分析师花更多时间用于分析而不是用于访问,因而提高了投资组合的回报率。IT团队也消除了额外的,不需要的集市而且省掉了维护这些物理集市的成本。[page]  4.补充提取、转换与加载(ETL)流程

 

 

  提取、转换和加载(ETL)中间设备是为数据仓库的加载所选择的工具。然而,有些情况下提取、转换与加载(ETL)工具并不是最有效的方法。一些例子包括:

 

 

  提取、转换与加载(ETL)工具缺乏易于访问数据源的界面,例如,数据来自一套如SAP这样的应用系统或来自新技术如网络服务中。

 

 

  唾手可得的,现有的虚拟图表或者可以重复使用的数据服务,而不是从零开始建造新的提取、转换与加载(ETL)脚本

 

 

  紧凑的批处理视窗需要在提取、转换与加载(ETL)之前访问、提取和联合活动以预处理和虚拟化阶段。

 

 

(编辑:ASP站长网)

网友评论
推荐文章
    热点阅读