数据网格有望升级整个IT系统

发布时间：2022-10-22 09:23 所属栏目：125 来源：互联网

导读：数据网格正迅速成为数据领域的一种重要架构模式。我们IT人士有这样一种习惯：创造流行语，然后紧跟潮流。然而，数据网格并不是仅仅是流行词，原因是它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域都会有影响。当前数据级别的报告

　　数据网格正迅速成为数据领域的一种重要架构模式。我们IT人士有这样一种习惯：创造流行语，然后紧跟潮流。然而，数据网格并不是仅仅是流行词，原因是它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域都会有影响。

　　当前数据级别的报告单
　　在我们将数据提升到下一个级别之前，简要介绍一下当前数据级别的进度或报告单。下图显示了数据在如今的 IT系统中通常是如何处理的。

　　如上所示，来自诸多事务/运营和外部系统的数据将通过ETL作业网络流入数据仓库。在最终消费者可以聚集/汇总和使用这些数据之前，将完成许多活动，比如清理和转换等。

　　几十年来，这种方法一直屡试不爽。但在当今数据无处不在的世界，这种方法却遇到了瓶颈。现代数据湖方面也是如此。事实上，在大多数情况下，数据湖的情况更糟。

　　大数据/物联网和数据流出现后，大多数组织不知道如何处理数据。虽然它们知道数据是新的石油，但不知道如何提炼和使用这种油。它们甚至对想要使用这些数据来处理的分析用例没有太多想法。也许数据湖这个流行语使它们随波逐流。由于别人都在搞数据湖，所以越来越多的人开始仿而效之。

　　前面说过，数据湖方面的情况更糟。主要原因是，就数据仓库而言，大多数组织仍采用某种治理和策略。但是就数据湖而言，在大多数情况下，所有类型的数据（结构化/日志/流数据等）都只是被转储到某种廉价存储系统中，其想法是将来会有相应的用例，能够得益于正在开挖的这个新油田。但愿望并不总是成真。

　　报告单中一些有待改进的方面
　　•随着数据集中起来，加上数据无处不在，数据的数量和速度变得如此庞大，因此集中式系统无力处理。

　　•数据工程师/数据仓库团队对运营数据、领域和复杂性了解不多。

　　•如何在这种系统中处理变更方面没有太多的灵活性可言。

　　应用程序层如何提升到下一个级别？
　　在过去几年，领域驱动设计和微服务确实改变了应用程序层的处理方式。一个庞大的单体应用系统被转换成特定领域的功能或微服务。这让领域团队得以专注于各自针对特定领域的功能。他们对各自领域了如指掌，更不用说我们在这类环境中看到的敏捷性了（当然，还有出色的工具和流程，比如CI/CD、DevOps和容器等）。

　　使用领域驱动设计将单体应用程序转换成微服务
　　如果只看上面两张图，会发现我们在应用程序层和数据层采取了完全相反的方法。在应用程序层，我们只是将单体应用程序分解成多个较小的单元，而在数据库层，我们将来自各个领域的数据放入到一个庞大的单体单元中。

　　这时候数据网格有了用武之地。不妨快速了解一下这个数据网格到底是什么。

　　数据网格架构将定义、创建、管理和共享数据产品的自主权赋予业务领域。所以基本上，每个业务领域都将拥有自己的数据。它们可以使用API等手段与消费者共享，但它们管理数据的整个生命周期。

　　1）由于没有一个庞大的集中式单体应用程序，单个数据产品可以更好地扩展（分布式扩展）。

　　2）每个领域团队拥有并管理其数据和产品（联合数据治理）。

　　3）每个产品团队比任何集中式团队更了解其数据和领域。

　　4）更好的敏捷性。

　　一点建议
　　如开篇所述，不要轻信流行语。数据网格到底是流行语还是非常适合？只有评估后才能做出决定。我发现许多人做错了SOA，做错了P2P，甚至做错了REST和微服务，当然还做错了数据湖。明智的决定的前提，是要看看它是否适合自己。

（编辑：ASP站长网）