如何管理高度可扩大系统中的元数据

发布时间：2022-06-25 12:53 所属栏目：125 来源：互联网

导读：元数据过去对数据中心架构的影响很

　　元数据过去对数据中心架构的影响很小。元数据是有关数据的数据，隐藏在某个地方以便检索和分析，对业务运营几乎没什么影响。随着大数据、人工智能、物联网和5G等应用系统规模扩大，它们积累了众多元数据，现在数据和元数据之间的传统关系已被颠覆。

　　组织通常使用RocksDB之类的键值存储（KVS）系统来管理元数据，KVS系统依赖存储引擎（又叫数据引擎），是对数据进行排序和索引的软件堆栈的一部分。

　　然而现有的数据引擎存在容量有限、CPU利用率高和内存消耗大等先天不足，这些都是无法通过单单添加计算能力就能解决的。通常，一系列运营任务在此时开始，其中很少有有效的长期解决方案。

　　1. 分片——该过程将数据集拆分为逻辑片段，并同时运行多个数据集。这是处理高度可扩展系统生成的元数据的一种方法——至少在短期内如此。然而，随着越来越多的数据流入系统，最初的分片方案常常出问题，在开发人员必须不断重新分片的情况下开始暴露出来，本身成为一项活动。

　　2. 添加资源——解决任何性能问题的传统方法案都是添加额外的存储资源以解决问题。这常常是一种权宜之计，成本无以为继。

　　新的方法
　　当前的数据架构再也不能支持现代企业的需求，这促使企业需要从头开始设计新数据引擎，以跟上元数据增长的步伐。但随着开发人员开始深入数据引擎的底层，他们面临这一挑战：在不影响存储性能、敏捷性和成本效益的情况下，实现更大的规模。这就需要一种新的架构来支持新一代数据引擎，该引擎可以有效地处理海量元数据，仍能确保应用程序可以快速访问元数据。

　　下一代数据引擎可能是新兴用例的关键赋能因素，这些用例的特点是数据密集型工作负载需要前所未有的规模和性能。比如说，实施适当的数据基础设施来存储和管理物联网数据对于智慧城市项目的成功至关重要。该基础设施必须有足够的可扩展性，以便在不牺牲性能的情况下，处理来自交通管理、安全、智能照明、废物管理及许多其他系统的不断增多的元数据。这对响应时间和延迟高度敏感的应用程序而言尤为重要，比如交通优化和智能泊车。

　　元数据增长将继续是数据中心面临的问题，涉及越来越多的各种数据密集型用例。最近加大数据引擎创新力度的举措为致力于使应用程序能够扩展和增长的团队提供了选择。

（编辑：ASP站长网）