终于有人把MPP大数据系统架构讲清楚了

发布时间：2022-06-25 12:56 所属栏目：125 来源：互联网

导读：本文首先回顾并行硬件架构的发展，并进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。数据库一体机系统在银行等大型企业中采用广泛，一体机的优点是开箱即用、功能丰富、稳定、售后服务好，缺点是价格昂贵、扩展不灵活。基于普

　　本文首先回顾并行硬件架构的发展，并进一步介绍基于并行硬件架构的数据库一体机系统与基于MPP架构的数据库软件系统。数据库一体机系统在银行等大型企业中采用广泛，一体机的优点是开箱即用、功能丰富、稳定、售后服务好，缺点是价格昂贵、扩展不灵活。基于普通服务器集群加MPP数据库软件构建的数据库系统，优点是硬件成本低、水平扩展容易、易于进行海量数据处理、吞吐量高，缺点是仅适合用于数据分析。

　　01并行硬件架构的发展
　　为了提高计算机系统的处理能力，在处理单元（CPU）性能确定的情况下，就需要增加处理单元的数量，此时从计算单元（CPU）对资源（特别是内存）访问的角度来看，并行硬件架构分为三种，详细说明如下。

　　SMP（Symmetric Multi Processing，对称多处理器）架构。这里的“对称”是指所有处理器之间是平等的，并且共享包括物理内存在内的所有资源，处理器访问不同资源的能力（速度）是一致的，每个处理器访问内存中的任何地址所需的时间是相同的，因此SMP架构也被称为UMA（Uniform Memory Access，一致存储器访问）架构。

　　NUMA（Non-Uniform Memory Access，非一致存储访问）架构。NUMA架构服务器内部有多个处理模块（节点），每个模块有多个CPU和本地内存，但每个CPU也可以访问整个系统的内存，当然访问本模块的内存要比访问其他模块内存的速度快，这也是非一致存储访问架构名称的由来。
　　MPP（Massively Parallel Processing，大规模并行处理）架构。MPP架构是将多个处理节点通过网络连接起来，每个节点是一台独立的机器，节点内的处理单元独占自己的资源，包括内存、硬盘、IO等，也就是每个节点内的CPU不能访问另一个节点的内存（这是MPP与NUMA的主要区别），MPP架构服务器需要通过软件实现复杂的调度机制以及并行处理过程。

　　02基于并行硬件架构的数据库设备
　　数据库厂商推出了很多软硬件一体的数据库设备产品，此类产品是由一台或多台主机组成的集成设备，将服务器、存储、操作系统和数据库软件集成在一起，可以实现开箱即用。国内一般将此类产品称为数据库一体机（Database Machine）。

　　为了提高性能，此类产品都会采用并行硬件架构。从资源共享角度来看，这类产品的数据库架构可分成三类，详细说明如下。

　　03基于MPP架构的数据库软件系统
　　基于MPP架构的数据库软件系统，一般简称为MPP数据库，它是运行在由普通商用服务器组成的服务器集群上，服务器（节点）之间通过网络连接，每一个节点都是独立的、自我管理的，且计算节点的功能是相同的。也就是说，每个节点是一台相对独立的数据库服务器，节点上运行着一个单机操作系统和数据管理系统，用于管理本节点上的资源与数据，即节点资源私有。以基于PostgreSQL的MPP数据库系统Greenplum为例，每个节点上实际运行着一个单机版的PostgreSQL数据库实例。如果是主从模式，由管理节点接收客户端请求并将任务分解分派到多个节点上，在每个节点上完成数据读取和计算后，再将各部分的中间结果汇总到管理节点一起计算，得到最终的结果并返回客户端。

（编辑：ASP站长网）