MHuiG

「看庭前花开花落,望天上云卷云舒」

架构模型

# 大数据处理技术 - hadoop 的架构模型（1.x，2.x 的各种架构模型介绍）

## 1.x 的版本架构模型

### 文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

### 数据计算核心模块

JobTracker：接收用户的计算请求任务，并分配任务给从节点

TaskTracker：负责执行主节点 JobTracker 分配的任务

## 2.x 的版本架构模型

### 第一种：NameNode 与 ResourceManager 单节点架构模型

#### 文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

#### 数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager：负责执行主节点 APPmaster 分配的任务

### 第二种：NameNode 单节点与 ResourceManager 高可用架构模型

#### 文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

#### 数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过 zookeeper 实现 ResourceManager 的高可用

NodeManager：负责执行主节点 ResourceManager 分配的任务

### 第三种：NameNode 高可用与 ResourceManager 单节点架构模型

#### 文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中 nameNode 可以有两个，形成高可用状态

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据 JournalNode：文件系统元数据信息管理

#### 数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

NodeManager：负责执行主节点 ResourceManager 分配的任务

### 第四种：NameNode 与 ResourceManager 高可用架构模型

#### 文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现 HA 高可用

JournalNode：元数据信息管理进程，一般都是奇数个

DataNode：从节点，用于数据的存储

#### 数据计算核心模块

ResourceManager：Yarn 平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

NodeManager：Yarn 平台的从节点，主要用于处理 ResourceManager 分配的任务

大数据处理技术-hadoop的介绍以及发展历史

发展历史 大数据处理技术 - hadoop 的介绍以及发展历史 Hadoop 是什么？Hadoop: The Definitive Guide 谁说大象不能跳舞？！ —— 挑战互联网规...

大数据处理技术-apache hadoop三种架构介绍（StandAlone)

StandAlone 大数据处理技术 - apache hadoop 三种架构介绍（StandAlone) hadoop 文档: http://hadoop.apache.org/do...

推荐阅读
大数据处理技术-Hadoop-Yarn 资源调度 大数据处理技术-HDFS 的架构 大数据处理技术-分布式集群 大数据处理技术-HDFS入门介绍 大数据处理技术-ZooKeeper的介绍 大数据处理技术-大数据集群环境准备

留言区

Notes
Hadoop
本文目录
Are You A Robot?