MHuiG

「看庭前花开花落,望天上云卷云舒」

伪分布式

# 大数据处理技术 - apache hadoop 三种架构介绍 (伪分布介绍以及安装)

伪分布式环境搭建（适用于学习测试开发集群模式）

## 服务规划

服务器 IP | 192.168.52.100 | 192.168.52.110 | 192.168.52.120
--- | --- | --- | ---
主机名 | node01.hadoop.com | node02.hadoop.com | node03.hadoop.com
NameNode | 是 | 否 | 否
Secondary NameNode | 是 | 否 | 否
dataNode | 是 | 是 | 是
ResourceManager | 是 | 否 | 否
NodeManager | 是 | 是 | 是

## 停止单节点集群

停止单节点集群，删除 /export/servers/hadoop-2.7.5/hadoopDatas 文件夹，然后
重新创建文件夹
第一台机器执行以下命令

    cd /export/servers/hadoop-2.7.5
    sbin/stop-dfs.sh
    sbin/stop-yarn.sh
    sbin/mr-jobhistory-daemon.sh stop historyserver

## 配置集群

删除 hadoopDatas 然后重新创建文件夹

    rm -rf /export/servers/hadoop-2.7.5/hadoopDatas

重新创建文件夹

    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
    mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

修改 slaves 文件，然后将安装包发送到其他机器，重新启动集群即可
第一台机器执行以下命令

    cd /export/servers/hadoop-2.7.5/etc/hadoop
    vim slaves

slaves

    node01
    node02
    node03

## 安装包的分发

第一台机器执行以下命令

    cd /export/servers/
    scp -r hadoop-2.7.5 node02:$PWD
    scp -r hadoop-2.7.5 node03:$PWD

## 启动集群

第一台机器执行以下命令

    cd /export/servers/hadoop-2.7.5
    bin/hdfs namenode -format
    sbin/start-dfs.sh
    sbin/start-yarn.sh
    sbin/mr-jobhistory-daemon.sh start historyserver

第一台 jps 后：

第二台：jps 后:

第三台 jps 后：

大数据处理技术-apache hadoop三种架构介绍（StandAlone)

StandAlone 大数据处理技术 - apache hadoop 三种架构介绍（StandAlone) hadoop 文档: http://hadoop.apache.org/do...

大数据处理技术-apache hadoop三种架构介绍(高可用分布式环境介绍以及安装)

高可用分布式 大数据处理技术 - apache hadoop 三种架构介绍 (高可用分布式环境介绍以及安装) 高可用分布式环境搭建（适用于工作当中正式环境搭建） 实现 namenode ...

推荐阅读
大数据处理技术-apache hadoop三种架构介绍（StandAlone) 大数据处理技术-CDH 伪分布式环境搭建 大数据处理技术-Zookeeper 的Apache集群环境搭建 Spark环境部署（Ubuntu20.04） 大数据处理技术-apache hadoop三种架构介绍(高可用分布式环境介绍以及安装) 大数据处理技术-Hadoop集群初体验

留言区

Notes
Hadoop
本文目录
Are You A Robot?