MHuiG

「看庭前花开花落,望天上云卷云舒」

Hadoop 集群初体验

# 大数据处理技术 - Hadoop 集群初体验

## HDFS 使用体验

从 Linux 本地上传一个文本文件到 hdfs 的 `/test/input` 目录下
递归的创建文件夹：

    hdfs dfs -mkdir -p /test/input
    hdfs dfs -ls /

分布式文件系统来源于本地磁盘

    hdfs dfs -put /root/install.log /test/input

## MapReduce 程序初体验

在 Hadoop 安装包的 `hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce` 下 有 官 方 自 带 的 MapReduce 程序。我们可以使用如下的命令进行运行测试。
示例程序 jar: `hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar`

计算圆周率:

    hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 5

关于圆周率的估算，感兴趣的可以查询资料 Monte Carlo 方法来计算 Pi 值。

底层日志线程异常，不用管！

大数据处理技术-CDH 伪分布式环境搭建

CDH 伪分布式 大数据处理技术 - CDH 伪分布式环境搭建 CDH 伪分布式环境搭建（适用于学习测试开发集群模式） 集群运行服务规划 服务器 IP ...

大数据处理技术-HDFS入门介绍

HDFS 大数据处理技术 - HDFS 入门介绍 HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 ...

推荐阅读
大数据处理技术-HDFS的命令行使用 大数据处理技术-apache hadoop三种架构介绍(伪分布介绍以及安装) 大数据处理技术-apache hadoop三种架构介绍（StandAlone) 大数据处理技术-CDH 伪分布式环境搭建 Spark环境部署（Ubuntu20.04） 大数据处理技术-hadoop的介绍以及发展历史

留言区

Notes
Hadoop
本文目录
Are You A Robot?