MHuiG

「看庭前花开花落,望天上云卷云舒」

HDFS 命令行

# 大数据处理技术 - HDFS 的命令行使用

## hdfs 常用的操作命令

查看根路径下面的文件或者文件夹

    hdfs dfs -ls /

查看 test 路径下面的文件或者文件夹

    hdfs dfs -ls /test

递归的查看根路径下面的文件或者文件夹

    hdfs dfs -ls -R /

在 hdfs 上面递归的创建文件夹

    hdfs dfs -mkdir -p /aaa/bbb

hdfs dfs -moveFromLocal sourceDir (本地磁盘的文件或者文件夹的路径) destDir（hdfs 的路径）

    hdfs dfs -moveFromLocal /root/install.log /

hdfs dfs -mv hdfsSourceDir hdfsDestDir

    hdfs dfs -mv /install.log /aaa

hdfs dfs -put localDir hdfsDir 将本地文件系统的文件或者文件夹放到 hdfs 上面去

    hdfs dfs -put /root/install.log.syslog /aaa

hdfs dfs -cat hdfsDir 查看 hdfs 的文件内容

    hdfs dfs -cat /aaa/install.log

hdfs dfs -cp hdfsSourceDIr hdfsDestDir 拷贝文件或者文件夹

    hdfs dfs -cp /aaa/install.log /aaa/in2.log
    hdfs dfs -ls /aaa

hdfs dfs -rmr （递归）删除文件或者文件夹

    hdfs dfs -rmr /aaa/in2.log

hdfs 的权限管理命令：

    hdfs dfs -chmod -R 777 /xxx

## hdfs 的安全模式

安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。

在 NameNode 主节点启动时，HDFS 首先进入安全模式，DataNode 在启动的时候会向 namenode 汇报可用的 block 等状态，当整个系统达到安全标准时，HDFS 自动离开安全模式。

如果 HDFS 出于安全模式下，则文件 block 不能进行任何的副本复制操作，因此达到最小的副本数量要求是基于 datanode 启动时的状态来判定的，启动时不会再做任何复制（从而达到最小副本数量要求），hdfs 集群刚启动的时候，默认 30S 钟的时间是出于安全期的，只有过了 30S 之后，集群脱离了安全期，然后才可以对集群进行操作.

    hdfs dfsadmin -safemode

大数据处理技术-HDFS入门介绍

HDFS 大数据处理技术 - HDFS 入门介绍 HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 ...

大数据处理技术-HDFS 的架构

HDFS 架构 大数据处理技术 - HDFS 的架构 基础架构 1、 NameNode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间 namespac...

推荐阅读
大数据处理技术-Hadoop集群初体验 大数据处理技术-HDFS入门介绍 Flume 监控目录变化 大数据处理技术-HDFS 的架构 Flume 监控文件变化 大数据处理技术-HDFS的JavaAPI操作

留言区

Notes
Hadoop
本文目录
Are You A Robot?