HDFS命令行操作

article/2025/10/12 5:02:01

        HDFS的命令行接口类似传统的Shell命令,可以通过命令行接口与HDFS系统进行交互,从而对系统中的文件进行读取、移动、创建操作。

命令行接口有两种格式如下:

hadoop fs -命令 文件路径
hdfs dfs -命令 文件路径

执行hadoop fs 或者 hdfs dfs可以列举出所有的HDFS命令:

hadoop fs

1、ls  

使用 ls 命令可以查看系统中的目录和文件,这里我们以HDFS的根目录为例。命令如下:

hadoop fs -ls 需要查看的文件目录
hadoop fs -ls /

 递归列出HDFS文件系统目录下的所有目录和文件(由于文件过多就不好截屏了)。命令如下:

hadoop fs -ls -R /

2、mkdir

使用 mkdir 命令可以在HDFS系统中创建文件或者目录。例如,在HDFS根目录下创建文件input,命令如下:

hadoop fs -mkdir 需要创建的文件的路径
hadoop fs -mkdir /input/

也可以使用 -p 参数创建多级目录,如果父目录不存在,则会自动创建,命令如下:

hadoop fs -mkdir -p 需要创建的多级目录路径
hadoop fs -mkdir -p /output/file

3、put

使用 put 命令可以将本地文件上传到HDFS系统中(类似于复制)。例如,将本地当前目录文件 a.txt 上传到HDFS文件系统根目录的下(/),命令如下:

hadoop fs -put 需要上传的文件地址 上传到HDFS的文件地址 
hadoop fs -put ~/a.txt /

4、moveFromLocal

使用 moveFromLocal 命令可以将本地文件移动到HDFS文件系统下,可以一次性移动多个文件。与put命令类似,但是不同的是,该命令执行后源文件将被删除(类似于剪切)。例如,将本地当前目录文件 a.txt 上传到HDFS文件系统根目录的下(/)

hadoop fs -moveFromLocal 需要上传的文件路径 上传到HDFS的文件路径
hadoop fs -moveFromLocal ~/a.txt /

5、get

使用 get 命令可以将HDFS文件系统中的文件下载到本地,注意下载时的文件名不能和本地文件名相同,否则会提示文件已经存在。例如,将HDFS根目录下的 a.txt 文件下载到本地根目录下(~)注意:需要先删除根目录下的 a.txt 文件。不然会提示文件已经存在:

hadoop fs -get 需要下载的文件在HDFS中的路径 下载到H本地文件的路径
hadoop fs -get /a.txt ~/

6、rm

使用 rm 命令可以删除HDFS系统中的文件或文件夹,每次可以删除多个文件夹或者目录。例如删除HDFS根目录下 input 文件夹中的文件 a.txt。

hadoop fs -rm 需要删除的文件的路径
hadoop fs -rm /input/a.txt

递归删除HDFS根目录下的output问价夹中的a.txt文件。

hadoop fs -rm -r 需要删除的多级文件路径
hadoop fs -rm -r /output

7、cp

使用 cp 命令可以复制HDFS中的文件到另一个文件,在移动的过程中可以给文件重命名。此时源文件还存在(类似于复制),例如将文件 /input/a.txt 文件移动到 /input/b.txt,命令如下

hadoop fs -cp 源文件的路径 移动后的路径及名称
hadoop fs -cp /input/a.txt /input/b.txt

8、mv

使用 mv 命令可以复制HDFS中的文件到另一个文件,在移动的过程中可以给文件重命名。此时源文件不存在(类似于剪切),例如将文件 /input/a.txt 文件移动到 /input/b.txt,命令如下

hadoop fs -mv 源文件的路径 移动后的路径及名称
hadoop fs -mv /input/a.txt /input/b.txt

9、appendToFile

使用 appendToFile 命令可以将单个或者多个文件的内容追加到HDFS系统的文件中。例如,将本地当前目录的 a.txt 文件的内容追加到HDFS系统中 /input/b.txt 文件中,命令如下:

hadoop fs -appendToFile 需要加入的内容文件路径 被追加内容的文件路径
hadoop fs -appendToFile a.txt /input/b.txt

 如果需要一次性追加多个本地文件的内容,则多个文件用 空格 隔开,例如,将本地文件 a.txt  和 b.txt 内容追加到HDFS系统文件的 /input/c.txt 文件中,命令如下:

hadoop fs -appendTofile 文件1 文件2 文件3 ... HDFS系统中被追加的文件
hadoop fs -appendTofile a.txt b.txt /input/c.txt

 10、cat 

使用 cat 命令可以查看并输出HDFS系统中某个文件的所有内容。例如,查看HDFS系统中的文件 /input/a.txt 的所有内容。命令如下:

hadoop fs -cat 需要查看的文件路径
hadoop fs -cat /input/a.txt

也可以同时查看并输出HDFS中的多个文件内容,使用空格隔开即可,结果会将多个文件的内容按照顺序合并输出。例如,查看HDFS中的文件 /input/a.txt 和文件 /input/b.txt,命令如下:

hadoop fs -cat 需要查看的文件路径1 需要查看的文件路径2 ...
hadoop fs -cat /input/a.txt /input/b.txt

注意:

在使用HDFS命令操作文件时,HDFS中的文件或目录的路径必须写绝对路径,而本地文件的路径可以是相对路径。


http://chatgpt.dhexx.cn/article/mmBSe9LN.shtml

相关文章

HDFS基础命令

通过vi在Linux本地创建三个文本文件:txt1.txt、txt2.txt、txt3.txt。文件里面随意输入些内容。 命令如下: vi txt1.txt vi txt2.txt vi txt3.txt (1)列出子目录或子文件 列出 HDFS 当前用户家目录下的文件及文件夹(前提:家目录已经存在&…

(超详细)HDFS常用命令及HDFS API基础编程

HDFS常用命令及基础编程 JunLeon——go big or go home 目录 HDFS常用命令及基础编程 一、HDFS概述 1、什么是HDFS? 2、HDFS数据存储模式——数据块(block) 3、HDFS的副本存放策略及机架感知 (1)副本存放策略&a…

HDFS常用命令汇总

HDFS常用命令汇总 一、前言信息二、帮助信息查看1、查看帮助信息2、帮助文档(附带命令的详细说明) 三、常用命令1、创建目录2、查看目录下的内容3、上传文件4、上传并删除源文件5、查看文件内容6、查看文件开头内容7、查看文件末尾内容8、下载文件9、合并…

大数据笔记 | HDFS 常用操作命令

目录 一、HDFS 命令前缀 二、ls 命令 三、put 命令 四、moveFromLocal 命令 五、get 命令 六、rm 命令 七、mkdir 命令 八、cp 命令 九、mv 命令 十、cat 命令 十一、appendToFile 命令 十二、总结 HDFS 是 Hadoop Distributed File System 的简写,即 H…

HTML encode Decode

System.Web.dll中,System.Web.HttpUtility.HtmlEncode(string s)方法的原理是这样的: 首先判断传入的字符串是否为null,如果是,则返回null if (s null ) ... { return null; } 然后,尝试在传入的字符…

html代码

hello 这是一个模拟黑客的玩意 <!DOCTYPE html> <html xmlns"http://www.w3.org/1999/xhtml"><head><meta http-equiv"Content-Type" content"text/html; charsetUTF-8"> <meta charset"UTF-8"><li…

C# .net 几种HtmlEncode,HtmlDecode的区别

一、C#中的编码 HttpUtility.HtmlDecode、HttpUtility.HtmlEncode与Server.HtmlDecode、Server.HtmlEncode与HttpServerUtility.HtmlDecode、HttpServerUtility.HtmlEncode的区别&#xff1f; 它们与下面一般手工写的代码有什么区别&#xff1f; [c-sharp] view plaincopy pu…

【C#】C#中的HtmlEncode与HtmlDecode:HttpUtility.HtmlEncode,Server.HtmlEncode,WebUtility.HtmlEncode

HtmlEncode(String) 将字符串转换为 HTML 编码字符串。 HtmlDecode(String) 将已经为 HTTP 传输进行过 HTML 编码的字符串转换为已解码的字符串。 在web端项目中通常使用HttpUtility.HtmlEecode&#xff0c;HttpUtility.HtmlDecode&#xff0c;Server.HtmlEncode&#xff0c;Se…

js htmlEncode

javascript处理HTML的Encode(转码)和Decode(解码)总结 HTML的Encode(转码)和解码(Decode)在平时的开发中也是经常要处理的&#xff0c;在这里总结了使用javascript处理HTML的Encode(转码)和解码(Decode)的常用方式 一、用浏览器内部转换器实现转换 1.1.用浏览器内部转换器实现…

READNE.md 语法

标题列表引用代码块链接图片分割线表格 1. 标题 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题 2. 列表 2.1 有序列表 直接在前面写数字序号&#xff1a; 1. a 2. bc 3. 1234 2.2 无序列表 有三种方式&#xff1a;""、&qu…

# 今天要讲一下我所用的md语法

今天要讲一下我所用的md语法 首先md是一种标记语言&#xff0c;我们不要把它想的过于复杂&#xff0c;其实对于经常探索新知识的人来说上手速度非常快。 下面讲一下基本语法 标题语法 一级标题&#xff1a;# Heading level 1二级标题&#xff1a;## Heading level 2二级标题&…

.MD语法入门,教你写好readme文档

.md即markdown文件的基本常用编写语法,是一种快速标记、快速排版语言&#xff0c;现在很多前段项目中的说明文件readme等都是用.md文件编写的&#xff0c;而且很多企业也在在鼓励使用这种编辑方式&#xff0c;特别作为一个前端从业者更要学会使用这种语言。下面就简单和大家分享…

编辑MD文件的语法格式

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

.md,markdown文件的基本常用编写语法

序言&#xff1a; 很久没有写博客了&#xff0c;感觉只要是不写博客&#xff0c;人就很变得很懒&#xff0c;学的知识点感觉还是记不住&#xff0c;渐渐地让我明白&#xff0c;看的越多&#xff0c;懂的越少&#xff08;你这话不是有毛病吗&#xff1f;应该是看的越多&#xff…

.md即markdown文件常用语法

参阅cmd版官网&#xff1a;markdown 参考博文&#xff1a;Markdown语法介绍&#xff08;详细&#xff09; 1.标题 使用#符号包起来&#xff0c;符号和内容中间空格可省略&#xff0c;尾部#号可省略。依次1~6级标题&#xff0c;对应html中的h1~6标签 会使上一行成为一级标题&…

.md文件的常用语法

正文&#xff1a; 1、标题的几种写法&#xff1a; 第一种&#xff1a; 前面带#号&#xff0c;后面带文字&#xff0c;分别表示h1-h6,上图可以看出&#xff0c;只到h6&#xff0c;而且h1下面会有一条横线&#xff0c;注意&#xff0c;#号后面有空格 第二种&#xff1a; 这种方…

README.md 文件的作用和语法

一、README.md 文件的作用 md文件一般出现在项目的根目录下面&#xff0c;其作用是&#xff1a;对项目的主要信息进行描述。 如果一个项目你很长时间都没有动&#xff0c;突然你需要修改这个项目&#xff0c;那么通过README.md中对项目的描述能让你快速的再次上手&#xff1b;或…

md文档编写语法

md文档编写语法 一、标题 语法&#xff1a;#后面跟空格&#xff0c;再加文字&#xff0c;几级就加几个# 例如&#xff1a; 这是一级标题&#xff08;# 这是一级标题&#xff09; 这是二级标题&#xff08;## 这是二级标题&#xff09; 这是三级标题 这是四级标题 二、字体…

常用md语法

基本要素 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题一级标题 二级标题 三级标题 四级标题 五级标题 六级标题 分隔线 三个或更多的-表示分隔线 ---*斜体*斜体 **粗体**粗体 ***粗斜体***粗斜体 删除横线 ~~删除横线~~删除…

md基础语法总结

md即为Markdown,Markdown的目标是实现「易读易写」,可读性,无论如何,都是最重要的。其实md的底层最终还是将我们写的语法转化为html标签了 --------------------------------下面开始------------------------------------ 1.标题 # H1## H2### H3#### H4##### H5###### H6…