hadoop之hdfs命令

article/2025/10/12 5:02:27

目录

1:创建目录

2、查看文件,ls 没有cd命令, 需要指定绝对路径

3:上传文件 put(要先把数据上传到linux本地然后再上传)

4:下载文件 get

5:复制 cp

6:查看文件内容 cat , 如果数据量比较大,不能使用

7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)

8:删除文件或者目录 rmr

9:查看文件末尾 tail -f ; 一直等待查看

10、查看文件的大小

11:查看日志

12:安全模式


1:创建目录

hadoop -dfs -mkdir  目录(需要从根目录开始)

例如:在根目录创建一个data目录 

hadoop -dfs -mkdir  /data

hadoop -dfs -mkdir  -p 目录递归创建目录

例如:在根目录下创建一个/a/b/c

hadoop -dfs -mkdir  -p /a/b/c

注意:如果配置ip地址映射的话可以用主机名:50070到浏览器查看hdfs的详情

例如我的是master就是master:50070(前提是开启的hadoop集群命令是start-all.sh)

在Browse the file system中查看

 

 

2、查看文件,ls 没有cd命令, 需要指定绝对路径

例如:查看根目录

hadoop dfs -ls /

 

3:上传文件 put(要先把数据上传到linux本地然后再上传)

在上传过程中可以改名字

例如:将本地一个学生表上传到hdfs中

1:创建目录(/data目录已经存在)

hadoop dfs -mkdir /data/student

2:将 students.txt: linux上传到本地并且切换到文件所在目录(利用xftp传输文件,从widows中传到linux)

3:上传文件到hdfs

hadoop dfs -put students.txt /data/student 

hadoop dfs -put students.txt /data/student /student.txt  改名字为student.txt

注意:传到本地是传到linux系统里,然后再从linux上传到hdfs中

4:下载文件 get

将hdfs文件下载到linux本地 可以指定目录 不指定默认是当前目录

例如:将/data/student/students.txt 下载到本地

hadoop dfs -get  /data/student/students.txt  下载到当前目录

hadoop dfs -get  /data/student/students.txt  /usr/local/data   下载到 /usr/local/data 

5:复制 cp

可以将指定文件复制到指定目录 可以在复制时更改名字

例如:将/data/a.txt 移动到 / 

hadoop dfs -cp /data/a.txt   /

hadoop dfs -cp /data/a.txt   /c.txt 将文件复制到根目录并改名字

6:查看文件内容 cat , 如果数据量比较大,不能使用

例如:查看stdents .txt文件

hadoop dfs -cat /data/student/students.txt

7:移动 mv, 物理层面文件没有移动,只是改变了元数据(目录结构)

例如 将根目录下文件a.txt移动到a目录下

hadoop dfs -mv /a.txt /a

hadoop dfs -mv /a.txt /a/b.txt 移动目录并更改名字

8:删除文件或者目录 rmr

hadoop dfs -rm /a/a.txt删除文件

hadoop dfs -rmr /a 删除目录

并没有真正删除文件,只是将文件放到了回收站中,

/user/root/.Trash/Current ; 每一个用户都有一个回收站

文件永久删除:

1、回收站自动清理

fs.trash.interval

1440

2、手动删除回收站

Hadoop dfs -rmr /user/root/.Trash/Current

3、强制删除,-skipTrash 当需要删除的文件比较大的时候

hadoop dfs -rmr -skipTrash /a

注意:最好不要永久删除或者强制删除以免数据丢失

9:查看文件末尾 tail -f ; 一直等待查看(可以用来查看日志)

例如:查看 /data/student/students.txt

hadoop dfs -tail /data/student/students.txt

10、查看文件的大小

例如:查看 /data 大小

hadoop dfs -du -h /data

11:查看日志

切换到/usr/local/soft/hadoop-2.7.6/logs

使用命令cat hadoop-root-namenode-master.log

12:安全模式

hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态

hadoop dfsadmin -safemode enter 命令是打开安全模式

hadoop dfsadmin -safemode leave 命令是离开安全模式


http://chatgpt.dhexx.cn/article/e12YZ74D.shtml

相关文章

hadoop(五)-hdfs命令行基本命令

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、r…

hadoop中上输入hdfs 相关命令显示无法找到问题

问题可能是没有在主目录配置你自己hadoop相关环境变量 解决方法: 1:切换到主目录,输入命令cd ~ 2:输入如下命令进入编辑: 3:在编辑页面最底部,输入如下命令: 4:退出保存编辑输入命令…

HDFS的命令操作

1)基本语法 bin/hdfs dfs 具体命令 2) 常用命令实操 (1)-help:输出这个命令参数 bin/hdfs dfs -help rm (2)-ls: 显示目录信息 hdfs dfs -ls / (3)-mkdir:在hdfs上创…

【hadoop系列】Hadoop HDFS命令

格式:hadoop fs -命令 主要有如下的命令: 命令说明hadoop fs -mkdir创建HDFS目录hadoop fs -ls列出HDFS目录hadoop fs -copyFromLocal使用-copyFromLocal复制本地文件(local)到HDFShadoop fs -put使用-put复制本地(lo…

【hadoop系列】Hadoop HDFS命令

格式:hadoop fs -命令 主要有如下的命令: 命令 说明 hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFromLocal 使用-copyFromLocal复制本地文件(local)到HDFS hadoop fs -put 使用-put复制…

HDFS命令行操作

HDFS的命令行接口类似传统的Shell命令,可以通过命令行接口与HDFS系统进行交互,从而对系统中的文件进行读取、移动、创建操作。 命令行接口有两种格式如下: hadoop fs -命令 文件路径 hdfs dfs -命令 文件路径执行hadoop fs 或者 hdfs dfs可…

HDFS基础命令

通过vi在Linux本地创建三个文本文件:txt1.txt、txt2.txt、txt3.txt。文件里面随意输入些内容。 命令如下: vi txt1.txt vi txt2.txt vi txt3.txt (1)列出子目录或子文件 列出 HDFS 当前用户家目录下的文件及文件夹(前提:家目录已经存在&…

(超详细)HDFS常用命令及HDFS API基础编程

HDFS常用命令及基础编程 JunLeon——go big or go home 目录 HDFS常用命令及基础编程 一、HDFS概述 1、什么是HDFS? 2、HDFS数据存储模式——数据块(block) 3、HDFS的副本存放策略及机架感知 (1)副本存放策略&a…

HDFS常用命令汇总

HDFS常用命令汇总 一、前言信息二、帮助信息查看1、查看帮助信息2、帮助文档(附带命令的详细说明) 三、常用命令1、创建目录2、查看目录下的内容3、上传文件4、上传并删除源文件5、查看文件内容6、查看文件开头内容7、查看文件末尾内容8、下载文件9、合并…

大数据笔记 | HDFS 常用操作命令

目录 一、HDFS 命令前缀 二、ls 命令 三、put 命令 四、moveFromLocal 命令 五、get 命令 六、rm 命令 七、mkdir 命令 八、cp 命令 九、mv 命令 十、cat 命令 十一、appendToFile 命令 十二、总结 HDFS 是 Hadoop Distributed File System 的简写,即 H…

HTML encode Decode

System.Web.dll中,System.Web.HttpUtility.HtmlEncode(string s)方法的原理是这样的: 首先判断传入的字符串是否为null,如果是,则返回null if (s null ) ... { return null; } 然后,尝试在传入的字符…

html代码

hello 这是一个模拟黑客的玩意 <!DOCTYPE html> <html xmlns"http://www.w3.org/1999/xhtml"><head><meta http-equiv"Content-Type" content"text/html; charsetUTF-8"> <meta charset"UTF-8"><li…

C# .net 几种HtmlEncode,HtmlDecode的区别

一、C#中的编码 HttpUtility.HtmlDecode、HttpUtility.HtmlEncode与Server.HtmlDecode、Server.HtmlEncode与HttpServerUtility.HtmlDecode、HttpServerUtility.HtmlEncode的区别&#xff1f; 它们与下面一般手工写的代码有什么区别&#xff1f; [c-sharp] view plaincopy pu…

【C#】C#中的HtmlEncode与HtmlDecode:HttpUtility.HtmlEncode,Server.HtmlEncode,WebUtility.HtmlEncode

HtmlEncode(String) 将字符串转换为 HTML 编码字符串。 HtmlDecode(String) 将已经为 HTTP 传输进行过 HTML 编码的字符串转换为已解码的字符串。 在web端项目中通常使用HttpUtility.HtmlEecode&#xff0c;HttpUtility.HtmlDecode&#xff0c;Server.HtmlEncode&#xff0c;Se…

js htmlEncode

javascript处理HTML的Encode(转码)和Decode(解码)总结 HTML的Encode(转码)和解码(Decode)在平时的开发中也是经常要处理的&#xff0c;在这里总结了使用javascript处理HTML的Encode(转码)和解码(Decode)的常用方式 一、用浏览器内部转换器实现转换 1.1.用浏览器内部转换器实现…

READNE.md 语法

标题列表引用代码块链接图片分割线表格 1. 标题 # 一级标题 ## 二级标题 ### 三级标题 #### 四级标题 ##### 五级标题 ###### 六级标题 2. 列表 2.1 有序列表 直接在前面写数字序号&#xff1a; 1. a 2. bc 3. 1234 2.2 无序列表 有三种方式&#xff1a;""、&qu…

# 今天要讲一下我所用的md语法

今天要讲一下我所用的md语法 首先md是一种标记语言&#xff0c;我们不要把它想的过于复杂&#xff0c;其实对于经常探索新知识的人来说上手速度非常快。 下面讲一下基本语法 标题语法 一级标题&#xff1a;# Heading level 1二级标题&#xff1a;## Heading level 2二级标题&…

.MD语法入门,教你写好readme文档

.md即markdown文件的基本常用编写语法,是一种快速标记、快速排版语言&#xff0c;现在很多前段项目中的说明文件readme等都是用.md文件编写的&#xff0c;而且很多企业也在在鼓励使用这种编辑方式&#xff0c;特别作为一个前端从业者更要学会使用这种语言。下面就简单和大家分享…

编辑MD文件的语法格式

这里写自定义目录标题 欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题&#xff0c;有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants 创建一个自定义列表如何创建一个…

.md,markdown文件的基本常用编写语法

序言&#xff1a; 很久没有写博客了&#xff0c;感觉只要是不写博客&#xff0c;人就很变得很懒&#xff0c;学的知识点感觉还是记不住&#xff0c;渐渐地让我明白&#xff0c;看的越多&#xff0c;懂的越少&#xff08;你这话不是有毛病吗&#xff1f;应该是看的越多&#xff…