HDFS shell命令行

?shell命令行解释说明

• 命令行界面（CLI：command-line interface),用户通过键盘输入指令，计算机接受到质量后，予以执行一种人际交互方式。

• Hadoop文件系统shell命令客户端 ：hadoop fs

• HDFS Shell CLI支持 多种文件系统

  • 本地：file:///

  • 分布式：hdfs://nn:8020

  [root@node1 ~]# hadoop fs -ls file:///
  Found 20 items
  ... #此处省略
  drwxr-xr-x   - root root          6 2018-04-11 00:59 file:///home
  dr-xr-xr-x   - root root       4096 2023-06-12 11:18 file:///lib
  dr-xr-xr-x   - root root      24576 2023-06-12 11:48 file:///lib64
  drwxr-xr-x   - root root          6 2018-04-11 00:59 file:///media
  ... 
  
  [root@node1 ~]# hadoop fs -ls hdfs://node1:8020/
  Found 2 items
  drwx------   - root supergroup          0 2023-06-13 01:41 hdfs://node1:8020/tmp
  drwxr-xr-x   - root supergroup          0 2023-06-13 01:41 hdfs://node1:8020/user
  
  

• 如果没有指定前缀，默认读取fs.defaultFS属性，以该值作为默认文件系统

  [root@node1 ~]# hadoop fs -ls /
  Found 2 items
  drwx------   - root supergroup          0 2023-06-13 01:41 /tmp
  drwxr-xr-x   - root supergroup          0 2023-06-13 01:41 /user
  
  #默认配置
  [root@node1 ~]# cat /export/server/hadoop-3.3.0/etc/hadoop/core-site.xml
  ...#此处省略
  <configuration>
  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://node1:8020</value>
  </property>
  ...#此处省略
  

?️shell命令行常用操作

官方文档地址：

Hadoop Shell命令

• 基本结构与Linux操作命令相同
• 这里挑选一些与Linux命令不同之处来进行说明
• 简单演示：

#上传文件至 /
[root@node1 ~]# hadoop fs -put anaconda-ks.cfg  /
#查看
[root@node1 ~]# hadoop fs -ls /
Found 3 items
-rw-r--r--   3 root supergroup       1228 2023-06-13 04:00 /anaconda-ks.cfg
drwx------   - root supergroup          0 2023-06-13 01:41 /tmp
drwxr-xr-x   - root supergroup          0 2023-06-13 01:41 /user
#人性化查看 
[root@node1 ~]# hadoop fs -ls -h /
Found 3 items
-rw-r--r--   3 root supergroup      1.2 K 2023-06-13 04:00 /anaconda-ks.cfg
drwx------   - root supergroup          0 2023-06-13 01:41 /tmp
drwxr-xr-x   - root supergroup          0 2023-06-13 01:41 /user

• hadoop fs -get [-f] [-p] <src> ... <localdst>

下载文件到本地文件系统指定目录，localdst必须是目录

-f 覆盖目标文件（已存在下）

-p 保留访问和修改时间，所有权和权限。

#把hdfs/tmp传到客户端本地当前目录
[root@node1 ~]# hadoop fs -get /tmp ./
[root@node1 ~]# ls
tmp

• hadoop fs -appendToFile <localsrc> ... <dst>

  将所有给定本地文件的内容追加到给定dst文件。

  dst如果文件不存在，将创建该文件。

  如果为-，则输入为从标准输入中读取。

  
  [root@node1 ~]# echo had >> hadoop.txt
  [root@node1 ~]# ls
  hadoop.txt
  [root@node1 ~]# hadoop fs -put hadoop.txt /
  [root@node1 ~]# hadoop fs -cat /hadoop.txt
  had
  [root@node1 ~]# echo oop >> oop.txt
  [root@node1 ~]# hadoop fs -appendToFile oop.txt  /hadoop.txt
  [root@node1 ~]# hadoop fs -cat /hadoop.txt
  had
  oop