Hadoop HDFS分布式文件系统

引言：我们维护hadoop系统的时候，必不可少需要对HDFS分布式文件系统做操作，例如拷贝一个文件/目录，查看HDFS文件系统目录下的内容，删除HDFS文件系统中的内容（文件/目录），还有HDFS管理信息，单独启动停止 namenodedatanodejobtrackertasktracker等等一系列的操作。大家跟着做一遍呢！就会对HDFS的体系架构有更加深入的理解，不多说我们开始吧。
环境
操作系统：centos 6.0
hadoop版本：0.20.2
部署目录：/home/grid/hadoop-0.20.2
名称节点元数据位置：/home/grid/hadoop-0.20.2/tmp
数据节点数据位置：/home/grid/hadoop-0.20.2/data
master节点：h1
slave节点：h2 h4
master 和 slave 节点进程状态 ，现在进程都在启动着
[grid@h1 bin]$ jps
5182 Jps
4600 NameNode
4791 JobTracker
4728 SecondaryNameNode
[grid@h2 ~]$ jps
4471 Jps
3935 DataNode
4012 TaskTracker
[grid@h4 ~]$ jps
4001 TaskTracker
4508 Jps
3924 DataNode
[grid@h1 grid]$ mkdir input linux命令，创建一个input目录
[grid@h1 grid]$ ll
总用量 44
drwxr-xr-x. 14 grid hadoop 40969月2 20:29 hadoop-0.20.2
drwxr-xr-x.2 grid hadoop 40969月 16 19:56 input
drwxr-xr-x.7 grid hadoop 4096 10月 22 2009 vmware-tools-distrib
drwxr-xr-x.2 grid hadoop 40969月1 13:55 公共的
drwxr-xr-x.2 grid hadoop 40969月1 13:55 模板
drwxr-xr-x.2 grid hadoop 40969月1 13:55 视频
drwxr-xr-x.2 grid hadoop 40969月1 13:55 图片
drwxr-xr-x.2 grid hadoop 40969月1 13:55 文档
drwxr-xr-x.2 grid hadoop 40969月1 13:55 下载
drwxr-xr-x.2 grid hadoop 40969月1 13:55 音乐
drwxr-xr-x.3 grid hadoop 40969月2 18:50 桌面
[grid@h1 grid]$ cd input/ linux命令，进入目录
[grid@h1 input]$ echo "hello leonarding" > test1.txt linux命令，把字符串"hello leonarding"重定向到test1.txt
[grid@h1 input]$ echo "hello world" > test2.txt linux命令，把字符串"hello world"重定向到test2.txt
[grid@h1 input]$ cat test1.txt linux命令，查看test1.txt文件内容
hello leonarding
[grid@h1 input]$ cat test2.txt linux命令，查看test2.txt文件内容
hello world
[grid@h1 input]$ cd ../hadoop-0.20.2/ linux命令，进入hadoop-0.20.2目录
[grid@h1 input]$ cd /usr/java/jdk1.6.0_25/bin
[grid@h1 bin]$ jps 直接输入jps=java进程统计
28037 NameNode 名称节点
32455 Jps
28220 SecondaryNameNode 辅助名称节点
28259 JobTracker 作业跟踪器

1.把linux操作系统的input目录拷贝到hadoop文件系统中重命名为in目录
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -put ../input in 把linux操作系统的input目录拷贝到hadoop文件系统中重命名为in目录12/09/16 20:18:20 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 192.168.2.103:50010 没有关闭防火墙
12/09/16 20:18:20 INFO hdfs.DFSClient: Abandoning block blk_-2034091982680781464_102612/09/16 20:18:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack withfirstBadLink192.168.2.103:5001012/09/16 20:18:26 INFO hdfs.DFSClient: Abandoning block blk_-3493343259834508347_102612/09/16 20:18:32 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink 192.168.2.103:50010
12/09/16 20:18:32 INFO hdfs.DFSClient: Abandoning block blk_4302532573839164645_1026
12/09/16 20:18:38 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: No route to host12/09/16 20:18:38 INFO hdfs.DFSClient: Abandoning block blk_4602162403828631999_1026
12/09/16 20:18:44 WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2845) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)12/09/16 20:18:44 WARN hdfs.DFSClient: Error Recovery for block blk_4602162403828631999_1026 bad datanode[0] nodes == null12/09/16 20:18:44 WARN hdfs.DFSClient: Could not get block locations. Source file "/user/grid/in/input/test2.txt" - Aborting...
put: No route to host12/09/16 20:18:44 ERROR hdfs.DFSClient: Exception closing file /user/grid/in/input/test2.txt : java.net.NoRouteToHostException: No route to hostjava.net.NoRouteToHostException: No route to host at sun.nio.ch.SocketChannelImpl.checkConnect(Natve Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567) at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206) at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:404) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.createBlockOutputStream(DFSClient.java:2870) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:2826) atorg.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2000(DFSClient.java:2102) at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2288)
小结：这是没有关闭Linux防火墙造成的，使用 service iptables stop/start临时关闭/开启chkconfig iptables off/on永久关闭/开启防火墙命令来控制防火墙，关闭之后就可以顺利的进行下面操作了。

[grid@h1 grid]$ hadoop dfs -put abc.txt abc 把linux操作系统东西拷贝到hadoop文件系统中并重命名abc
[grid@h1 grid]$ hadoop dfs -ls abc文件已经在hadoop文件系统根目录下了
Found 3 items
-rw-r--r-- 2 grid supergroup 44 2012-09-18 19:12 /user/grid/abc 随机存放到某一个节点
drwxr-xr-x - grid supergroup 0 2012-09-17 19:44 /user/grid/in
drwxr-xr-x - grid supergroup 0 2012-09-17 20:41 /user/grid/out

2.查看hadoop文件系统中根目录下in子目录中所有内容

[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls 查看hadoop文件系统根目录内容
Found 1 items
drwxr-xr-x - grid supergroup 0 2012-09-17 19:44 /user/grid/in 只有一个in目录
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls ./in/* 查看hadoop文件系统中根目录下in子目录内容
-rw-r--r-- 2 grid supergroup 17 2012-09-17 19:44 /user/grid/in/test1.txt 有 2个 文件
-rw-r--r-- 2 grid supergroup 12 2012-09-17 19:44 /user/grid/in/test2.txt
小结：Hadoop没有当前目录的概念，当然也不能进入in目录，更没有cd命令。所以查看时必须输入目录路径

3.测试map_reduce系统是否可以正常工作，map reduce 采用“就近分配节点”原则执行数据
jar包：/home/grid/hadoop-0.20.2/hadoop-0.20.2-examples.jar 安装hadoop时从源代码拷贝过来的，我们可以直接使用
[grid@h1 hadoop-0.20.2]$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out 把这个jar包里wordcount功能提交给map_reduce当做一个作业运行，测试map_reduce系统是否可以正常工作，in输入数据目录（数据源） out 输出数据目录（即输出到哪里）
12/09/17 20:39:06 INFO input.FileInputFormat: Total input paths to process : 2
12/09/17 20:39:07 INFO mapred.JobClient: Running job: job_201209172027_0002 运行作业号“2012年9月17日1856不是时间”
12/09/17 20:39:08 INFO mapred.JobClient:map 0% reduce 0%
12/09/17 20:40:34 INFO mapred.JobClient:map 50% reduce 0%
12/09/17 20:40:49 INFO mapred.JobClient:map 100% reduce 0% mapreduce进度
12/09/17 20:41:02 INFO mapred.JobClient:map 100% reduce 100%
12/09/17 20:41:04 INFO mapred.JobClient: Job complete: job_201209172027_0002 作业完成
12/09/17 20:41:04 INFO mapred.JobClient: Counters: 17
12/09/17 20:41:04 INFO mapred.JobClient: Job Counters 作业计数器
12/09/17 20:41:04 INFO mapred.JobClient: Launched reduce tasks=1 启动reduce任务1个
12/09/17 20:41:04 INFO mapred.JobClient: Launched map tasks=3 启动map任务3个
12/09/17 20:41:04 INFO mapred.JobClient: Data-local map tasks=3
12/09/17 20:41:04 INFO mapred.JobClient: FileSystemCounters 文件系统计数器
12/09/17 20:41:04 INFO mapred.JobClient: FILE_BYTES_READ=59
12/09/17 20:41:04 INFO mapred.JobClient: HDFS_BYTES_READ=29
12/09/17 20:41:04 INFO mapred.JobClient: FILE_BYTES_WRITTEN=188
12/09/17 20:41:04 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=29
12/09/17 20:41:04 INFO mapred.JobClient: Map-Reduce Framework map_reduce框架
12/09/17 20:41:04 INFO mapred.JobClient: Reduce input groups=3 reduce输入组3
12/09/17 20:41:04 INFO mapred.JobClient: Combine output records=4 合并输出记录4
12/09/17 20:41:04 INFO mapred.JobClient: Map input records=2 map输入记录2
12/09/17 20:41:04 INFO mapred.JobClient: Reduce shuffle bytes=65 reduce shuffle=预处理 减少计算量 算的更快
12/09/17 20:41:04 INFO mapred.JobClient: Reduce output records=3 reduce输出记录3
12/09/17 20:41:04 INFO mapred.JobClient: Spilled Records=8 溢出记录8
12/09/17 20:41:04 INFO mapred.JobClient: Map output bytes=45 map输出字节45
12/09/17 20:41:04 INFO mapred.JobClient: Combine input records=4 合并输入记录4
12/09/17 20:41:04 INFO mapred.JobClient: Map output records=4 map输出记录4
12/09/17 20:41:04 INFO mapred.JobClient: Reduce input records=4 reduce输入记录4
浏览器：http://192.168.2.102:50030/jobtracker.jsp 这里有job更详细的信息
小结：报错信息【org.apache.hadoop.util.DiskChecker$DiskErrorException: Could no find taskTracker/jobcache/job_201209171856_0001/attempt_201209171856_0001_m_000000_0/output/file.out.index in any of the configured local directories】请执行stop-all.sh -> start-all.sh 重启hadoop所有进程

4.列出根目录下所有内容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls
Found 2 items
drwxr-xr-x - grid supergroup 0 2012-09-17 19:44 /user/grid/in
drwxr-xr-x - grid supergroup 0 2012-09-17 19:56 /user/grid/out
列出根目录下out子目录所有内容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -ls ./out/
Found 2 items
drwxr-xr-x - grid supergroup 0 2012-09-17 20:39 /user/grid/out/_logs
-rw-r--r-- 2 grid supergroup 29 2012-09-17 20:40 /user/grid/out/part-r-00000

5.查看part-r-00000文件内容
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -cat /user/grid/out/part-r-00000 必须写绝对路径，因为hadoop下没有当前目录概念
hello 2 统计单词出现2次
leonarding 1 统计单词出现1次
world 1 统计单词出现1次
小结：cat 对象必须是文件，不能对目录查看

6.删除hadoop文件系统文件和目录
必须选项 -rmr 不能-rm use -rmr instead
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in/input/test2.txt 删除hadoop文件系统里的test2.txt文件，一定要加目录路径
Deleted hdfs://h1:9000/user/grid/in/input/test2.txt
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in/test2.txt 删除hadoop文件系统文件，一定要加目录路径
Deleted hdfs://h1:9000/user/grid/in/test2.txt
[grid@h1 hadoop-0.20.2]$ bin/hadoop dfs -rmr /user/grid/in 删除in目录
Deleted hdfs://h1:9000/user/grid/in
h2h4的Linux操作系统上面看文件是不是已经被删除了，占用block已经被释放了
小结：删除HDFS文件系统内文件和目录时选项必须要写 -rmr而不能 -rm哦

7.从Linux操作系统上看hadoop文件存放在哪里 数据只会存放在数据节点h2h4，而不会存放在名称节点 h1

[grid@h4 current]$ pwd
/home/grid/hadoop-0.20.2/data/current
[grid@h4 current]$ ll h4节点
总用量 224
-rw-r--r--. 1 grid hadoop 179月 17 19:44 blk_1740766816993665795
-rw-r--r--. 1 grid hadoop 119月 17 19:44 blk_1740766816993665795_1013.meta
-rw-r--r--. 1 grid hadoop 91519月 17 20:41 blk_5787152218309601238
-rw-r--r--. 1 grid hadoop 799月 17 20:41 blk_5787152218309601238_1026.meta
-rw-r--r--. 1 grid hadoop 1424669月 17 20:35 blk_-5912167526685784374
-rw-r--r--. 1 grid hadoop 11239月 17 20:35 blk_-5912167526685784374_1020.meta
-rw-r--r--. 1 grid hadoop 49月 17 20:28 blk_618795584037082806
-rw-r--r--. 1 grid hadoop 119月 17 20:28 blk_618795584037082806_1019.meta
-rw-r--r--. 1 grid hadoop 299月 17 20:40 blk_-6836333776136840432
-rw-r--r--. 1 grid hadoop 119月 17 20:40 blk_-6836333776136840432_1026.meta
-rw-r--r--. 1 grid hadoop 129月 17 19:44 blk_7008012568223069759
-rw-r--r--. 1 grid hadoop 119月 17 19:44 blk_7008012568223069759_1012.meta
-rw-r--r--. 1 grid hadoop167379月 17 20:39 blk_8327174067432266416
-rw-r--r--. 1 grid hadoop 1399月 17 20:39 blk_8327174067432266416_1025.meta
-rw-r--r--. 1 grid hadoop 17349月 18 07:51 dncp_block_verification.log.curr
-rw-r--r--. 1 grid hadoop 1589月 17 20:27 VERSION
[grid@h2 current]$ ll h2节点
总用量 224
-rw-r--r--. 1 grid hadoop 179月 17 19:44 blk_1740766816993665795
-rw-r--r--. 1 grid hadoop 119月 17 19:44 blk_1740766816993665795_1013.meta
-rw-r--r--. 1 grid hadoop 91519月 17 20:41 blk_5787152218309601238
-rw-r--r--. 1 grid hadoop 799月 17 20:41 blk_5787152218309601238_1026.meta
-rw-r--r--. 1 grid hadoop 1424669月 17 20:35 blk_-5912167526685784374
-rw-r--r--. 1 grid hadoop 11239月 17 20:35 blk_-5912167526685784374_1020.meta
-rw-r--r--. 1 grid hadoop 49月 17 20:28 blk_618795584037082806
-rw-r--r--. 1 grid hadoop 119月 17 20:28 blk_618795584037082806_1019.meta
-rw-r--r--. 1 grid hadoop 299月 17 20:40 blk_-6836333776136840432
-rw-r--r--. 1 grid hadoop 119月 17 20:40 blk_-6836333776136840432_1026.meta
-rw-r--r--. 1 grid hadoop 129月 17 19:44 blk_7008012568223069759
-rw-r--r--. 1 grid hadoop 119月 17 19:44 blk_7008012568223069759_1012.meta
-rw-r--r--. 1 grid hadoop167379月 17 20:39 blk_8327174067432266416
-rw-r--r--. 1 grid hadoop 1399月 17 20:39 blk_8327174067432266416_1025.meta
-rw-r--r--. 1 grid hadoop 15419月 18 07:51 dncp_block_verification.log.curr
-rw-r--r--. 1 grid hadoop 1589月 17 20:27 VERSION
小结：hadoop数据只在datanode节点保存（h2 h4）不在namenode保存，由于我设置了 数据块复制2份，那么在h2 h4 里面文件都是一模一样的（冗余防错）hdfs_site.xml -> <name>dfs.data.dir</name>指定数据节点存放数据位置 /home/grid/hadoop-0.20.2/data/
hadoop一个文件是由数据块组成，容量最大不超过64M，是由数据和元数据组成。
datanode文件采用一次性写入多次读，不需修改，可以删除在重新写入
NAMENODE介绍
namenode节点中保存是映像文件和事务日志，即元数据，如果元数据被破坏了，那么我们整个HDFS系统就崩溃了
映像文件：存放文件系统命名空间 ，例如 文件映像文件属性
事务日志：存放HDFS元数据记录
什么是元数据：记录每个文件数据块在各个datanode上位置和副本（文件数据块都放在哪个节点上，副本有几个），元数据也可以复制多个副本，只在namenode里添加副本，缺点就是副本越多，空间利用率越小，安全性越大，速度越慢
namenode冗余：namenode是HDFS文件系统总控节点，但它是一个单点，如果出现故障也需要手动切换到secondarynamenode SNN
namenode不参与实际数据传输，只负责元数据查询
namenode元数据位置：
[grid@h1 current]$ pwd
/home/grid/hadoop-0.20.2/tmp/dfs/name/current
[grid@h1 current]$ ll
总用量 16
-rw-r--r--. 1 grid hadoop 49月 18 08:58 edits 事务日志
-rw-r--r--. 1 grid hadoop 21309月 18 08:58 fsimage 映像文件
-rw-r--r--. 1 grid hadoop 89月 18 08:58 fstime 事务日志
-rw-r--r--. 1 grid hadoop1019月 18 08:58 VERSIO

8.hadoop文件系统的管理报告，即HDFS基本统计信息
[grid@h4 ~]$ hadoop dfsadmin -report h4 节点
Configured Capacity: 19865944064 (18.5 GB) 分配总容量
Present Capacity: 8934457344 (8.32 GB)
DFS Remaining: 8933957632 (8.32 GB) DFS剩余容量
DFS Used: 499712 (488 KB) DFS已使用容量
DFS Used%: 0.01% DFS已使用百分比
Under replicated blocks: 1 复制成功块数
Blocks with corrupt replicas: 0 复制失败块数
Missing blocks: 0 丢失块数
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead) 数据节点有效
Name: 192.168.2.103:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5350871040 (4.98 GB) linux容量非DFS使用的
DFS Remaining: 4581851136(4.27 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 46.13% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接

Name: 192.168.2.105:50010 h2数据节点ip和端口
Decommission Status : Normal 状态正常
Configured Capacity: 9932972032 (9.25 GB) 配置总容量
DFS Used: 249856 (244 KB) DFS使用量
Non DFS Used: 5580615680 (5.2 GB) linux容量非DFS使用的
DFS Remaining: 4352106496(4.05 GB) DFS剩余容量
DFS Used%: 0% DFS已使用百分比
DFS Remaining%: 43.81% DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012 最后的联接

9.单独启动停止 namenodedatanodejobtrackertasktracker
单独启动/停止 namenode start-dfs.sh/stop-dfs.sh
单独启动/停止 datanode hadoop-daemon.sh start datanode/hadoop-daemon.sh stop datanode
单独启动/停止 jobtracker hadoop-daemon.sh start tasktracker/hadoop-daemon.sh stop tasktracker
单独启动/停止 tasktracker start-mapred.sh/stop-mapred.sh
举例
[grid@h4 bin]$ pwd
/home/grid/hadoop-0.20.2/bin
[grid@h4 bin]$ jps
27736 Jps
17119 DataNode
17230 TaskTracker
[grid@h4 bin]$ hadoop-daemon.sh stop tasktracker 停止tasktracker
stopping tasktracker
[grid@h4 bin]$ jps
27783 Jps
17119 DataNode
[grid@h4 bin]$ hadoop-daemon.sh start tasktracker 启动tasktracker
starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h4.out
[grid@h4 bin]$ jps
27829 TaskTracker 已经重新启动，pid都改变了
17119 DataNode
27868 Jps
[grid@h4 bin]$ pwd
/home/grid/hadoop-0.20.2/bin

10.均衡负载
[grid@h4 bin]$ start-balancer.sh
starting balancer, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-balancer-h4.out
场合：新增节点 或 节点故障把所有数据块重新均衡负载到各各节点上，包括新增节点。例如 几个G数据，均衡负载十几分钟