修改hadoop的备份系数dfs.replication

hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。本文就讨论一下这个问题。 Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数

hadoop中常常需要增加新的节点，或者变更备份系数。在完成这些操作后，往往出现数据未自动备份，或者数据节点不可用的情况。本文就讨论一下这个问题。

Hadoop的备份系数是指每个block在hadoop集群中有几份，系数越高，冗余性越好，占用存储也越多。备份系数在hdfs-site.xml中定义，默认值为3.

如何变更备份系数?

首先stop-all.sh停止节点，修改master节点的hdfs-site.xml文件，设置dfs.relication值为目标值。启动hadoop集群。

查看文件的备份系数：hadoop dfs -ls [filename] 结果行中的第二列是备份系数 （注：文件夹信息存储在namenode节点上，所以没有备份，故文件夹的备份系数是横杠）

在操作后会发现，以前文件的备份系数仍是原来的值。原来hadoop并不会自动的按照新的备份系数调整，我们需要手动完成。

查看hadoop集群的备份冗余情况：hadoop fsck / 我很喜欢的命令，可以方便的看到各种类型block所占比例。

新智能企业网站管理系统2.1

系统管理：密码管理、系统配置、数据库备份、后台日志管理 管理员管理模块：管理员的添删改查以及管理员的权限设置 会员管理系统：注册会员的管理 IP锁定管理：IP地址的锁定 企业信息模块：公司简介、公司文化等栏目的随意设置 新闻系统模块：公司新闻、文章发布 产品系统模块：包括产品类别管理 友情连接模块：友情连接管理 招聘系统模块：招聘发布以及应聘管理 在线留言系统：客户留言信息的管理

0

查看详情

我们发现Average block replication的值仍然为旧值，所以我们需要修改hdfs中文件的备份系数。

修改hdfs文件备份系数：hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。hadoop dfs -setrep -w 3 -R /user/hadoop/dir1 就是把目录下所有文件备份系数设置为3.

如果再fsck时候出错，往往是由于某些文件的备份不正常导致的，可以用hadoop的balancer工具修复

自动负载均衡hadoop文件：hadoop balancer

查看各节点的磁盘占用情况 hadoop dfsadmin -report

原文地址：http://blog.csdn.net/awayyao/article/details/7616057

原文地址：修改hadoop的备份系数dfs.replication, 感谢原作者分享。