1.文档编写目的

 

对于多租户共同使用的Hadoop平台，HDFS配额设置非常重要。如果没有配额管理，很容易将所有空间用完导致其他租户无法正常存取数据，严重的可能导致HDFS集群宕掉。HDFS的配额是针对目录而不是租户（用户），所以在管理上最好能让租户只能操作某一类目录，然后对这一类目录进行配额设置。接下来Fayson主要介绍如何在Cloudera Manager上对指定HDFS目录设置配额。

• 测试环境：

1.RedHat7.2

2.CDH5.16.1

2.Hadoop配额说明

 

Hadoop提供两种配额模式Name Quotas和Space Quotas。Name Quotas和Space Quotas是相互独立的（即可以同时设置两种配额也可以只设置其中一个，互不冲突）。

Name Quotas说明：

主要限制指定HDFS路径下文件和目录数目（含父目录），但不会对该目录下文件大小做限制。

Space Quotas说明：

主要是下限值指定HDFS路径下文件大小，但不会目录下的文件数量做限制，每个Block的副本都会计入配额。

设置目录Name Quotas命令如下：

hdfs dfsadmin -setQuota <N> <directory>...<directory>

 

清除目录Name Quotas命令如下：

hdfs dfsadmin -clrQuota <directory>...<directory>

 

设置目录Space Quotas命令如下：

hdfs dfsadmin -setSpaceQuota <N> <directory>...<directory>

 

清除目录Space Quotas命令如下：

hdfs dfsadmin -clrSpaceQuota <directory>...<directory>

 

查看指定目录配额使用情况，命令如下:

hadoop fs -count -q [-h] [-v] <directory>...<directory>

 

 

显示Name和Space配额，如果未设置的配额的类型则返回结果显示none和inf。

3.HDFS目录配额测试

 

1.使用hadoop命令创建一个测试目录/testquota

[root@node1 ~]# hadoop fs -mkdir /testquota
[root@node1 ~]# hadoop fs -ls /

 

 

注意：在命令行创建测试目录后，在CM上的文件浏览器里面未看到测试目录有相应的“编辑配额”菜单，因为Report Manager服务必须先为该目录或文件索引（默认刷新频率为1小时），然后才可以为其设置配额。

2.登录CM进入HDFS服务的“文件浏览器”设置目录配额，如下图所示

 

3.点击“编辑配额”为testquota目录配置Name Quotas为2，在命令行进行测试

[root@node1 ~]# hadoop fs -put test.txt /testquota
[root@node1 ~]# hadoop fs -put user.ldif /testquota
[root@node1 ~]# hadoop fs -ls -R /testquota

 

 

如上截图连续向/testquota目录下put文件，发现在put到第二个文件时失败提示该目录已达到配额限制，说明Name Quotas的配额是计算了父目录。

[root@node1 ~]# hadoop fs -mkdir /testquota/test

 

 

在/testquota目录下创建test目录也同样提示达到配额限制，说明目录也是在Name Quotas计算内的。

如下为CM上的配额显示：

 

4.继续点击“编辑配额”为/testquota目录设置Space Quotas

 

配置成功后CM上显示如下：

 

5.在命令行进行测试

[root@node1 hadoop-hdfs]# hadoop fs -put hadoop-cmf-hdfs-NAMENODE-node1.log.out.1 /testquota
[root@node1 hadoop-hdfs]# hadoop fs -put hadoop-cmf-hdfs-NAMENODE-node1.log.out.2 /testquota
[root@node1 hadoop-hdfs]# hadoop fs -ls /testquota

 

 

准备了3个201MB的测试文件，通过测试可以看到，向/testquota目录put到第二文件时已经报错，提示配额空间已超过1GB无法写入。说明Space Quotas配额计算方式包含了Block的副本大小，因此导致put第二个文件时超出1GB的配额失败。

4.总结

 

1.Name Quotas是针对文件和目录数量进行配额，计算方式为指定目录及目录下的文件和目录数量总和，如果目录配额设置为1则该目录禁止任何写入。

2.Space Quotas主要是对目录下空间大小进行限制，每个Block副本大小均会被计算在内。

3.指定的HDFS路径可以同时指定Name Quotas和Space Quotas，如果达到其中任何一个配额限制则会操作失败。

4.新建的HDFS目录不能及时的通过CM的“文件浏览器”界面为期设置配额，主要是由于Report Manager服务需要先为目录或文件建立索引，然后才能设置配额，可以通过如下缩短建立索引周期