HBase 早期 AMI 版本的 Amazon EMR 的应用程序细节

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

支持的 HBase 版本

HBase 集群先决条件

使用 Amazon EMR AMI 版本 2.x 和 3.x 创建的集群应满足以下要求。 HBase

使用创建集群 HBase

下表列出了使用 Amazon EMR AMI 发行版 HBase 使用控制台创建集群时可用的选项。

以下示例 AWS CLI 命令启动带有 HBase 和其他应用程序的集群：

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

在 Hive 和 HBase 集群之间建立连接后（如前面的过程所示），您可以通过在 Hive 中创建外部表来访问存储在 HBase 集群上的数据。

以下示例在 Hive 提示符下运行时，会创建一个外部表，该表引用存储在名inputTable为的 HBase 表中的数据。然后，您可以inputTable在 Hive 语句中引用以查询和修改存储在 HBase 集群中的数据。

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

自定义配置 HBase

尽管默认设置应该适用于大多数应用程序，但您可以灵活地修改 HBase 配置设置。为此，请运行两种引导操作脚本之一：

运行 configu re-hbase 或configure-hbase-daemons引导操作时，您指定的值会覆盖默认值。任何未显式设置的值都会接受默认值。

使用这些引导操作 HBase 进行配置类似于在 Amazon EMR 中使用引导操作来配置 Hadoop 设置和 Hadoop 守护程序属性。不同之处在于 HBase 没有每进程内存选项。取而代之的是，使用--daemon-opts参数设置内存选项，其中替换daemon为要配置的守护程序的名称。

配置 HBase 守护程序

Amazon EMR 提供了一个引导操作s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons，您可以使用该操作来更改 HBase 守护程序的配置，其中region是您要启动集群的区域。 HBase

要使用配置 HBase 守护程序 AWS CLI，请在启动集群时添加configure-hbase-daemons引导操作以配置一个或多个 HBase 守护程序。您可以设置以下属性。

有关这些选项的更多信息，请参阅 HBase 文档中的 hbase-env.sh。

以下示例中显示的是为 zookeeper-opts 和 hbase-master-opts 配置值的引导操作。

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

配置 HBase 站点设置

Amazon EMR 提供了一个引导操作s3://elasticmapreduce/bootstrap-actions/configure-hbase，您可以使用该操作来更改的配置。 HBase您可以将配置值 one-by-one设置为引导操作中的参数，也可以指定 XML 配置文件在 Amazon S3 中的位置。如果您只需要设置几个配置设置， one-by-one则设置配置值非常有用。如果您需要做出很多更改，或如果您要保存配置设置以便重新使用，那么非常适合使用 XML 文件进行设置。

此引导操作修改集群上的/home/hadoop/conf/hbase-site.xml配置文件。 HBase 引导操作只能在 HBase 集群启动时运行。

有关您可以配置的 HBase 站点设置的更多信息，请参阅 HBase 文档中的默认配置。

在configure-hbase启动 HBase 集群时设置引导操作，并在中指定hbase-site.xml要更改的值。

设置代理并打开 SSH 连接后，您可以打开带有 http: //: 60010/master-status 的浏览器窗口来查看 HBase 用户界面master-public-dns-name，其中是集群master-public-dns-name中主节点的公有 DNS 地址。 HBase

您可以使用 SSH 连接到主节点并导航到该mnt/var/log/hbase目录来查看当前 HBase 日志。除非您在集群启动时启用了针对 Amazon S3 的日志记录，否则这些日志将在集群终止后不再可用。

备份和恢复 HBase

Amazon EMR 允许您手动或按自动计划将您的 HBase 数据备份到 Amazon S3。您可以执行完整备份和增量备份。获得备份版本 HBase 的数据后，可以将该版本恢复到集 HBase群。您可以恢复到当前正在运行的 HBase 集群，也可以启动预先填充了备份数据的新集群。

在备份过程中， HBase 继续执行写入命令。虽然这样可确保集群在整个备份过程中都处于可用状态，但存在的风险是，正在备份的数据可能与并行执行的任何写入操作不一致。要了解可能出现的不一致性，您必须考虑在集群中的节点之间 HBase 分配写入操作。如果写入操作发生在轮询特定节点之后，则备份存档中不会包含该数据。您甚至可能会发现，早期对 HBase 集群的写入（发送到已经轮询过的节点）可能不在备份存档中，而后来的写入（在轮询之前发送到节点）则包括在内。

如果需要一致的备份，则必须在备份过程的 HBase 初始部分（跨节点同步）暂停写入。您可以通过在请求备份时指定 --consistent 参数完成此操作。指定此参数后，系统会将此期间的写入操作加入队列并在同步完成后立即执行这些操作。您还可以计划重复备份，一次备份过程中遗失的数据会在后续备份过程中得到备份，从而解决随时间推移而产生的任何不一致问题。

备份 HBase 数据时，应为每个群集指定不同的备份目录。完成此操作的一种简单方法是，将集群标识符用作备份目录指定路径的一部分。例如，s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2。这样可以确保将来的任何 future 增量备份都引用正确的 HBase 群集。

当您准备删除不再需要的旧备份文件时，我们建议您先对 HBase 数据进行完整备份。这样可确保保留所有数据并为以后的增量备份提供基线。完成完整备份后，您可以导航到备份位置并手动删除旧备份文件。

HBase 备份过程使用 S3 DistCp 进行复制操作，这在临时文件存储空间方面有一定的限制。

HBase使用控制台进行备份和恢复

控制台允许启动新集群并使用先前 HBase 备份中的数据填充该集群。它还使您能够计划 HBase 数据的定期增量备份。使用 CLI 时还可以执行其他备份和还原功能，如将数据还原到已在运行的集群、执行手动备份和计划自动完整备份。

HBase 使用监视器 CloudWatch

Amazon EMR 报告了三个指标 CloudWatch ，您可以使用这些指标来 HBase监控备份。这些指标每隔五分钟推送 CloudWatch 一次，并且是免费提供的。

将 Ganglia 配置为 HBase

您可以将 Ganglia 配置为 HBase 使用configure-hbase-for-ganglia引导操作。此引导操作配置为向 Gan HBase glia 发布指标。

启动集群时必须配置 HBase 和 Ganglia；无法将 Ganglia 报告添加到正在运行的集群中。

Ganglia 还可以将日志文件存储在 /mnt/var/log/ganglia/rrds 处的服务器上。如果您配置了集群以将日志文件保存到 Amazon S3 存储桶，Ganglia 日志文件也会保存在那里。

要启动带有 Ganglia 的集群 HBase，请使用configure-hbase-for-ganglia引导操作，如下例所示。

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

在配置了 Ganglia 的情况下启动集群后，您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。