本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用亚马逊监控 EMR HBase CloudWatch
从 EMR 7.0 开始,亚马逊 EMR 提供亚马逊 CloudWatch 代理向 CloudWatch 或 Prometheus 发送指标,取代了 Ganglia 监控系统。您可以在亚马逊 CloudWatch 代理配置指南中找到更多详细信息。
EMR 7.0 Amazon CloudWatch 代理提供了基本集成,设置需要手动操作,例如下载组件和使用引导操作。但是从 EMR 7.1 开始,该过程得到了简化。在 EMR 7.1 中使用亚马逊 CloudWatch 代理可以轻松监控系统级指标和应用程序特定指标,包括 HBase 指标。通过使用 EMR 配置 API,您可以快速设置和自定义指标收集流程,并选择将数据发送到何处——发送到亚马逊 CloudWatch 或 Prometheus。这种灵活性有助于您密切关注 HBase 集群,确保它们平稳高效地运行。
使用 EMR 配置 API 处理整个设置,使过程更加顺畅。EMR 7.1 中的 CloudWatch 代理支持三种主要的指标类型:
系统指标 — 包括系统性能的关键指标,例如:CPU 使用率、磁盘使用率、内存使用率、网络 I/O、进程和交换空间使用率。
Hadoop 守护程序指标 — 这些指标与 Hadoop 的各个组件有关,包括: DataNode 指标、指标、YARN 指标和 NameNode YARN NodeManager 指标。 ResourceManager
HBase 指标:这些指标提供了有关 HBase 性能的见解:HBase Master 指标、HBase Region Server 指标、HBase REST Server 指标和 HBase Thrift Server 指标。
- Using the AWS CLI
-
Hadoop 和 HBase 的所有指标都是 JMX-based,这意味着它们使用 Java 管理扩展来提供详细的见解。您可以通过以下方式设置亚马逊 CloudWatch 代理来监控 HBase:
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
有关指标的 JSON 示例配置的更多信息,请参阅设置指标。
- Using the console
-
要通过控制台使用 Amazon CloudWatch 代理创建集群,请执行以下步骤:
使用控制台中的 CloudWatch 代理创建集群
-
登录并打开 Amazon EMR 控制台 AWS 管理控制台,网址为https://console.aws.amazon.com/emr。
-
选择创建集群。
-
在名称和应用程序下,选择 7.0.0 或更高版本的 Amazon EMR 发行版。
在 “应用程序包” 下,选择要安装到集群的 HBase 和其他应用程序,并在您的选择 CloudWatch 中包括代理。
展开软件设置。然后,您可以在控制台中使用 JSON 或以阴影文本表示的简写语法直接输入配置。否则,您可以为具有 JSON Configurations 对象的文件提供一个 Amazon S3 URI。有关指标的 JSON 示例配置的更多信息,请参阅设置指标。
继续创建集群以满足您的应用场景需求。