Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Konfigurasikan CloudWatch agen untuk Amazon EMR 7.1.0
Dimulai dengan Amazon EMR 7.1.0, Anda dapat mengonfigurasi CloudWatch agen Amazon untuk menggunakan metrik sistem tambahan, menambahkan metrik aplikasi, dan mengubah tujuan metrik dengan menggunakan API konfigurasi Amazon EMR. Untuk informasi selengkapnya tentang cara menggunakan API konfigurasi EMR untuk mengonfigurasi aplikasi klaster Anda, lihat Mengonfigurasi aplikasi.
catatan
7.1.0 hanya mendukung tipe konfigurasi ulang. OVERWRITE Untuk informasi selengkapnya tentang tipe konfigurasi ulang, lihat Pertimbangan saat Anda mengonfigurasi ulang grup instans.
Topik
Skema konfigurasi
emr-metricsmemiliki klasifikasi sebagai berikut:
-
emr-system-metrics— mengkonfigurasi metrik sistem, seperti CPU, disk, dan memori. -
emr-hadoop-hdfs-datanode-metrics— konfigurasikan metrik Hadoop DataNode JMX -
emr-hadoop-hdfs-namenode-metrics— konfigurasikan metrik Hadoop NameNode JMX -
emr-hadoop-yarn-nodemanager-metrics— konfigurasikan metrik Yarn NodeManager JMX -
emr-hadoop-yarn-resourcemanager-metrics— konfigurasikan metrik Yarn ResourceManager JMX -
emr-hbase-master-metrics— konfigurasikan HBase metrik Master JMX -
emr-hbase-region-server-metrics— konfigurasikan HBase metrik JMX Server Wilayah -
emr-hbase-rest-server-metrics— konfigurasikan HBase metrik REST Server JMX -
emr-hbase-thrift-server-metrics— konfigurasikan HBase metrik JMX Server Hemat
Tabel berikut menjelaskan properti dan konfigurasi yang tersedia untuk semua klasifikasi.
properti emr-metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai | Catatan |
|---|---|---|---|---|---|
metrics_destination |
Opsional | Menentukan apakah metrik klaster dipublikasikan ke Amazon CloudWatch atau Amazon Managed Service untuk Prometheus. | “JAM TANGAN AWAN” | “CLOUDWATCH”, “PROMETHEUS” | Properti ini tidak peka huruf besar/kecil. Misalnya, “Cloudwatch” sama dengan “CLOUDWATCH”. |
prometheus_endpoint |
Opsional | Jika metrics_destination disetel ke “PROMETHEUS”, properti ini mengonfigurasi CloudWatch agen untuk mengirim metrik ke titik akhir penulisan jarak jauh Amazon Managed Service for Prometheus yang disediakan. |
N/A | Layanan Terkelola Amazon yang valid untuk URL penulisan jarak jauh Prometheus. Format URL tulis jarak jauh adalah |
Bidang ini diperlukan jika metrics_destination diatur ke “PROMETHEUS”. Penyediaan akan gagal jika Anda tidak memberikan kunci atau jika nilainya adalah string kosong. |
emr-system-metrics properti
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai | Catatan |
|---|---|---|---|---|---|
metrics_collection_interval |
Opsional | Seberapa sering metrik dikumpulkan dan dipublikasikan dalam hitungan detik dari CloudWatch agen. | “60" | Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat. | Anda dapat mengganti properti ini dengan metrics_collection_interval properti dari grup metrik individual. |
emr-system-metrics konfigurasi
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai | Catatan |
|---|---|---|---|---|---|
metrics |
Opsional | Daftar metrik CPU untuk dikumpulkan agen. | Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR | Daftar nama metrik CPU valid yang dipisahkan koma dengan atau tanpa cpu_ awalan, seperti dan. usage_active cpu_time_idle Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid. |
Menentukan string kosong berarti tidak mempublikasikan metrik CPU apa pun. |
metrics_collection_interval |
Opsional | Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik CPU. | Nilai globalmetrics_collection_interval. |
Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat. | Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik CPU. |
drop_original_metrics |
Opsional | Daftar metrik CPU yang tidak mempublikasikan metrik yang tidak teragregasi. | Tidak ada metrik CPU yang tidak teragregasi yang diterbitkan. | Daftar metrik CPU yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik CPU. | CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya. |
resources |
Opsional | Menentukan apakah agen akan mempublikasikan metrik per inti. | "*" | “*” aktifkan metrik per inti. “” nonaktifkan metrik per inti. | CloudWatch Agen hanya menerbitkan metrik per inti untuk metrik CPU yang tidak dimasukkan. drop_original_metrics |
emr-hadoop-hdfs-datanodeproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=DataNode,name=DataNodeActivity. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, BlocksCached,BlocksRead. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop DataNode . | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hadoop-hdfs-namenodeproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=NameNode,name=FSNamesystem. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, BlockCapacity,CapacityUsedGB. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop NameNode . | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hadoop-yarn-nodemanagerproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=NodeManager,name=NodeManagerMetrics. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, MaxCapacity,AllocatedGB. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. NodeManager | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hadoop-yarn-resourcemanagerproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=ResourceManager,name=PartitionQueueMetrics. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, MaxCapacity,MaxCapacityVCores. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. ResourceManager | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hbase-master-metrics properti
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=HBase,name=Master,sub=AssignmentManager. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, AssignFailedCount,AssignSubmittedCount. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Master. | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hbase-region-serverproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=HBase,name=RegionServer,sub=IPC. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, numActiveHandler,numActivePriorityHandler. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Region Server. | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hbase-rest-serverproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=HBase,name=REST. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, successfulPut,successfulScanCount. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Rest Server. | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
emr-hbase-thrift-serverproperti -metrik
| Properti | Wajib | Deskripsi | Nilai default | Kemungkinan nilai |
|---|---|---|---|---|
|
Opsional | N/A | CloudWatch Agen MBean tersebut harus mengumpulkan metrik dari, sepertiHadoop:service=HBase,name=Thrift,sub=ThriftOne. Anda dapat menemukan MBean nama sampel dan metriknya yang sesuai dalam contoh file YAMM JMX untuk Amazon |
String yang berisi daftar metrik yang dibatasi koma yang terkait dengan metrik. MBean Misalnya, BatchGet_max,BatchGet_mean. |
otel.metric.export.interval |
Opsional | Seberapa sering dalam milidetik untuk mengumpulkan metrik server HBase Thrift. | “60000" | Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat. |
Contoh konfigurasi metrik sistem
Contoh berikut menunjukkan cara mengkonfigurasi CloudWatch agen untuk berhenti mengekspor semua metrik sistem.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {},
"Configurations": []
}
]
}
]Contoh berikut mengonfigurasi CloudWatch agen untuk mengekspor metrik sistem default. Melakukannya adalah cara cepat untuk mengatur ulang agen kembali untuk hanya mengekspor metrik sistem default jika Anda telah mengonfigurasi ulang metrik sistem setidaknya sekali. Reset ini juga menghapus metrik aplikasi apa pun yang telah dikonfigurasi ulang sebelumnya.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": []
}
]
Contoh berikut mengkonfigurasi cluster untuk mengeksporcpu,mem, dan disk metrik.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {
"metrics_collection_interval": "20"
},
"Configurations": [
{
"Classification": "cpu",
"Properties": {
"metrics": "cpu_usage_guest,cpu_usage_idle",
"metrics_collection_interval": "30",
"drop_original_metrics": "cpu_usage_guest"
}
},
{
"Classification": "mem",
"Properties": {
"metrics": "mem_active"
}
},
{
"Classification": "disk",
"Properties": {
"metrics": "disk_used_percent",
"resources": "/,/mnt",
"drop_original_metrics": ""
}
}
]
}
]
}
]Contoh konfigurasi sebelumnya memiliki properti berikut:
-
Setiap 30 detik, agen mengumpulkan
cpu_guestmetrik untuk semua CPUs. Anda dapat menemukan metrik agregat di bawah CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. -
Setiap 30 detik, agen mengumpulkan
cpu_idlemetrik untuk semua CPUs. Anda dapat menemukan metrik agregat di bawah CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. Agen juga mengumpulkan metrik per cpu. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karenadrop_original_metricsproperti tidak mengandungcpu_idle, sehingga agen tidak mengabaikan metrik. -
Setiap 20 detik, agen mengumpulkan
mem_activemetrik. Anda dapat menemukan metrik agregat di bawah CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. -
Setiap 20 detik, agen mengumpulkan
disk_used_percentmetrik untuk pemasangan/dan/mntdisk. Anda dapat menemukan metrik agregat di bawah namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.nameAgen juga mengumpulkan metrik per-mount. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karenadrop_original_metricsproperti tidak mengandungdisk_used_percent, sehingga agen tidak mengabaikan metrik.
Contoh konfigurasi metrik aplikasi
Contoh berikut mengonfigurasi CloudWatch agen untuk berhenti mengekspor metrik untuk layanan Hadoop Namenode.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {},
"Configurations": []
}
]
}
]Contoh berikut mengkonfigurasi cluster untuk mengekspor metrik aplikasi Hadoop.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {
"Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
"otel.metric.export.interval": "20000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-hdfs-datanode-metrics",
"Properties": {
"Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
"otel.metric.export.interval": "30000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-yarn-resourcemanager-metrics",
"Properties": {
"Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
},
"Configurations": []
}
]
}
]Contoh sebelumnya memiliki properti berikut:
-
Setiap 20 detik, agen mengumpulkan
BlockCapacitydanCapacityUsedGBmetrik dari instance yang menjalankan layanan Hadoop Namenode. -
Setiap 30 detik, agen mengumpulkan
MemNonHeapUsedMmetrik dari instance yang menjalankan layanan Hadoop Datanode. -
Setiap 30 detik, agen mengumpulkan
AllocateNumOpsdanNodeUpdateNumOpsmetrik dari instance yang menjalankan Hadoop YARN. ResourceManaager
Layanan Terkelola Amazon untuk contoh Prometheus
Contoh berikut menunjukkan cara mengonfigurasi CloudWatch agen untuk mengekspor metrik ke Amazon Managed Service untuk Prometheus.
Jika saat ini Anda mengekspor metrik ke Amazon Managed Service untuk Prometheus dan ingin mengonfigurasi ulang metrik untuk klaster dan terus mengekspor metrik ke Amazon Managed Service untuk Prometheus, Anda harus menyertakan properti dan. metrics_destination prometheus_endpoint
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
},
"Configurations": []
}
]Untuk menggunakan CloudWatch agen untuk mengekspor metrik CloudWatch, gunakan contoh berikut.
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]catatan
CloudWatch Agen memiliki eksportir Prometheus yang mengganti nama atribut tertentu. Untuk label metrik default, Amazon Managed Service untuk Prometheus menggunakan karakter garis bawah sebagai pengganti periode yang digunakan Amazon. CloudWatch Jika Anda menggunakan Grafana Terkelola Amazon untuk memvisualisasikan metrik default di Amazon Managed Service untuk Prometheus, label akan muncul sebagai,,, dan. cluster_id instance_id node_type service_name
