CloudWatch keluaran aliran metrik dalam JSON format - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

CloudWatch keluaran aliran metrik dalam JSON format

Dalam aliran CloudWatch metrik yang menggunakan JSON format, setiap catatan Firehose berisi beberapa JSON objek yang dipisahkan oleh karakter baris baru (\n). Setiap objek mencakup satu titik data tunggal dari satu metrik tunggal.

JSONFormat yang digunakan sepenuhnya kompatibel dengan AWS Glue dan dengan Amazon Athena. Jika Anda memiliki aliran pengiriman Firehose dan AWS Glue tabel diformat dengan benar, format dapat secara otomatis diubah menjadi format Parket atau Optimized Row Columnar (ORC) format sebelum disimpan di S3. Untuk informasi selengkapnya tentang mengubah format, lihat Mengonversi Format Rekaman Input Anda di Firehose. Untuk informasi lebih lanjut tentang format yang benar untuk AWS Glue, lihat Yang mana AWS Glue skema yang harus saya gunakan untuk format JSON output?.

Dalam JSON format, nilai unit yang valid untuk sama dengan nilai unit dalam MetricDatum API struktur. Untuk informasi lebih lanjut, lihat MetricDatum. Nilai untuk bidang timestamp dalam jangka waktu milidetik, misalnya 1616004674229.

Berikut ini adalah contoh dari format tersebut. Dalam contoh ini, JSON diformat agar mudah dibaca, tetapi dalam praktiknya seluruh format ada pada satu baris.

{ "metric_stream_name": "MyMetricStream", "account_id": "1234567890", "region": "us-east-1", "namespace": "AWS/EC2", "metric_name": "DiskWriteOps", "dimensions": { "InstanceId": "i-123456789012" }, "timestamp": 1611929698000, "value": { "count": 3.0, "sum": 20.0, "max": 18.0, "min": 0.0, "p99": 17.56, "p99.9": 17.8764, "TM(25%:75%)": 16.43 }, "unit": "Seconds" }

Yang mana AWS Glue skema yang harus saya gunakan untuk format JSON output?

Berikut ini adalah contoh JSON representasi dari StorageDescriptor untuk AWS Glue tabel, yang kemudian akan digunakan oleh Firehose. Untuk informasi lebih lanjut tentangStorageDescriptor, lihat StorageDescriptor.

{ "Columns": [ { "Name": "metric_stream_name", "Type": "string" }, { "Name": "account_id", "Type": "string" }, { "Name": "region", "Type": "string" }, { "Name": "namespace", "Type": "string" }, { "Name": "metric_name", "Type": "string" }, { "Name": "timestamp", "Type": "timestamp" }, { "Name": "dimensions", "Type": "map<string,string>" }, { "Name": "value", "Type": "struct<min:double,max:double,count:double,sum:double,p99:double,p99.9:double>" }, { "Name": "unit", "Type": "string" } ], "Location": "s3://amzn-s3-demo-bucket/", "InputFormat": "org.apache.hadoop.mapred.TextInputFormat", "OutputFormat": "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat", "SerdeInfo": { "SerializationLibrary": "org.apache.hive.hcatalog.data.JsonSerDe" }, "Parameters": { "classification": "json" } }

Contoh sebelumnya adalah untuk data yang ditulis di Amazon JSON S3 dalam format. Ganti nilai di bidang berikut dengan nilai yang ditunjukkan untuk menyimpan data dalam format Parket atau format Optimized Row Columnar ()ORC.

  • Parquet:

    • inputFormat: org.apache.hadoop.hive.ql.io.parket. MapredParquetInputFormat

    • outputFormat: org.apache.hadoop.hive.ql.io.parket. MapredParquetOutputFormat

    • SerDeInfo. serializationLib: org.apache.hadoop.hive.ql.io.parquet.serde. ParquetHiveSerDe

    • parameters.classification: parquet

  • ORC:

    • inputFormat: org.apache.hadoop.hive.ql.io.orc. OrcInputFormat

    • outputFormat: org.apache.hadoop.hive.ql.io.orc. OrcOutputFormat

    • SerDeInfo. serializationLib: org.apache.hadoop.hive.ql.io.orc. OrcSerde

    • parameters.classification: orc