Memantau integrasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Negara integrasi

Status integrasi berikut menjelaskan integrasi:

Melihat CloudWatch log Amazon untuk integrasi

AWS Glue Integrasi nol-ETL menghasilkan CloudWatch log Amazon untuk visibilitas ke dalam pergerakan data Anda. Peristiwa log yang berkaitan dengan setiap konsumsi yang berhasil atau kegagalan yang dialami karena catatan data bermasalah di sumber, atau kesalahan penulisan data karena perubahan skema atau izin yang tidak memadai dipancarkan ke grup log default yang dibuat di akun pelanggan.

Struktur Grup Log

Arsitektur logging mengimplementasikan struktur hierarkis instance integrasi. Setiap instance integrasi mempertahankan aliran log khusus dalam grup log terpusat yang dirancang khusus untuk operasi nol-ETL.

Identifikasi dan Jalur Aliran Log

Setiap instance integrasi diberi aliran log unik berdasarkan nyaIntegration ID, diekstraksi dari file. Integration ARN Jalur aliran log lengkap mengikuti struktur ini:

Format: /aws-glue/zeroETL-integrations/logs/{IntegrationId}

Contoh: Diberikan ARN Integrasi:

arn:aws:glue:us-east-1:123456789012:integration:03cabe77-79e7-4b7a-b3da-8c160bea6bbf

Jalur aliran log lengkap yang sesuai adalah:

/aws-glue/zeroETL-integrations/logs/03cabe77-79e7-4b7a-b3da-8c160bea6bbf

Pendekatan arsitektur ini memastikan pemisahan peristiwa log per integrasi sambil mempertahankan kerangka kerja logging terpadu untuk seluruh infrastruktur nol-ETL. Strategi pencatatan granular memfasilitasi pemecahan masalah yang efisien, kepatuhan audit, dan pemantauan operasional proses pergerakan data.

Izin IAM diperlukan untuk mengaktifkan logging

Saat membuat integrasi Anda, izin IAM berikut diperlukan oleh peran sumber dan target untuk mengaktifkan CloudWatch pencatatan untuk integrasi. AWS Glue Integrasi nol-ETL menggunakan izin ini yang disediakan dalam peran sumber dan target untuk memancarkan log ke akun pelanggan. CloudWatch

{
"Version": "2012-10-17",
    "Statement": [
        {
"Effect": "Allow",
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
             ],
            "Resource": [
                "*"
            ]
        }
    ]
}

Log pesan

Format log: Integrasi nol-ETL memancarkan empat jenis pesan log:

// Ingestion started
{
"integrationArn": "arn:aws:glue:us-east-2:123456789012:integration/1a012bba-123a-1bba-ab1c-173de3b12345",
...
    "messageType": "IngestionStarted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job started"
    }
}
// Data processing stats on successful table ingestion
{
...
    "messageType": "IngestionProcessingStats",
    "details": {
        "tableName": "testDDBTable",
        "insert_count": 100,
        "update_count": 10,
        "delete_count": 10   
    }
}
// Ingestion failure logs for failed table-processing
{
...
    "messageType": "IngestionFailed",
    "details": {
        "tableName": "testDDBTable",
        "errorMessage": "Failed to ingest data with error: Target Glue database not found.",
        "error_code" : "client_error"
    }
}
// Ingestion completed notification with lastSyncedTimestamp
{
...
    "messageType": "IngestionCompleted",
    "details": {
        "tableName": "testDDBTable",
        "message": "Ingestion Job completed"
        "lastSyncedTimestamp": "1132344255745"
    }
}

Melihat CloudWatch metrik Amazon untuk integrasi

AWS Glue Zero-ETL memberikan wawasan operasional real-time melalui CloudWatch metrik, memungkinkan pemantauan proaktif proses integrasi data tanpa kueri langsung dari tabel Iceberg target. Saat diaktifkan dengan menambahkan izin yang sesuai pada peran pemrosesan sumber dan target, CloudWatch metrik secara otomatis dipancarkan ke AWS/Glue/ZeroETL namespace setelah menyelesaikan setiap operasi konsumsi tabel. Anda dapat mengatur alarm pada CloudWatch metrik Anda untuk mendapatkan pemberitahuan ketika Pekerjaan Penyerapan tertentu gagal.

Spesifikasi Metrik

Metrik Pemrosesan Tertelan:

Metrik Status Operasional:

Dimensi metrik:

Izin IAM diperlukan untuk mengaktifkan Metrik CloudWatch

Saat membuat integrasi, izin IAM berikut diperlukan oleh peran sumber dan target untuk mengaktifkan CloudWatch Metrik untuk integrasi. AWS Glue Integrasi nol-ETL menggunakan izin ini yang disediakan dalam peran sumber dan target untuk memancarkan Metrik ke akun pelanggan. CloudWatch

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            }
        }
    ]
}
		

Mengelola pemberitahuan acara dengan Amazon EventBridge

Integrasi nol-ETL menggunakan Amazon EventBridge untuk mengelola pemberitahuan acara agar Anda tetap memperhatikan perubahan dalam integrasi Anda up-to-date. Amazon EventBridge adalah layanan bus acara tanpa server yang dapat Anda gunakan untuk menghubungkan aplikasi Anda dengan data dari berbagai sumber. Dalam hal ini, sumber acara adalah AWS Glue. Peristiwa, yang dipantau perubahan dalam suatu lingkungan, dikirim ke EventBridge dari AWS Glue secara otomatis. Acara disampaikan dalam waktu dekat.

EventBridge menyediakan lingkungan bagi Anda untuk menulis aturan acara, yang dapat menentukan tindakan yang akan diambil untuk acara tertentu. Anda juga dapat mengatur target, yang merupakan sumber daya yang EventBridge dapat mengirim acara ke. Target dapat mencakup tujuan API, grup CloudWatch log Amazon, dan lainnya. Untuk informasi selengkapnya tentang aturan, lihat EventBridge Aturan Amazon. Untuk informasi selengkapnya tentang target, lihat EventBridge target Amazon.

Untuk menangkap semua notifikasi nol-ETL, buat aturan Eventbridge yang cocok dengan yang berikut ini:

{
  "source": [{
    "prefix": "aws.glue-zero-etl“
  }],
  "detail-type": [{
    "prefix": "Glue Zero ETL“
  }]
}

Tabel berikut mencakup peristiwa integrasi nol-ETL, dengan metadata tambahan: