Pemantauan AWS DataSync dengan Amazon CloudWatch - AWS DataSync
CloudWatch metrik untuk DataSyncMengizinkan DataSync mengunggah log ke grup CloudWatch logMengkonfigurasi pencatatan untuk tugas DataSync transfer Anda

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemantauan AWS DataSync dengan Amazon CloudWatch

Anda dapat memantau AWS DataSync dengan menggunakan Amazon CloudWatch, yang mengumpulkan dan memproses data mentah dari DataSync metrik yang dapat dibaca, mendekati waktu nyata. Statistik ini dipertahankan untuk jangka waktu 15 bulan.

Secara default, data DataSync metrik dikirim secara otomatis CloudWatch dalam interval 5 menit. Untuk informasi selengkapnya, lihat Apa itu Amazon CloudWatch? di Panduan CloudWatch Pengguna Amazon.

CloudWatch metrik untuk DataSync

Amazon CloudWatch menyediakan metrik yang dapat Anda gunakan untuk mendapatkan informasi tentang DataSync kinerja dan untuk memecahkan masalah. Untuk melihat CloudWatch metrik DataSync, Anda dapat menggunakan alat berikut:

  • CloudWatch Konsol

  • CloudWatch CLI

  • CloudWatch API

  • DataSync Konsol (di halaman detail eksekusi tugas)

Untuk informasi selengkapnya, lihat Menggunakan CloudWatch metrik Amazon di Panduan CloudWatch Pengguna Amazon.

DataSync metrik menggunakan aws/datasync namespace dan menyediakan metrik untuk dimensi berikut:

  • AgentId— ID unik agen.

  • TaskId— ID unik tugas. URL ini menggunakan bentuk task-01234567890abcdef.

Namespace aws/datasync mencakup metrik berikut.

Metrik Deskripsi

BytesCompressed

Jumlah fisik byte yang ditransfer melalui jaringan setelah kompresi diterapkan. Dalam kebanyakan kasus, jumlah ini kurang dari BytesTransferred kecuali data tidak dapat dimampatkan.

Unit: Bita

BytesPreparedDestination

Jumlah total bita data yang disiapkan di lokasi tujuan.

Unit: Bita

BytesPreparedSource

Jumlah total bita data yang disiapkan di lokasi sumber.

Unit: Bita

BytesTransferred

Jumlah total byte yang terlibat dalam transfer. Untuk jumlah byte yang dikirim melalui jaringan, lihatBytesCompressed.

Unit: Bita

BytesVerifiedDestination

Jumlah total bita data yang diverifikasi di lokasi tujuan.

Unit: Bita

BytesVerifiedSource

Jumlah total bita data yang diverifikasi di lokasi sumber.

Satuan: Byte

BytesWritten

Ukuran logis total semua file, objek. dan direktori yang ditransfer ke lokasi tujuan.

Unit: Bita

FilesPreparedDestination

Jumlah total file, objek, dan direktori yang disiapkan di lokasi tujuan.

Unit: Jumlah

FilesPreparedSource

Jumlah total file, objek, dan direktori yang disiapkan di lokasi sumber.

Unit: Jumlah

FilesTransferred

Jumlah sebenarnya dari file, objek, direktori, dan metadata yang ditransfer melalui jaringan. Nilai ini dihitung dan diperbarui secara berkelanjutan selama fase transfer eksekusi tugas Anda. Ini diperbarui secara berkala ketika setiap bagian data dibaca dari lokasi sumber dan dikirim melalui jaringan.

Jika kegagalan terjadi selama transfer, nilai ini bisa kurang dari EstimatedFilesToTransfer. Nilai ini juga bisa lebih besar dari EstimatedFilesTransferred dalam beberapa kasus. Elemen ini khusus implementasi untuk beberapa jenis lokasi, jadi jangan gunakan sebagai indikator untuk total transfer yang benar atau untuk memantau eksekusi tugas Anda.

Unit: Jumlah

FilesVerifiedDestination

Jumlah total file, objek, dan direktori yang diverifikasi di lokasi tujuan.

Unit: Jumlah

FilesVerifiedSource

Jumlah total file, objek, dan direktori yang diverifikasi di lokasi sumber.

Unit: Jumlah

Mengizinkan DataSync mengunggah log ke grup CloudWatch log

DataSync memerlukan izin yang cukup untuk mengirim log ke grup CloudWatch log. Bila Anda membuat tugas dengan menggunakan konsol, DataSync dapat berkali-kali membuat kebijakan sumber daya AWS Identity and Access Management (IAM) dengan izin yang benar untuk Anda.

Jika Anda ingin menggunakan grup CloudWatch log yang ada atau jika Anda ingin membuat tugas secara terprogram, Anda harus membuat sendiri kebijakan sumber daya IAM ini.

Contoh berikut adalah kebijakan sumber daya yang memberikan izin ini.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": [
                        "arn:aws:datasync:region:account-id:task/*"
                    ]
                },
                "StringEquals": {
                    "aws:SourceAccount": "account-id"
                }
            },
            "Resource": "arn:aws:logs:region:account-id:log-group:*:*"
        }
    ]
}

Kebijakan menggunakan Condition pernyataan untuk membantu memastikan bahwa hanya DataSync tugas dari akun tertentu yang memiliki akses ke grup CloudWatch log yang ditentukan. Kami merekomendasikan penggunaan kunci konteks kondisi aws:SourceAccountglobal aws:SourceArndan dalam Condition pernyataan ini untuk melindungi dari masalah wakil yang membingungkan. Untuk informasi selengkapnya, lihat Pencegahan Deputi Bingung Lintas Layanan.

Untuk menentukan DataSync tugas atau tugas, ganti regiondengan kode Wilayah untuk Wilayah AWS tempat tugas berada (misalnya,us-west-2), dan ganti account-iddengan Akun AWS ID akun yang berisi tugas. Untuk menentukan grup CloudWatch log, ganti nilai yang sama. Anda juga dapat memodifikasi Resource pernyataan untuk menargetkan grup log tertentu. Untuk informasi selengkapnya tentang penggunaan SourceArn danSourceAccount, lihat Kunci kondisi global di Panduan Pengguna IAM.

Untuk menerapkan kebijakan, simpan pernyataan kebijakan ini ke file di komputer lokal Anda. Kemudian jalankan AWS CLI perintah berikut untuk menerapkan kebijakan sumber daya. Untuk menggunakan perintah contoh ini, ganti full-path-to-policy-file dengan path ke file yang berisi pernyataan kebijakan Anda.

aws logs put-resource-policy --policy-name trust-datasync --policy-document file://full-path-to-policy-file
catatan

Jalankan perintah ini dengan menggunakan yang sama Akun AWS dan Wilayah AWS di mana Anda mengaktifkan DataSync agen Anda.

Untuk informasi selengkapnya, lihat Bekerja dengan grup log dan aliran log di Panduan Pengguna CloudWatch Log Amazon.

Mengkonfigurasi pencatatan untuk tugas DataSync transfer Anda

Anda dapat mempublikasikan detail tentang tugas DataSync transfer Anda ke grup CloudWatch log.

Sebelum Anda memulai

DataSync membutuhkan izin untuk mengunggah log ke grup CloudWatch log. Anda dapat mengatur izin ini melalui kebijakan sumber daya IAM dengan beberapa cara berbeda:

  • Bila Anda membuat tugas dengan menggunakan konsol, DataSync dapat membuat grup log dan kebijakan sumber daya terkait untuk Anda. DataSync Anda juga dapat menerapkan kebijakan sumber daya ini untuk Anda.

  • Jika Anda ingin menggunakan grup log yang ada, lihat contoh cara membuat kebijakan sumber daya sendiri.

Petunjuk berikut menjelaskan cara mengkonfigurasi CloudWatch logging saat membuat tugas. Anda juga dapat mengonfigurasi CloudWatch logging saat mengedit tugas.

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, perluas Transfer data, lalu pilih Tugas, lalu pilih Buat tugas.

  3. Konfigurasikan lokasi sumber dan tujuan tugas Anda.

    Lihat informasi yang lebih lengkap di Di mana saya dapat mentransfer data saya AWS DataSync?

  4. Pada halaman Konfigurasi pengaturan, beri nama tugas Anda, konfigurasikan eksekusi tugas Anda, konfigurasikan transfer data Anda, atur jadwal, dan tambahkan tag secara opsional, dan konfigurasikan laporan tugas.

  5. Gulir ke bawah ke bagian Logging. Untuk tingkat Log, pilih salah satu opsi berikut:

    • Log informasi dasar seperti kesalahan transfer — Publikasikan log dengan hanya informasi dasar (seperti kesalahan transfer).

    • Log semua objek dan file yang ditransfer — Publikasikan log untuk semua file atau objek yang ditransfer DataSync tugas Anda dan melakukan pemeriksaan integritas data.

    • Jangan mengirim log ke CloudWatch

  6. Untuk grup CloudWatch log, tentukan grup log yang DataSync memiliki izin untuk mengunggah log dengan melakukan salah satu hal berikut:

    • Pilih Autogenerate untuk secara otomatis membuat grup log yang memungkinkan DataSync untuk mengunggah log ke dalamnya.

    • Pilih grup log yang ada di Anda saat ini Wilayah AWS.

      Jika Anda memilih grup log yang ada, pastikan Anda memiliki kebijakan sumber daya yang memungkinkan DataSync untuk mengunggah log ke grup log.

Anda dapat mengonfigurasi CloudWatch pencatatan untuk tugas Anda dengan menggunakan CloudWatchLogGroupArn parameter dengan salah satu operasi berikut: