Menggunakan tugas repositori data untuk mengekspor perubahan - FSxuntuk Lustre

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan tugas repositori data untuk mengekspor perubahan

Tugas repositori data ekspor mengekspor file yang baru atau diubah dalam sistem file Anda. Ini menciptakan objek baru di S3 untuk file baru pada sistem file. Untuk file apa pun yang telah dimodifikasi pada sistem file, atau yang metadatanya telah dimodifikasi, objek yang sesuai di S3 diganti dengan objek baru dengan data dan metadata baru. Tidak ada tindakan yang diambil untuk file yang telah dihapus dari sistem file.

catatan

Ingatlah hal berikut saat menggunakan tugas repositori data ekspor:

  • Penggunaan wildcard untuk menyertakan atau mengecualikan file untuk ekspor tidak didukung.

  • Saat melakukan mv operasi, file target setelah dipindahkan akan diekspor ke S3 meskipun tidak ada,, izin UIDGID, atau perubahan konten.

Gunakan prosedur berikut untuk mengekspor data dan perubahan metadata pada sistem file ke bucket S3 tertaut menggunakan konsol Amazon dan. FSx CLI Perhatikan bahwa Anda dapat menggunakan satu tugas repositori data untuk beberapa. DRAs

  1. Buka FSx konsol Amazon di https://console.aws.amazon.com/fsx/.

  2. Pada panel navigasi, pilih Sistem file, lalu pilih sistem file Lustre Anda.

  3. Pilih tab Repositori data.

  4. Di panel Asosiasi repositori data, pilih asosiasi repositori data yang ingin Anda buat tugas ekspor.

  5. Untuk Tindakan, pilih tugas Ekspor. Pilihan ini tidak tersedia jika sistem file tidak ditautkan ke repositori data di S3. Dialog tugas repositori data ekspor akan muncul.

  6. (Opsional) Tentukan hingga 32 direktori atau file yang akan diekspor dari sistem FSx file Amazon Anda dengan menyediakan jalur ke direktori atau file tersebut di jalur sistem File untuk diekspor. Jalur yang Anda berikan harus relatif terhadap titik pemasangan dari sistem file. Jika titik pemasangan adalah /mnt/fsx dan /mnt/fsx/path1 adalah direktori atau file pada sistem file yang ingin Anda ekspor, maka jalur untuk menyediakan adalah path1.

    catatan

    Jika jalan yang Anda berikan tidak valid, tugas gagal.

  7. (Opsional) Pilih Aktifkan di Laporan penyelesaian untuk membuat laporan penyelesaian tugas setelah tugas selesai. Laporan penyelesaian tugas menyediakan detail tentang file yang diproses oleh tugas yang memenuhi lingkup yang disediakan di Lingkup laporan. Untuk menentukan lokasi Amazon FSx untuk mengirimkan laporan, masukkan jalur relatif pada repositori data S3 tertaut sistem file untuk jalur Laporan.

  8. Pilih Buat.

    Pemberitahuan di bagian atas halaman Sistem file menampilkan tugas yang baru saja Anda buat dalam proses.

Untuk melihat status tugas dan detail, gulir ke bawah ke panel Tugas Repositori Data di tab Repositori Data untuk sistem file. Urutan default menampilkan tugas terbaru di bagian atas daftar.

Untuk melihat ringkasan tugas dari halaman ini, pilih ID tugas untuk tugas yang baru saja Anda buat. Halaman Ringkasan untuk tugas muncul.

  • Gunakan create-data-repository-taskCLIperintah untuk mengekspor data dan perubahan metadata pada sistem file FSx for Lustre Anda. APIOperasi yang sesuai adalah CreateDataRepositoryTask.

    $ aws fsx create-data-repository-task \
    --file-system-id fs-0123456789abcdef0 \
    --type EXPORT_TO_REPOSITORY \
    --paths path1,path2/file1 \
    --report Enabled=true

    Setelah berhasil membuat tugas repositori data, Amazon FSx mengembalikan deskripsi tugas sepertiJSON, seperti yang ditunjukkan pada contoh berikut.

    {
    "Task": {
        "TaskId": "task-123f8cd8e330c1321",
        "Type": "EXPORT_TO_REPOSITORY",
        "Lifecycle": "PENDING",
        "FileSystemId": "fs-0123456789abcdef0",
        "Paths": ["path1", "path2/file1"],
        "Report": {
            "Path":"s3://dataset-01/reports",
            "Format":"REPORT_CSV_20191124",
            "Enabled":true,
            "Scope":"FAILED_FILES_ONLY"
        },
        "CreationTime": "1545070680.120",
        "ClientRequestToken": "10192019-drt-12",
        "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321"
    }
}

Setelah membuat tugas untuk mengekspor data ke repositori data tertaut, Anda dapat memeriksa status tugas repositori data ekspor. Untuk informasi selengkapnya tentang melihat tugas repositori data, lihat Mengakses tugas repositori data.