Menentukan AWS DataSync transfer apa dengan menggunakan filter - AWS DataSync
Memfilter istilah, ketentuan, dan sintaksContoh filterMembuat filter termasukMembuat filter pengecualian

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menentukan AWS DataSync transfer apa dengan menggunakan filter

AWS DataSync memungkinkan Anda menerapkan filter untuk menyertakan atau mengecualikan data dari lokasi sumber Anda dalam transfer. Misalnya, jika Anda tidak ingin mentransfer file sementara yang diakhiri dengan.tmp, Anda dapat membuat filter pengecualian sehingga file-file ini tidak sampai ke lokasi tujuan Anda.

Anda dapat menggunakan kombinasi pengecualian dan menyertakan filter dalam tugas transfer yang sama. Jika Anda memodifikasi filter tugas, perubahan tersebut akan diterapkan saat berikutnya Anda menjalankan tugas.

Memfilter istilah, ketentuan, dan sintaks

Biasakan diri Anda dengan konsep yang terkait dengan DataSync penyaringan:

Filter

Seluruh string yang membentuk filter tertentu (misalnya, *.tmp | *.temp atau/folderA|/folderB).

Filter terdiri dari pola yang dibatasi dengan menggunakan pipa (|). Anda tidak memerlukan pembatas saat menambahkan pola di DataSync konsol karena Anda menambahkan setiap pola secara terpisah.

catatan

Filter peka huruf besar/kecil. Misalnya, filter /folderA tidak akan cocok/FolderA.

Pola

Sebuah pola di dalam filter. Misalnya, *.tmp adalah pola yang merupakan bagian dari *.tmp | *.temp filter. Jika filter Anda memiliki beberapa pola, Anda membatasi setiap pola dengan menggunakan pipa (|).

Folder

  • Semua filter adalah relatif terhadap jalur lokasi sumber. Misalnya, misalkan Anda menentukan /my_source/ sebagai jalur sumber saat Anda membuat lokasi dan tugas sumber Anda dan tentukan filter sertakan/transfer_this/. Dalam hal ini, DataSync transfer hanya direktori /my_source/transfer_this/ dan isinya.

  • Untuk menentukan folder langsung di bawah lokasi sumber, sertakan garis miring (/) di depan nama folder. Dalam contoh sebelumnya, pola menggunakan /transfer_this, bukan transfer_this.

  • DataSync menafsirkan pola berikut dengan cara yang sama dan cocok dengan folder dan kontennya.

    /dir

    /dir/

  • Saat Anda mentransfer data dari atau ke bucket Amazon S3 DataSync, memperlakukan / karakter dalam kunci objek sebagai setara dengan folder pada sistem file.

Karakter-karakter khusus

Berikut ini adalah karakter khusus untuk digunakan dengan pemfilteran.

Karakter spesial Deskripsi

* (kartu pengganti)

Sebuah karakter yang digunakan untuk mencocokkan nol atau beberapa karakter. Misalnya, /movies_folder* cocok di keduanya, baik /movies_folder maupun /movies_folder1.

| (pembatas pipa)

Sebuah karakter yang digunakan sebagai pembatas antara pola. Karakter ini memungkinkan penentuan beberapa pola, yang mana pun dapat cocok dengan filter. Misalnya, *.tmp|*.temp mencocokkan file yang diakhiri dengan salah satu, baik tmp atau temp.

catatan

Pembatas ini tidak diperlukan saat Anda menambahkan pola pada konsol karena Anda menambahkan setiap pola pada baris terpisah.

\ (garis miring terbalik)

Karakter yang digunakan untuk melarikan diri dari karakter khusus (*, |,\) dalam nama file atau objek.

Garis miring terbalik ganda (\\) diperlukan jika garis miring terbalik merupakan bagian dari nama file. Demikian pula, \\\\ mewakili dua garis miring terbalik berturut-turut dalam sebuah nama file.

Garis miring terbalik diikuti oleh pipa (\|) diperlukan saat pipa merupakan bagian dari nama file.

Garis miring terbalik (\) diikuti oleh karakter lain, atau di akhir pola, diabaikan.

Contoh filter

Contoh berikut menunjukkan filter umum yang dapat Anda gunakan DataSync.

catatan

Ada batasan berapa banyak karakter yang dapat Anda gunakan dalam filter. Untuk informasi selengkapnya, lihat DataSync kuota tugas.

Kecualikan beberapa folder dari lokasi sumber Anda

Dalam beberapa kasus, Anda ingin mengecualikan folder di lokasi sumber Anda untuk tidak menyalinnya ke lokasi tujuan Anda. Misalnya, jika Anda memiliki work-in-progress folder sementara, Anda dapat menggunakan sesuatu seperti filter berikut:

*/.temp

Untuk mengecualikan folder dengan konten serupa (seperti /reports2021 dan/reports2022)), Anda dapat menggunakan filter pengecualian seperti berikut:

/reports*

Untuk mengecualikan folder di tingkat mana pun dalam hierarki file, Anda dapat menggunakan filter pengecualian seperti berikut ini.

*/folder-to-exclude-1|*/folder-to-exclude-2

Untuk mengecualikan folder di tingkat atas lokasi sumber, Anda dapat menggunakan filter pengecualian seperti berikut ini.

/top-level-folder-to-exclude-1|/top-level-folder-to-exclude-2

Sertakan subset folder di lokasi sumber Anda

Dalam beberapa kasus, lokasi sumber Anda mungkin merupakan bagian yang besar dan Anda perlu mentransfer subset folder di bawah root. Untuk menyertakan folder tertentu, mulai eksekusi tugas dengan filter penyertaan seperti berikut.

/folder-to-transfer/*

Kecualikan tipe file tertentu

Untuk mengecualikan tipe file tertentu dari transfer, Anda dapat membuat eksekusi tugas dengan filter pengecualian seperti *.temp.

Transfer file individual yang Anda tentukan

Untuk mentransfer daftar file individual, mulai eksekusi tugas dengan menyertakan filter seperti berikut: "/folder/subfolder/file1.txt|/folder/subfolder/file2.txt|/folder/subfolder/file2.txt"

Membuat filter termasuk

Sertakan filter menentukan file, objek, dan folder yang DataSync ingin Anda transfer. Anda dapat mengonfigurasi filter sertakan saat membuat, mengedit, atau memulai tugas.

DataSync memindai dan mentransfer hanya file dan folder yang cocok dengan filter include. Misalnya, untuk menyertakan subset folder sumber Anda, Anda dapat menentukan /important_folder_1 |/important_folder_2.

catatan

Sertakan filter yang mendukung karakter wildcard (*) hanya sebagai karakter paling kanan dalam suatu pola. Misalnya, /documents* | /code* didukung, tetapi *.txt tidak.

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, pilih Tugas, lalu pilih Buat tugas.

  3. Konfigurasikan lokasi sumber dan tujuan tugas Anda.

    Lihat informasi yang lebih lengkap di Di mana saya dapat mentransfer data saya AWS DataSync?

  4. Agar Konten dapat dipindai, pilih File, objek, dan folder tertentu, lalu pilih Menggunakan filter.

  5. Untuk Termasuk, masukkan filter Anda (misalnya, /important_folders untuk menyertakan direktori penting), lalu pilih Tambah pola.

  6. Tambahkan filter sertakan lainnya sesuai kebutuhan.

Saat menggunakan AWS CLI, Anda harus menggunakan tanda kutip tunggal (') di sekitar filter dan | (pipa) sebagai pembatas jika Anda memiliki lebih dari satu filter.

Contoh berikut menentukan dua termasuk filter /important_folder1 dan /important_folder2 ketika menjalankan create-task perintah.

aws datasync create-task
   --source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
   --destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
   --includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'

Membuat filter pengecualian

Kecualikan filter menentukan file, objek, dan folder di lokasi sumber yang tidak DataSync ingin Anda transfer. Anda dapat mengonfigurasi filter ini saat membuat, mengedit, atau memulai tugas.

Data dikecualikan secara default

DataSync secara otomatis mengecualikan beberapa data agar tidak ditransfer:

  • .snapshot— DataSync mengabaikan jalur yang diakhiri dengan.snapshot, yang biasanya digunakan untuk point-in-time snapshot file atau direktori sistem penyimpanan.

  • /.aws-datasyncdan /.awssync — DataSync membuat folder ini di lokasi Anda untuk membantu memfasilitasi transfer Anda.

  • /.zfs— Anda mungkin melihat folder ini dengan Amazon FSx untuk lokasi OpenZFS.

  1. Buka AWS DataSync konsol di https://console.aws.amazon.com/datasync/.

  2. Di panel navigasi kiri, pilih Tugas, lalu pilih Buat tugas.

  3. Konfigurasikan lokasi sumber dan tujuan tugas Anda.

    Lihat informasi yang lebih lengkap di Di mana saya dapat mentransfer data saya AWS DataSync?

  4. Untuk Excludes, masukkan filter Anda (misalnya, */temp untuk mengecualikan folder sementara), lalu pilih Tambah pola.

  5. Tambahkan filter pengecualian lainnya sesuai kebutuhan.

  6. Jika perlu, tambahkan filter sertakan.

Saat menggunakan AWS CLI, Anda harus menggunakan tanda kutip tunggal (') di sekitar filter dan | (pipa) sebagai pembatas jika Anda memiliki lebih dari satu filter.

Contoh berikut menentukan dua mengecualikan filter */temp dan */tmp ketika menjalankan create-task perintah.

aws datasync create-task \
   --source-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
   --destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id' \
   --excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'