Mencegah crawler mengubah skema yang ada - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mencegah crawler mengubah skema yang ada

Anda dapat mencegah Perayap AWS Glue s membuat perubahan skema apa pun pada Katalog Data saat dijalankan. Secara default, crawler memperbarui skema di Katalog Data agar sesuai dengan sumber data yang sedang dirayapi. Namun, dalam beberapa kasus, Anda mungkin ingin mencegah Crawler memodifikasi skema yang ada, terutama jika Anda telah mengubah atau membersihkan data dan tidak ingin skema asli menimpa perubahan.

Ikuti langkah-langkah berikut untuk mengonfigurasi crawler agar tidak menimpa skema yang ada dalam definisi tabel.

AWS Management Console

  1. Masuk ke AWS Management Console dan buka AWS Glue konsol di https://console.aws.amazon.com/glue/.

  2. Pilih Crawler di bawah Katalog Data.

  3. Pilih crawler dari daftar, dan pilih Edit.

  4. Pilih langkah 4, Atur output dan penjadwalan.

  5. Di bawah Opsi lanjutan, pilih Tambahkan kolom baru saja atau Abaikan perubahan dan jangan perbarui tabel di Katalog Data.

  6. Anda juga dapat mengatur opsi konfigurasi untuk Memperbarui semua partisi baru dan yang sudah ada dengan metadata dari tabel. Ini menetapkan skema partisi untuk mewarisi dari tabel.

  7. Pilih Perbarui.

AWS CLI

Contoh berikut menunjukkan cara mengonfigurasi crawler agar tidak mengubah skema yang ada, hanya menambahkan kolom baru:

aws glue update-crawler \
  --name myCrawler \
  --configuration '{"Version": 1.0, "CrawlerOutput": {"Tables": {"AddOrUpdateBehavior": "MergeNewColumns"}}}'

Contoh berikut menunjukkan cara mengonfigurasi crawler agar tidak mengubah skema yang ada, dan tidak menambahkan kolom baru:

aws glue update-crawler \
  --name myCrawler \
  --schema-change-policy UpdateBehavior=LOG \
  --configuration '{"Version": 1.0, "CrawlerOutput": {"Partitions": { "AddOrUpdateBehavior": "InheritFromTable" }}}'
API

Jika Anda tidak ingin skema tabel berubah sama sekali saat sebuah crawler berjalan, tetapkan kebijakan perubahan skema ke LOG.

Saat Anda mengonfigurasi crawler menggunakanAPI, atur parameter berikut:

  • Atur bidang UpdateBehavior dalam struktur SchemaChangePolicy ke LOG.

  • Atur Configuration bidang dengan representasi string dari JSON objek berikut di crawlerAPI; misalnya: 

    {
   "Version": 1.0,
   "CrawlerOutput": {
      "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" }
   }
}