Langkah 2: Pilih sumber data dan pengklasifikasi

Pilih opsi yang sesuai untuk Apakah data Anda sudah dipetakan AWS Glue tabel? pilih 'Belum lagi' atau 'Ya'. Secara default, 'Belum lagi' dipilih.

Crawler dapat mengakses penyimpanan data secara langsung sebagai sumber perayapan, atau crawler dapat menggunakan tabel yang ada di Katalog Data sebagai sumbernya. Jika crawler tersebut menggunakan tabel katalog yang ada, maka crawler melakukan perayapan pada penyimpanan data yang ditentukan oleh tabel katalog tersebut.

Untuk menggunakan tabel Delta, pertama buat tabel Delta menggunakan DDL Athena atau. AWS Glue API

Menggunakan Athena, atur lokasi ke folder Amazon S3 Anda dan jenis tabel ke ''. DELTA

CREATE EXTERNAL TABLE database_name.table_name
LOCATION 's3://bucket/folder/'
TBLPROPERTIES ('table_type' = 'DELTA')

Menggunakan AWS Glue API, tentukan jenis tabel dalam peta parameter tabel. Parameter tabel perlu menyertakan pasangan kunci/nilai berikut. Untuk informasi selengkapnya tentang cara membuat tabel, lihat dokumentasi Boto3 untuk create_table.

{
    "table_type":"delta"
}

Pilih atau tambahkan daftar sumber data yang akan dipindai oleh crawler.

(Opsional) Jika Anda memilih JDBC sebagai sumber data, Anda dapat menggunakan JDBC driver Anda sendiri saat menentukan akses koneksi tempat info driver disimpan.

Saat mengevaluasi apa yang harus disertakan atau dikecualikan dalam perayapan, crawler akan memulai dengan mengevaluasi penyertaan path yang diperlukan. Untuk Amazon S3, MongoDB, MongoDB Atlas, Amazon DocumentDB (dengan kompatibilitas MongoDB), dan penyimpanan data relasional, Anda harus menentukan jalur sertakan.

Untuk penyimpanan JDBC data, sintaksnya adalah salah satu database-name/schema-name/table-name ataudatabase-name/table-name. Sintaksis tergantung pada apakah mesin basis data mendukung skema dalam sebuah basis data. Misalnya, untuk mesin database seperti My SQL atau Oracle, jangan tentukan a schema-name di jalur include Anda. Anda dapat mengganti tanda persen (%) untuk skema atau tabel dalam penyertaan path untuk mewakili semua skema atau semua tabel dalam sebuah basis data. Anda tidak dapat mengganti tanda persen (%) untuk basis data dalam penyertaan path.

Menentukan kedalaman maksimum jalur Amazon S3 yang dapat dilalui crawler untuk menemukan folder metadata Iceberg atau Hudi di jalur Amazon S3 Anda. Tujuan dari parameter ini adalah untuk membatasi waktu berjalan crawler. Nilai default adalah 10 dan maksimum adalah 20.

Hal ini memungkinkan Anda untuk mengecualikan file atau tabel tertentu dari perayapan. Pengecualian path relatif terhadap penyertaan path. Misalnya, untuk mengecualikan tabel di penyimpanan JDBC data Anda, ketikkan nama tabel di jalur pengecualian.

Crawler terhubung ke penyimpanan JDBC data menggunakan AWS Glue koneksi yang berisi string JDBC URI koneksi. Crawler hanya memiliki akses ke objek di mesin database menggunakan nama JDBC pengguna dan kata sandi di AWS Glue koneksi. Crawler hanya dapat membuat tabel yang dapat diakses melalui JDBC koneksi. Setelah crawler mengakses mesin database dengan JDBCURI, path include digunakan untuk menentukan tabel di mesin database yang dibuat dalam Katalog Data. Misalnya, dengan MySQL, jika Anda menentukan jalur include dariMyDatabase/%, maka semua tabel di dalamnya MyDatabase dibuat dalam Katalog Data. Saat mengakses Amazon Redshift, jika Anda menentukan penyertaan path MyDatabase/%, maka semua tabel dalam semua skema untuk basis data MyDatabase akan dibuat dalam Katalog Data. Jika Anda menentukan penyertaan path MyDatabase/MySchema/%, maka semua tabel dalam basis data MyDatabase dan skema MySchema dibuat.

Setelah Anda menentukan penyertaan path, maka Anda kemudian dapat mengecualikan objek dari perayapan di mana penyertaan path Anda akan dinyatakan termasuk dengan menentukan satu atau beberapa gaya pola pengecualian glob dengan gaya Unix. Pola ini diterapkan ke penyertaan path Anda untuk menentukan objek yang dikecualikan. Pola-pola ini juga disimpan sebagai properti tabel yang dibuat oleh crawler. AWS Glue PySpark ekstensi, seperticreate_dynamic_frame.from_catalog, membaca properti tabel dan mengecualikan objek yang ditentukan oleh pola pengecualian.

AWS Glue mendukung glob pola berikut dalam pola pengecualian.

AWS Glue menafsirkan glob mengecualikan pola sebagai berikut:

/mybucket/myfolder/
   departments/
      finance.json
      market-us.json
      market-emea.json
      market-ap.json
   employees/
      hr.json
      john.csv
      jane.csv
      juan.txt

 2015/01/{[!0],0[8-9]}**, 2015/0[2-9]/**, 2015/1[0-2]/**    
 

MyDatabase/MySchema/
   HR_us
   HR_fr
   Employees_Table
   Finance
   Market_US_Table
   Market_EMEA_Table
   Market_AP_Table

Setiap jenis sumber memerlukan seperangkat parameter tambahan yang berbeda.

Pilih atau tambahkan AWS Glue koneksi. Untuk informasi tentang koneksi, lihat Menghubungkan ke data.

Pilih properti metadata tambahan untuk crawler untuk dirayapi.

Ketik nama kelas JDBC driver kustom untuk crawler untuk terhubung ke sumber data:

Pilih jalur Amazon S3 yang ada ke file. .jar Di sinilah .jar file akan disimpan saat menggunakan JDBC driver khusus agar perayap terhubung ke sumber data.

Pilih apakah akan melakukan perayapan pada sampel data saja. Jika tidak dipilih, maka seluruh tabel akan di-crawl. Memindai semua catatan dapat memakan waktu lama ketika tabel tersebut bukan merupakan tabel throughput tinggi.

Pilih bagaimana Anda ingin membuat tabel Delta Lake:

Tentukan persentase tabel DynamoDB Membaca Unit Kapasitas yang akan digunakan oleh crawler. Unit kapasitas baca adalah istilah yang didefinisikan oleh DynamoDB, dan merupakan nilai numerik yang bertindak sebagai tingkat pembatar untuk jumlah baca yang dapat dilakukan pada tabel tersebut per detik. Masukkan nilai antara 0,1 dan 1,5. Jika tidak ditentukan, default ke 0,5 untuk tabel yang disediakan dan 1/4 dari kapasitas maksimum yang dikonfigurasi untuk tabel sesuai permintaan. Perhatikan bahwa hanya mode kapasitas yang disediakan yang harus digunakan dengan AWS Glue crawler.

Secara opsional sertakan koneksi Jaringan untuk digunakan dengan target Amazon S3 ini. Perhatikan bahwa setiap crawler terbatas pada satu koneksi Jaringan sehingga target Amazon S3 lainnya juga akan menggunakan koneksi yang sama (atau tidak ada, jika dibiarkan kosong).

Untuk informasi tentang koneksi, lihat Menghubungkan ke data.

Tentukan jumlah file di setiap folder daun yang akan di-crawl saat melakukan perayapan pada file sampel dalam set data. Ketika fitur ini diaktifkan, alih-alih melakukan perayapan pada semua file dalam set data ini, crawler akan secara acak memilih beberapa file di setiap folder daun untuk di-crawl.

Crawler sampling paling cocok untuk pelanggan yang memiliki pengetahuan sebelumnya tentang format data mereka dan tahu bahwa skema pada folder mereka tidak berubah. Dengan mengaktifkan fitur ini akan secara signifikan mengurangi waktu aktif crawler.

Nilai yang valid adalah bilangan bulat antara 1 dan 249. Jika tidak ditentukan, maka semua file di-crawl.

Bidang ini adalah bidang global yang memengaruhi semua sumber data Amazon S3.

Tentukan pengklasifikasi khusus sebelum mendefinisikan crawler. Pengklasifikasi memeriksa apakah file tertentu dalam format yang dapat ditangani oleh crawler. Jika ya, maka pengklasifikasi menciptakan sebuah skema dalam bentuk objek StructType yang cocok dengan format data tersebut.

Untuk informasi selengkapnya, lihat Mendefinisikan dan mengelola pengklasifikasi.