API Crawler

• Struktur perayap

• Struktur jadwal

• CrawlerTargets struktur

• Struktur S3Target

• S3DeltaCatalogTarget struktur

• S3DeltaDirectTarget struktur

• JdbcTarget struktur

• Struktur MongoDBTarget

• Struktur DynamoDBTarget

• DeltaTarget struktur

• IcebergTarget struktur

• HudiTarget struktur

• CatalogTarget struktur

• CrawlerMetrics struktur

• CrawlerHistory struktur

• CrawlsFilter struktur

• SchemaChangePolicy struktur

• LastCrawlInfo struktur

• RecrawlPolicy struktur

• LineageConfiguration struktur

• LakeFormationConfiguration struktur

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama perayap.

• Role— UTF-8 tali.

  Amazon Resource Name (ARN) dari sebuah IAM role yang digunakan untuk mengakses sumber daya pelanggan, seperti data Amazon Simple Storage Service (Amazon S3).

• Targets — Sebuah objek CrawlerTargets.

  Sebuah sekumpulan target yang akan dilakukan perayapan padanya.

• DatabaseName— UTF-8 tali.

  Nama basis data tempat output crawler disimpan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi crawler.

• Classifiers— Sebuah array UTF-8 string.

  Daftar UTF-8 string yang menentukan pengklasifikasi khusus yang terkait dengan crawler.

• RecrawlPolicy — Sebuah objek RecrawlPolicy.

  Sebuah kebijakan yang menentukan apakah akan melakukan perayapan pada seluruh set data lagi, atau hanya pada folder yang ditambahkan sejak crawler terakhir kali dijalankan.

• SchemaChangePolicy — Sebuah objek SchemaChangePolicy.

  Kebijakan yang menentukan perilaku pembaruan dan penghapusan untuk crawler.

• LineageConfiguration — Sebuah objek LineageConfiguration.

  Sebuah konfigurasi yang menentukan apakah garis keturunan data diaktifkan untuk crawler.

• State— UTF-8 string (nilai valid: READY | RUNNING |STOPPING).

  Menunjukkan apakah crawler sedang berjalan, atau apakah eksekusi-nya ditunda.

• TablePrefix— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Prefiks ditambahkan ke nama tabel yang dibuat.

• Schedule — Sebuah objek Jadwal.

  Untuk crawler terjadwal, jadwal pada saat crawler berjalan.

• CrawlElapsedTime — Nomor (panjang).

  Jika crawler berjalan, berisi total waktu yang berlalu sejak perayapan terakhir dimulai.

• CreationTime — Stempel waktu.

  Waktu saat crawler diciptakan.

• LastUpdated — Stempel waktu.

  Waktu saat crawler terakhir diperbarui.

• LastCrawl — Sebuah objek LastCrawlInfo.

  Status perayapan terakhir, dan kemungkinan kesalahan informasi jika terjadi kesalahan.

• Version — Nomor (panjang).

  Versi crawler.

• Configuration— UTF-8 tali.

  Informasi konfigurasi perayap. String JSON berversi ini memungkinkan pengguna untuk menentukan aspek perilaku perayap. Untuk informasi selengkapnya, lihat Mengatur opsi konfigurasi crawler.

• CrawlerSecurityConfiguration— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Nama struktur SecurityConfiguration yang akan digunakan oleh perayap ini.

• LakeFormationConfiguration — Sebuah objek LakeFormationConfiguration.

  Menentukan apakah crawler harus menggunakan AWS Lake Formation kredenSIAL untuk crawler alih-alih kredenSIAL peran IAM.

Bidang

• ScheduleExpression— UTF-8 tali.

  Ek cron spresi yang digunakan untuk menentukan jadwal (lihat Time-Based Jadwal untuk Pekerjaan dan Perayap. Sebagai contoh, untuk menjalankan sesuatu setiap hari pada 12:15 UTC, Anda harus menentukan cron(15 12 * * ? *).

• State— UTF-8 string (nilai valid: SCHEDULED | NOT_SCHEDULED |TRANSITIONING).

  Status jadwal.

Bidang

• S3Targets – Susunan objek S3Target.

  Menentukan target Amazon Simple Storage Service (Amazon S3).

• JdbcTargets – Susunan objek JdbcTarget.

  Menentukan target JDBC.

• MongoDBTargets – Susunan objek MongoDbTarget.

  Menentukan target Amazon DocumentDB atau MongoDB.

• DynamoDBTargets – Susunan objek DynamoDBTarget.

  Menentukan target Amazon DynamoDB.

• CatalogTargets – Susunan objek CatalogTarget.

  Menentukan AWS Glue Data Catalog target.

• DeltaTargets – Susunan objek DeltaTarget.

  Menentukan target penyimpanan data Delta.

• IcebergTargets – Susunan objek IcebergTarget.

  Menentukan target penyimpanan data Apache Iceberg.

• HudiTargets – Susunan objek HudiTarget.

  Menentukan target penyimpanan data Apache Hudi.

Bidang

• Path— UTF-8 tali.

  Jalur ke target Amazon S3.

• Exclusions— Sebuah array UTF-8 string.

  Daftar pola glob yang digunakan untuk mengecualikan dari perayapan. Untuk informasi selengkapnya, lihat: Tabel Katalog dengan Crawler.

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang memungkinkan tugas atau crawler untuk mengakses data di Amazon S3 dalam lingkungan Amazon Virtual Private Cloud (Amazon VPC).

• SampleSize — Nomor (bilangan bulat).

  Menetapkan jumlah file di setiap folder daun yang akan di-crawl saat melakukan perayapan pada file sampel dalam set data. Jika tidak diatur, maka semua file di-crawl. Nilai yang valid adalah bilangan bulat antara 1 dan 249.

• EventQueueArn— UTF-8 tali.

  Arn Amazon SQS yang valid. Misalnya, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 tali.

  Huruf mati Amazon SQS ARN yang valid. Misalnya, arn:aws:sqs:region:account:deadLetterQueue.

Bidang

• Name— Diperlukan: UTF-8 string, cocok denganCustom string pattern #68.

  Nama target data.

• Inputs- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 1 string.

  Node yang merupakan input ke target data.

• PartitionKeys— Sebuah array UTF-8 string.

  Menentukan partisi asli menggunakan urutan kunci.

• Table— Diperlukan: UTF-8 string, cocok denganCustom string pattern #66.

  Nama tabel dalam database untuk menulis.

• Database— Diperlukan: UTF-8 string, cocok denganCustom string pattern #66.

  Nama database untuk menulis.

• AdditionalOptions – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, cocok denganCustom string pattern #66.

  Setiap nilai adalah UTF-8 string, cocok denganCustom string pattern #66.

  Menentukan opsi koneksi tambahan untuk konektor.

• SchemaChangePolicy — Sebuah objek CatalogSchemaChangePolicy.

  Kebijakan yang menentukan perilaku pembaruan untuk crawler.

• AutoDataQuality — Sebuah objek AutoDataQuality.

  Menentukan apakah akan secara otomatis mengaktifkan evaluasi kualitas data untuk target katalog S3 Delta. Ketika disetel ketrue, pemeriksaan kualitas data dilakukan secara otomatis selama operasi penulisan.

• OutputSchemas – Susunan objek GlueSchema.

  Menentukan skema data untuk target katalog S3 Delta.

Bidang

• Name— Diperlukan: UTF-8 string, cocok denganCustom string pattern #68.

  Nama target data.

• Inputs- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 1 string.

  Node yang merupakan input ke target data.

• PartitionKeys— Sebuah array UTF-8 string.

  Menentukan partisi asli menggunakan urutan kunci.

• Path— Diperlukan: UTF-8 string, cocok denganCustom string pattern #66.

  Jalur Amazon S3 dari sumber data Delta Lake Anda untuk menulis.

• Compression— Diperlukan: UTF-8 string (nilai valid: uncompressed="UNCOMPRESSED" |snappy="SNAPPY").

  Menentukan bagaimana data dikompresi. Hal ini umumnya tidak diperlukan jika data memiliki sebuah ekstensi file standar. Nilai yang mungkin adalah "gzip" dan"bzip").

• NumberTargetPartitions— UTF-8 tali.

  Menentukan jumlah partisi target untuk mendistribusikan file dataset Delta Lake di Amazon S3.

• Format— Diperlukan: UTF-8 string (nilai yang valid: json="JSON" csv="CSV" | avro="AVRO" | orc="ORC" | parquet="PARQUET" | hudi="HUDI" | delta="DELTA" | iceberg="ICEBERG" | hyper="HYPER" |xml="XML").

  Menentukan format output data untuk target.

• AdditionalOptions – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, cocok denganCustom string pattern #66.

  Setiap nilai adalah UTF-8 string, cocok denganCustom string pattern #66.

  Menentukan opsi koneksi tambahan untuk konektor.

• SchemaChangePolicy — Sebuah objek DirectSchemaChangePolicy.

  Kebijakan yang menentukan perilaku pembaruan untuk crawler.

• AutoDataQuality — Sebuah objek AutoDataQuality.

  Menentukan apakah akan secara otomatis mengaktifkan evaluasi kualitas data untuk target langsung S3 Delta. Ketika disetel ketrue, pemeriksaan kualitas data dilakukan secara otomatis selama operasi penulisan.

Bidang

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang akan digunakan untuk menyambungkan ke target JDBC.

• Path— UTF-8 tali.

  Jalur target JDBC.

• Exclusions— Sebuah array UTF-8 string.

  Daftar pola glob yang digunakan untuk mengecualikan dari perayapan. Untuk informasi selengkapnya, lihat: Tabel Katalog dengan Crawler.

• EnableAdditionalMetadata— Sebuah array UTF-8 string.

  Tentukan nilai RAWTYPES atau COMMENTS untuk mengaktifkan metadata tambahan dalam tanggapan tabel. RAWTYPESmenyediakan tipe data tingkat asli. COMMENTSmemberikan komentar yang terkait dengan kolom atau tabel dalam database.

  Jika Anda tidak memerlukan metadata tambahan, biarkan kolom kosong.

Bidang

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang akan digunakan untuk menghubungkan ke target Amazon DocumentDB atau MongoDB.

• Path— UTF-8 tali.

  Jalur target Amazon DocumentDB atau MongoDB (). database/collection

• ScanAll – Boolean.

  Menunjukkan apakah akan memindai semua catatan, atau mengambil sampel baris dari tabel. Memindai semua catatan dapat memakan waktu lama ketika tabel tersebut bukan merupakan tabel throughput tinggi.

  Sebuah nilai true berarti memindai semua catatan, sementara nilai false berarti mengambil sampel catatan. Jika tidak ada nilai yang ditentukan, nilai defaultnya menjadi true.

Bidang

• Path— UTF-8 tali.

  Nama dari tabel DynamoDB untuk bergerak.

• scanAll – Boolean.

  Menunjukkan apakah akan memindai semua catatan, atau mengambil sampel baris dari tabel. Memindai semua catatan dapat memakan waktu lama ketika tabel tersebut bukan merupakan tabel throughput tinggi.

  Sebuah nilai true berarti memindai semua catatan, sementara nilai false berarti mengambil sampel catatan. Jika tidak ada nilai yang ditentukan, nilai defaultnya menjadi true.

• scanRate — Nomor (ganda).

  Persentase unit kapasitas baca yang dikonfigurasi untuk digunakan oleh AWS Glue crawler. Unit kapasitas baca adalah istilah yang didefinisikan oleh DynamoDB, dan merupakan nilai numerik yang bertindak sebagai tingkat pembatar untuk jumlah baca yang dapat dilakukan pada tabel tersebut per detik.

  Nilai-nilai yang valid adalah nol atau nilai antara 0,1 sampai 1,5. Nilai nol digunakan ketika pengguna tidak memberikan nilai, dan default-nya menjadi 0,5 Unit Kapasitas Baca yang dikonfigurasi (untuk tabel yang disediakan), atau maksimal 0,25 Unit Kapasitas Baca yang dikonfigurasi (untuk tabel yang menggunakan mode sesuai permintaan).

Bidang

• DeltaTables— Sebuah array UTF-8 string.

  Daftar jalur Amazon S3 ke tabel Delta.

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang akan digunakan untuk terhubung ke target tabel Delta.

• WriteManifest – Boolean.

  Menentukan apakah akan menulis file manifes ke jalur tabel Delta.

• CreateNativeDeltaTable – Boolean.

  Menentukan apakah crawler akan membuat tabel asli, untuk memungkinkan integrasi dengan mesin kueri yang mendukung kueri log transaksi Delta secara langsung.

Bidang

• Paths— Sebuah array UTF-8 string.

  Satu atau lebih Amazon S3 jalur yang berisi folder metadata Iceberg sebagais3://bucket/prefix.

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang digunakan untuk terhubung ke target gunung es.

• Exclusions— Sebuah array UTF-8 string.

  Daftar pola glob yang digunakan untuk mengecualikan dari perayapan. Untuk informasi selengkapnya, lihat: Tabel Katalog dengan Crawler.

• MaximumTraversalDepth — Nomor (bilangan bulat).

  Kedalaman Amazon S3 jalur maksimum yang dapat dilalui crawler untuk menemukan folder metadata Iceberg di jalur Anda. Amazon S3 Digunakan untuk membatasi waktu berjalan crawler.

Bidang

• Paths— Sebuah array UTF-8 string.

  Array string Amazon S3 lokasi untuk Hudi, masing-masing menunjukkan folder root tempat file metadata untuk tabel Hudi berada. Folder Hudi mungkin terletak di folder anak dari folder root.

  Perayap akan memindai semua folder di bawah jalur untuk folder Hudi.

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi yang digunakan untuk terhubung ke target Hudi. Jika file Hudi Anda disimpan dalam bucket yang memerlukan otorisasi VPC, Anda dapat mengatur properti koneksi mereka di sini.

• Exclusions— Sebuah array UTF-8 string.

  Daftar pola glob yang digunakan untuk mengecualikan dari perayapan. Untuk informasi selengkapnya, lihat: Tabel Katalog dengan Crawler.

• MaximumTraversalDepth — Nomor (bilangan bulat).

  Kedalaman Amazon S3 jalur maksimum yang dapat dilalui crawler untuk menemukan folder metadata Hudi di jalur Anda. Amazon S3 Digunakan untuk membatasi waktu berjalan crawler.

Bidang

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama database yang akan disinkronkan.

• Tables- Diperlukan: Sebuah array UTF-8 string, setidaknya 1 string.

  Daftar tabel yang akan disinkronkan.

• ConnectionName— UTF-8 string, tidak kurang dari 1 atau lebih dari 2048 byte panjangnya.

  Nama koneksi untuk tabel Katalog S3-backed Data Amazon untuk menjadi target perayapan saat menggunakan jenis Catalog koneksi yang dipasangkan dengan tipe NETWORK Koneksi.

• EventQueueArn— UTF-8 tali.

  Arn Amazon SQS yang valid. Misalnya, arn:aws:sqs:region:account:sqs.

• DlqEventQueueArn— UTF-8 tali.

  Surat mati Amazon SQS ARN yang valid. Misalnya, arn:aws:sqs:region:account:deadLetterQueue.

Bidang

• CrawlerName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama perayap.

• TimeLeftSeconds — Nomor (ganda).

  Perkiraan waktu tersisa untuk menyelesaikan perayapan yang berjalan.

• StillEstimating – Boolean.

  BETUL jika crawler masih memperkirakan berapa lama waktu yang dibutuhkan untuk menyelesaikan eksekusi ini.

• LastRuntimeSeconds — Nomor (ganda).

  Durasi eksekusi terbaru oleh crawler, dalam hitungan detik.

• MedianRuntimeSeconds — Nomor (ganda).

  Durasi median dari eksekusi crawler ini, dalam hitungan detik.

• TablesCreated — Nomor (bilangan bulat).

  Jumlah tabel yang dibuat oleh crawler ini.

• TablesUpdated — Nomor (bilangan bulat).

  Jumlah tabel yang diperbarui oleh crawler ini.

• TablesDeleted — Nomor (bilangan bulat).

  Jumlah tabel yang dihapus oleh crawler ini.

Bidang

• CrawlId— UTF-8 tali.

  Pengidentifikasi UUID untuk setiap crawling.

• State— UTF-8 string (nilai valid: RUNNING | COMPLETED | FAILED |STOPPED).

  Keadaan merangkak.

• StartTime — Stempel waktu.

  Tanggal dan waktu saat perayapan dimulai.

• EndTime — Stempel waktu.

  Tanggal dan waktu di mana merangkak berakhir.

• Summary— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Ringkasan jalankan untuk crawling tertentu di JSON. Berisi tabel katalog dan partisi yang ditambahkan, diperbarui, atau dihapus.

• ErrorMessage — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Jika terjadi kesalahan, pesan kesalahan terkait dengan crawling.

• LogGroup— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganLog group string pattern.

  Grup log yang dikaitkan dengan perayapan.

• LogStream— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganLog-stream string pattern.

  Pengaliran log yang dikaitkan dengan perayapan.

• MessagePrefix— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Awalan untuk CloudWatch pesan tentang crawling ini.

• DPUHour — Nomor (ganda).

  Jumlah unit pemrosesan data (DPU) yang digunakan dalam jam untuk crawling.

Bidang

• FieldName— UTF-8 string (nilai valid: CRAWL_ID | STATE | START_TIME | END_TIME |DPU_HOUR).

  Kunci yang digunakan untuk memfilter crawler berjalan untuk crawler tertentu. Nilai yang valid untuk masing-masing nama bidang adalah:

  • CRAWL_ID: Sebuah string yang mewakili pengenal UUID untuk crawling.

  • STATE: Sebuah string yang mewakili keadaan crawling.

  • START_TIMEdanEND_TIME: Stempel waktu zaman dalam milidetik.

  • DPU_HOUR: Jumlah jam unit pemrosesan data (DPU) yang digunakan untuk crawling.

• FilterOperator— UTF-8 string (nilai valid: GT | GE | LT | LE | EQ |NE).

  Komparator yang ditentukan yang beroperasi pada nilai. Operator yang tersedia adalah:

  • GT: Lebih besar dari.

  • GE: Lebih besar dari atau sama dengan.

  • LT: Kurang dari.

  • LE: Kurang dari atau sama dengan.

  • EQ: Sama dengan.

  • NE: Tidak sama dengan.

• FieldValue— UTF-8 tali.

  Nilai yang disediakan untuk perbandingan pada bidang crawling.

Bidang

• UpdateBehavior— UTF-8 string (nilai valid: LOG |UPDATE_IN_DATABASE).

  Perilaku pembaruan ketika perayap menemukan skema yang berubah.

• DeleteBehavior— UTF-8 string (nilai valid: LOG | DELETE_FROM_DATABASE |DEPRECATE_IN_DATABASE).

  Perilaku penghapusan saat perayap menemukan objek yang dihapus.

Bidang

• Status— UTF-8 string (nilai valid: SUCCEEDED | CANCELLED |FAILED).

  Status perayapan terakhir.

• ErrorMessage — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Jika terjadi kesalahan, informasi kesalahan tentang perayapan terakhir.

• LogGroup— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganLog group string pattern.

  Grup log untuk perayapan terakhir.

• LogStream— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganLog-stream string pattern.

  Pengaliran log untuk perayapan terakhir.

• MessagePrefix— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Prefiks untuk pesan tentang perayapan ini.

• StartTime — Stempel waktu.

  Waktu saat perayapan dimulai.

Bidang

• RecrawlBehavior— UTF-8 string (nilai valid: CRAWL_EVERYTHING | CRAWL_NEW_FOLDERS_ONLY |CRAWL_EVENT_MODE).

  Menentukan apakah akan melakukan perayapan pada seluruh set data lagi, atau hanya pada folder yang ditambahkan sejak crawler terakhir kali dijalankan.

  Sebuah nilai CRAWL_EVERYTHING menentukan untuk melakukan perayapan pada seluruh set data lagi.

  Sebuah nilai CRAWL_NEW_FOLDERS_ONLY menentukan untuk hanya melakukan perayapan pada folder yang ditambahkan sejak menjalankan crawler terakhir kali dijalankan.

  Nilai CRAWL_EVENT_MODE menentukan hanya merayapi perubahan yang diidentifikasi oleh peristiwa Amazon S3.

Bidang

• CrawlerLineageSettings— UTF-8 string (nilai valid: ENABLE |DISABLE).

  Menentukan apakah garis keturunan data diaktifkan untuk crawler. Nilai yang valid adalah:

  • AKTIFKAN: mengaktifkan garis keturunan data untuk crawler

  • NONAKTIFKAN: menonaktifkan garis keturunan data untuk crawler

Bidang

• UseLakeFormationCredentials – Boolean.

  Menentukan apakah akan menggunakan AWS Lake Formation kredenSIAL untuk crawler alih-alih kredenSIAL peran IAM.

• AccountId— UTF-8 string, panjangnya tidak lebih dari 12 byte.

  Diperlukan untuk perayapan lintas akun. Untuk perayapan akun yang sama dengan data target, ini dapat dibiarkan sebagai null.

• CreateCrawler tindakan (Python: create_crawler)

• DeleteCrawler tindakan (Python: delete_crawler)

• GetCrawler tindakan (Python: get_crawler)

• GetCrawlers tindakan (Python: get_crawlers)

• GetCrawlerMetrics tindakan (Python: get_crawler_metrics)

• UpdateCrawler tindakan (Python: update_crawler)

• StartCrawler tindakan (Python: start_crawler)

• StopCrawler tindakan (Python: stop_crawler)

• BatchGetCrawlers tindakan (Python: batch_get_crawlers)

• ListCrawlers tindakan (Python: list_crawlers)

• ListCrawls tindakan (Python: list_crawls)

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler baru.

• Role- Diperlukan: UTF-8 string.

  IAM role atau Amazon Resource Name (ARN) dari IAM role yang digunakan oleh crawler baru tersebut untuk mengakses sumber daya pelanggan.

• DatabaseName— UTF-8 tali.

  Bas AWS Glue is data tempat hasil ditulis, seperti:arn:aws:daylight:us-east-1::database/sometable/*.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi crawler baru.

• Targets — Wajib: Sebuah objek CrawlerTargets.

  Sebuah daftar sekumpulan target yang akan dilakukan perayapan padanya.

• Schedule— UTF-8 tali.

  Ek cron spresi yang digunakan untuk menentukan jadwal (lihat Time-Based Jadwal untuk Pekerjaan dan Perayap. Sebagai contoh, untuk menjalankan sesuatu setiap hari pada 12:15 UTC, Anda harus menentukan cron(15 12 * * ? *).

• Classifiers— Sebuah array UTF-8 string.

  Daftar pengklasifikasi kustom yang didaftarkan oleh pengguna. Secara default, semua pengklasifikasi bawaan disertakan dalam sebuah perayapan, tetapi pengklasifikasi kustom ini selalu menimpa pengklasifikasi default untuk klasifikasi tertentu.

• TablePrefix— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Prefiks tabel yang digunakan untuk tabel katalog yang dibuat.

• SchemaChangePolicy — Sebuah objek SchemaChangePolicy.

  Kebijakan untuk perilaku pembaruan dan penghapusan crawler.

• RecrawlPolicy — Sebuah objek RecrawlPolicy.

  Sebuah kebijakan yang menentukan apakah akan melakukan perayapan pada seluruh set data lagi, atau hanya pada folder yang ditambahkan sejak crawler terakhir kali dijalankan.

• LineageConfiguration — Sebuah objek LineageConfiguration.

  Menentukan pengaturan konfigurasi garis keturunan data untuk crawler tersebut.

• LakeFormationConfiguration — Sebuah objek LakeFormationConfiguration.

  Men AWS Lake Formation entukan pengaturan konfigurasi untuk crawler.

• Configuration— UTF-8 tali.

  Informasi konfigurasi perayap. String JSON berversi ini memungkinkan pengguna untuk menentukan aspek perilaku perayap. Untuk informasi selengkapnya, lihat Mengatur opsi konfigurasi crawler.

• CrawlerSecurityConfiguration— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Nama struktur SecurityConfiguration yang akan digunakan oleh crawler ini.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Tag untuk digunakan dengan permintaan crawler ini. Anda dapat menggunakan tag untuk membatasi akses ke crawler. Untuk informasi selengkapnya tentang tag di AWS Glue, lihat AWS Tag AWS Glue di dalam panduan pengembang.

Respons

• Tidak ada parameter Respons.

Kesalahan

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• ResourceNumberLimitExceededException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler yang akan dihapus.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• CrawlerRunningException

• SchedulerTransitioningException

• OperationTimeoutException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler yang untuknya metadata diambil.

Respons

• Crawler — Sebuah objek Crawler.

  Metadata untuk crawler yang ditentukan.

Kesalahan

• EntityNotFoundException

• OperationTimeoutException

Permintaan

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah crawler yang akan dikembalikan pada setiap panggilan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

Respons

• Crawlers – Susunan objek Crawler.

  Daftar metadata crawler.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika daftar yang dikembalikan belum mencapai akhir yang didefinisikan dalam akun pelanggan ini.

Kesalahan

• OperationTimeoutException

Permintaan

• CrawlerNameList— Sebuah array UTF-8 string, tidak lebih dari 100 string.

  Daftar nama crawler yang akan diambil metriknya.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum daftar yang akan dikembalikan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• CrawlerMetricsList – Susunan objek CrawlerMetrics.

  Daftar metrik untuk crawler yang ditentukan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan

• OperationTimeoutException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler baru.

• Role— UTF-8 tali.

  IAM role atau Amazon Resource Name (ARN) dari IAM role yang digunakan oleh crawler baru tersebut untuk mengakses sumber daya pelanggan.

• DatabaseName— UTF-8 tali.

  Bas AWS Glue is data tempat hasil disimpan, seperti:arn:aws:daylight:us-east-1::database/sometable/*.

• Description— UTF-8 string, panjangnya tidak lebih dari 2048 byte, cocok denganURI address multi-line string pattern.

  Deskripsi crawler baru.

• Targets — Sebuah objek CrawlerTargets.

  Daftar target yang akan di-crawl.

• Schedule— UTF-8 tali.

  Ek cron spresi yang digunakan untuk menentukan jadwal (lihat Time-Based Jadwal untuk Pekerjaan dan Perayap. Sebagai contoh, untuk menjalankan sesuatu setiap hari pada 12:15 UTC, Anda harus menentukan cron(15 12 * * ? *).

• Classifiers— Sebuah array UTF-8 string.

  Daftar pengklasifikasi kustom yang didaftarkan oleh pengguna. Secara default, semua pengklasifikasi bawaan disertakan dalam sebuah perayapan, tetapi pengklasifikasi kustom ini selalu menimpa pengklasifikasi default untuk klasifikasi tertentu.

• TablePrefix— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Prefiks tabel yang digunakan untuk tabel katalog yang dibuat.

• SchemaChangePolicy — Sebuah objek SchemaChangePolicy.

  Kebijakan untuk perilaku pembaruan dan penghapusan crawler.

• RecrawlPolicy — Sebuah objek RecrawlPolicy.

  Sebuah kebijakan yang menentukan apakah akan melakukan perayapan pada seluruh set data lagi, atau hanya pada folder yang ditambahkan sejak crawler terakhir kali dijalankan.

• LineageConfiguration — Sebuah objek LineageConfiguration.

  Menentukan pengaturan konfigurasi garis keturunan data untuk crawler tersebut.

• LakeFormationConfiguration — Sebuah objek LakeFormationConfiguration.

  Men AWS Lake Formation entukan pengaturan konfigurasi untuk crawler.

• Configuration— UTF-8 tali.

  Informasi konfigurasi perayap. String JSON berversi ini memungkinkan pengguna untuk menentukan aspek perilaku perayap. Untuk informasi selengkapnya, lihat Mengatur opsi konfigurasi crawler.

• CrawlerSecurityConfiguration— UTF-8 string, panjangnya tidak lebih dari 128 byte.

  Nama struktur SecurityConfiguration yang akan digunakan oleh perayap ini.

Respons

• Tidak ada parameter Respons.

Kesalahan

• InvalidInputException

• VersionMismatchException

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler yang akan dimulai.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• CrawlerRunningException

• OperationTimeoutException

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama crawler yang akan dihentikan.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• CrawlerNotRunningException

• CrawlerStoppingException

• OperationTimeoutException

Permintaan

• CrawlerNames- Diperlukan: Sebuah array UTF-8 string, tidak lebih dari 100 string.

  Daftar nama crawler, mungkin nama yang dikembalikan oleh operasi ListCrawlers.

Respons

• Crawlers – Susunan objek Crawler.

  Daftar definisi crawler.

• CrawlersNotFound— Sebuah array UTF-8 string, tidak lebih dari 100 string.

  Daftar nama crawler yang tidak ditemukan.

Kesalahan

• InvalidInputException

• OperationTimeoutException

Permintaan

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum daftar yang akan dikembalikan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Menentukan untuk mengembalikan hanya sumber daya ditandai saja.

Respons

• CrawlerNames— Sebuah array UTF-8 string, tidak lebih dari 100 string.

  Nama dari semua crawler dalam akun, atau crawler dengan tag yang ditentukan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan

• OperationTimeoutException

• Mengambil semua perayapan dari crawler tertentu.

• Ambil semua perayapan dari crawler tertentu dalam jumlah terbatas.

• Ambil semua perayapan dari crawler tertentu dalam rentang waktu tertentu.

• Ambil semua perayapan dari crawler tertentu dengan status tertentu, ID perayapan, atau nilai jam DPU.

Permintaan

• CrawlerName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama perayap yang menjalankannya ingin Anda ambil.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum yang akan dikembalikan. Defaultnya adalah 20, dan maksimum adalah 100.

• Filters – Susunan objek CrawlsFilter.

  Memfilter crawls berdasarkan kriteria yang Anda tentukan dalam daftar CrawlsFilter objek.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• Crawls – Susunan objek CrawlerHistory.

  Daftar CrawlerHistory objek yang mewakili proses perayapan yang memenuhi kriteria Anda.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan untuk pemberian nomor halaman untuk daftar token yang ditampilkan, dikembalikan jika segmen saat ini dari daftar tersebut bukan yang terakhir.

Kesalahan

• EntityNotFoundException

• OperationTimeoutException

• InvalidInputException