Tugas berjalan

• JobRun struktur

• Struktur pendahulu

• JobBookmarkEntry struktur

• BatchStopJobRunSuccessfulSubmission struktur

• BatchStopJobRunError struktur

• NotificationProperty struktur

Bidang

• Id- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari eksekusi tugas ini.

• Attempt — Nomor (bilangan bulat).

  Jumlah usaha untuk menjalankan tugas ini.

• PreviousRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari eksekusi sebelumnya dari tugas ini. Misalnya, JobRunId yang ditentukan dalam tindakan StartJobRun.

• TriggerName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama pemicu yang memulai eksekusi tugas ini.

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi ini.

• JobMode— UTF -8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan AWS Glue Editor skrip studio.

  • VISUAL- Pekerjaan dibuat menggunakan AWS Glue Editor visual studio.

  • NOTEBOOK- Pekerjaan itu dibuat menggunakan notebook sesi interaktif.

  Ketika JobMode bidang hilang atau null, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah pekerjaan menjalankan antrian diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, job run tidak akan dipertimbangkan untuk antrian.

• StartedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini dimulai.

• LastModifiedOn — Stempel waktu.

  Terakhir kali saat eksekusi tugas ini dijalankan.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini selesai.

• JobRunState— UTF -8 string (nilai valid: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR WAITING |EXPIRED).

  Status eksekusi tugas saat ini. Untuk informasi lebih lanjut tentang status pekerjaan yang telah dihentikan secara tidak normal, lihat AWS Glue Status Job Run.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah string UTF -8.

  Setiap nilai adalah string UTF -8.

  Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue sendiri mengkonsumsi.

  Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Mengambil rahasia dari AWS Glue Koneksi AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda berniat menyimpannya dalam Job.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Job Anda sendiri, lihat Memanggil AWS Glue APIsdalam topik Python di panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan oleh AWS Gluetopik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• ErrorMessage— UTF -8 string.

  Pesan kesalahan yang terkait dengan eksekusi tugas ini.

• PredecessorRuns – Susunan objek Pendahulu.

  Daftar pendahulu untuk eksekusi tugas ini.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah AWS Glue unit pemrosesan data (DPUs) dialokasikan untuk ini JobRun. Dari 2 hingga 100 DPUs dapat dialokasikan; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat AWS Glue halaman harga.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah AWS Glue unit pemrosesan data (DPUs) yang dapat dialokasikan saat pekerjaan ini berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat AWS Glue halaman harga.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan MaxCapacity tergantung pada apakah Anda menjalankan pekerjaan shell Python, pekerjaan Apache Spark, atau pekerjaan streaming Apache ETL Spark: ETL

  • Saat Anda menentukan pekerjaan shell Python (JobCommand.Name="pythonshell”), Anda dapat mengalokasikan 0,0625 atau 1. DPU Defaultnya adalah 0,0625DPU.

  • Saat Anda menentukan pekerjaan Apache Spark (JobCommand.Name="glueetl”) atau ETL ETL pekerjaan streaming Apache Spark (= “JobCommand.Namegluestreaming”), Anda dapat mengalokasikan dari 2 hingga 100. DPUs Defaultnya adalah 10DPUs. Jenis pekerjaan ini tidak dapat memiliki DPU alokasi fraksional.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4vCPUs, 16 GB memori) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (memori 8vCPUs, 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (memori 16vCPUs, 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk AWS Glue versi 3.0 atau yang lebih baru Spark ETL jobs berikut ini AWS Wilayah: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32vCPUs, 128 GB memori) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk AWS Glue versi 3.0 atau yang lebih baru ETL pekerjaan Spark, dalam hal yang sama AWS Wilayah yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (memori 2vCPUs, 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk AWS Glue pekerjaan streaming versi 3.0.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M- DPU (8vCPUs, 64 GB memori) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• LogGroupName— UTF -8 string.

  Nama grup log untuk pencatatan aman yang dapat dienkripsi sisi server di Amazon CloudWatch AWS KMS. Nama ini bisa/aws-glue/jobs/, dalam hal ini enkripsi defaultnyaNONE. Jika Anda menambahkan nama peran dan nama SecurityConfiguration (dengan kata lain, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), maka konfigurasi keamanan tersebut digunakan untuk mengenkripsi grup log.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #20

  Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi lebih lanjut tentang yang tersedia AWS Glue versi dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

  Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

• DPUSeconds — Nomor (ganda).

  Bidang ini dapat diatur untuk menjalankan tugas dengan kelas eksekusi FLEX atau saat Auto Scaling diaktifkan, dan mewakili total waktu yang dijalankan setiap pelaksana selama siklus hidup pekerjaan yang dijalankan dalam hitungan detik, dikalikan dengan DPU faktor (1 untuk, 2 untukG.1X, atau 0,25 untuk pekerja). G.2X G.025X Nilai ini mungkin berbeda dari executionEngineRuntime * MaxCapacity seperti dalam kasus pekerjaan Auto Scaling, karena jumlah pelaksana yang berjalan pada waktu tertentu mungkin kurang dari. MaxCapacity Oleh karena itu, ada kemungkinan bahwa nilai DPUSeconds kurang dari executionEngineRuntime *MaxCapacity.

• ExecutionClass— UTF -8 string, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 dan di atas dan jenis perintah glueetl akan diizinkan untuk diatur ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• MaintenanceWindow— UTF -8 string, cocok dengan. Custom string pattern #30

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, AWS Glue Anda perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 pagiGMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 hingga 13:00GMT. GMT

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama sebuah AWS Glue profil penggunaan yang terkait dengan pekerjaan dijalankan.

• StateDetail- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Bidang ini menyimpan detail yang berkaitan dengan keadaan menjalankan pekerjaan. Bidang ini nullable.

  Misalnya, ketika pekerjaan dijalankan dalam WAITING keadaan sebagai akibat dari antrian pekerjaan yang dijalankan, bidang tersebut memiliki alasan mengapa pekerjaan dijalankan dalam keadaan itu.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan oleh eksekusi tugas pendahulunya.

• RunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID eksekusi tugas dari eksekusi tugas pendahulu.

Bidang

• JobName— UTF -8 string.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• Run — Nomor (bilangan bulat).

  Nomor ID eksekusi.

• Attempt — Nomor (bilangan bulat).

  Nomor ID percobaan.

• PreviousRunId— UTF -8 string.

  Pengenal eksekusi unik yang terkait dengan eksekusi tugas sebelumnya.

• RunId— UTF -8 string.

  Nomor ID eksekusi.

• JobBookmark— UTF -8 string.

  Bookmark itu sendiri.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang dihentikan.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  JobRunId dari eksekusi tugas yang telah dihentikan.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang bersangkutan.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  JobRunId dari eksekusi tugas yang bersangkutan.

• ErrorDetail — Sebuah objek ErrorDetail.

  Menentukan detail tentang kesalahan yang ditemui.

Bidang

• NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

  Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

• StartJobRun tindakan (Python: start_job_run)

• BatchStopJobRun tindakan (Python: batch_stop_job_run)

• GetJobRun tindakan (Python: get_job_run)

• GetJobRuns tindakan (Python: get_job_runs)

• GetJobBookmark tindakan (Python: get_job_bookmark)

• GetJobBookmarks tindakan (Python: get_job_bookmarks)

• ResetJobBookmark tindakan (Python: reset_job_bookmark)

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang akan digunakan.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah pekerjaan menjalankan antrian diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, job run tidak akan dipertimbangkan untuk antrian.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari JobRun sebelumnya yang akan diulang.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah string UTF -8.

  Setiap nilai adalah string UTF -8.

  Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue sendiri mengkonsumsi.

  Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Mengambil rahasia dari AWS Glue Koneksi AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda berniat menyimpannya dalam Job.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Job Anda sendiri, lihat Memanggil AWS Glue APIsdalam topik Python di panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan oleh AWS Gluetopik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah AWS Glue unit pemrosesan data (DPUs) untuk mengalokasikan untuk ini JobRun. Anda dapat mengalokasikan minimal 2DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat AWS Glue halaman harga.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan streaming harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Ketika nilai dibiarkan kosong, pekerjaan akan dimulai ulang setelah 7 hari berdasarkan jika Anda belum menyiapkan jendela pemeliharaan. Jika Anda memiliki jendela pemeliharaan pengaturan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah AWS Glue unit pemrosesan data (DPUs) yang dapat dialokasikan saat pekerjaan ini berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat AWS Glue halaman harga.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan MaxCapacity tergantung pada apakah Anda menjalankan pekerjaan shell Python, pekerjaan Apache Spark, atau pekerjaan streaming Apache ETL Spark: ETL

  • Saat Anda menentukan pekerjaan shell Python (JobCommand.Name="pythonshell”), Anda dapat mengalokasikan 0,0625 atau 1. DPU Defaultnya adalah 0,0625DPU.

  • Saat Anda menentukan pekerjaan Apache Spark (JobCommand.Name="glueetl”) atau ETL ETL pekerjaan streaming Apache Spark (= “JobCommand.Namegluestreaming”), Anda dapat mengalokasikan dari 2 hingga 100. DPUs Defaultnya adalah 10DPUs. Jenis pekerjaan ini tidak dapat memiliki DPU alokasi fraksional.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4vCPUs, 16 GB memori) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (memori 8vCPUs, 32 GB) dengan disk 128GB (sekitar 77GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (memori 16vCPUs, 64 GB) dengan disk 256GB (sekitar 235GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk AWS Glue versi 3.0 atau yang lebih baru Spark ETL jobs berikut ini AWS Wilayah: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32vCPUs, 128 GB memori) dengan disk 512GB (sekitar 487GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk AWS Glue versi 3.0 atau yang lebih baru ETL pekerjaan Spark, dalam hal yang sama AWS Wilayah yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (memori 2vCPUs, 4 GB) dengan disk 84GB (sekitar 34GB gratis), dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk AWS Glue pekerjaan streaming versi 3.0.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M- DPU (8vCPUs, 64 GB memori) dengan disk 128 GB (sekitar 120GB gratis), dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• ExecutionClass— UTF -8 string, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 dan di atas dan jenis perintah glueetl akan diizinkan untuk diatur ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama sebuah AWS Glue profil penggunaan yang terkait dengan pekerjaan dijalankan.

Respons

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID yang ditetapkan untuk eksekusi tugas ini.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang akan menghentikan eksekusi tugas.

• JobRunIds— Wajib: Sebuah array UTF -8 string, tidak kurang dari 1 atau lebih dari 25 string.

  Daftar JobRunIds yang harus dihentikan untuk definisi tugas itu.

Respons

• SuccessfulSubmissions – Susunan objek BatchStopJobRunSuccessfulSubmission.

  Daftar JobRuns yang berhasil diajukan untuk dihentikan.

• Errors – Susunan objek BatchStopJobRunError.

  Daftar kesalahan yang ditemui dalam mencoba untuk menghentikan JobRuns, termasuk JobRunId yang ditemui kesalahannya dan detail tentang kesalahannya.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang sedang dijalankan.

• RunId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID dari eksekusi tugas.

• PredecessorsIncluded – Boolean.

  BETUL jika daftar eksekusi pendahulu harus dikembalikan.

Respons

• JobRun — Sebuah objek JobRun.

  Metadata eksekusi tugas yang diminta.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas untuk yang akan diambil semua eksekusi tugas-nya.

• NextToken— UTF -8 string.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

• MaxResults— Angka (bilangan bulat), tidak kurang dari 1 atau lebih dari 200.

  Ukuran maksimum respons.

Respons

• JobRuns – Susunan objek JobRun.

  Daftar objek metadata eksekusi tugas.

• NextToken— UTF -8 string.

  Sebuah token kelanjutan, jika bukan semua eksekusi tugas yang diminta yang telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• RunId— UTF -8 string.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Sebuah struktur yang mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• MaxResults — Nomor (bilangan bulat).

  Ukuran maksimum respons.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• JobBookmarkEntries – Susunan objek JobBookmarkEntry.

  Daftar entri bookmark tugas yang mendefinisikan titik di mana tugas dapat melanjutkan pemrosesan.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, yang memiliki nilai 1 jika semua entri dikembalikan, atau > 1 jika tidak semua eksekusi tugas yang diminta telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• RunId— UTF -8 string.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Entri bookmark pengaturan ulang.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException