Tugas berjalan

• JobRun struktur

• Struktur pendahulu

• JobBookmarkEntry struktur

• BatchStopJobRunSuccessfulSubmission struktur

• BatchStopJobRunError struktur

• NotificationProperty struktur

Bidang

• Id- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari eksekusi tugas ini.

• Attempt — Nomor (bilangan bulat).

  Jumlah usaha untuk menjalankan tugas ini.

• PreviousRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari eksekusi sebelumnya dari tugas ini. Misalnya, JobRunId yang ditentukan dalam tindakan StartJobRun.

• TriggerName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama pemicu yang memulai eksekusi tugas ini.

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi ini.

• JobMode— UTF -8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

  • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

  • NOTEBOOK- Pekerjaan itu dibuat menggunakan notebook sesi interaktif.

  Ketika JobMode bidang hilang atau null, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah pekerjaan menjalankan antrian diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, job run tidak akan dipertimbangkan untuk antrian.

• StartedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini dimulai.

• LastModifiedOn — Stempel waktu.

  Terakhir kali saat eksekusi tugas ini dijalankan.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini selesai.

• JobRunState— UTF -8 string (nilai valid: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR WAITING |EXPIRED).

  Status eksekusi tugas saat ini. Untuk informasi lebih lanjut tentang status tugas yang telah dihentikan secara tidak normal, lihat Status Eksekusi Tugas AWS Glue.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah string UTF -8.

  Setiap nilai adalah string UTF -8.

  Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

  Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Job Anda sendiri, lihat topik Memanggil AWS Glue APIs dengan Python di panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• ErrorMessage— UTF -8 string.

  Pesan kesalahan yang terkait dengan eksekusi tugas ini.

• PredecessorRuns – Susunan objek Pendahulu.

  Daftar pendahulu untuk eksekusi tugas ini.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPUs) yang dialokasikan untuk ini JobRun. Dari 2 hingga 100 DPUs dapat dialokasikan; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan memberikan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu default menjadi 2880 menit.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

• MaxCapacity — Nomor (ganda).

  Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPUs) yang dapat dialokasikan saat pekerjaan ini berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan MaxCapacity tergantung pada apakah Anda menjalankan pekerjaan shell Python, pekerjaan Apache Spark, atau pekerjaan streaming Apache ETL Spark: ETL

  • Saat Anda menentukan pekerjaan shell Python (JobCommand.Name="pythonshell”), Anda dapat mengalokasikan 0,0625 atau 1. DPU Defaultnya adalah 0,0625DPU.

  • Saat Anda menentukan pekerjaan Apache Spark (JobCommand.Name="glueetl”) atau ETL ETL pekerjaan streaming Apache Spark (= “JobCommand.Namegluestreaming”), Anda dapat mengalokasikan dari 2 hingga 100. DPUs Defaultnya adalah 10DPUs. Jenis pekerjaan ini tidak dapat memiliki DPU alokasi fraksional.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4vCPUs, 16 GB memori) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (memori 8vCPUs, 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (memori 16vCPUs, 64 GB) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32vCPUs, 128 GB memori) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (memori 2vCPUs, 4 GB) dengan disk 84GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0 atau yang lebih baru.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M- DPU (memori 8vCPUs, 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• LogGroupName— UTF -8 string.

  Nama grup log untuk pencatatan aman yang dapat dienkripsi sisi server di Amazon. CloudWatch AWS KMS Nama ini dapat /aws-glue/jobs/, dalam hal ini enkripsi default-nya adalah NONE. Jika Anda menambahkan nama peran dan nama SecurityConfiguration (dengan kata lain, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), maka konfigurasi keamanan tersebut digunakan untuk mengenkripsi grup log.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

  Dalam pekerjaan Spark, GlueVersion menentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam suatu pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus diatur GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat Versi Glue di panduan pengembang.

  Tugas yang dibuat tanpa menentukan versi Glue default ke Glue 0.9.

• DPUSeconds — Nomor (ganda).

  Bidang ini dapat diatur untuk menjalankan tugas dengan kelas eksekusi FLEX atau saat Auto Scaling diaktifkan, dan mewakili total waktu yang dijalankan setiap pelaksana selama siklus hidup pekerjaan yang dijalankan dalam hitungan detik, dikalikan dengan DPU faktor (1 untuk, 2 untukG.1X, atau 0,25 untuk pekerja). G.2X G.025X Nilai ini mungkin berbeda dari executionEngineRuntime * MaxCapacity seperti dalam kasus pekerjaan Auto Scaling, karena jumlah pelaksana yang berjalan pada waktu tertentu mungkin kurang dari. MaxCapacity Oleh karena itu, ada kemungkinan bahwa nilai DPUSeconds kurang dari executionEngineRuntime *MaxCapacity.

• ExecutionClass— UTF -8 string, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• MaintenanceWindow— UTF -8 string, cocok dengan. Custom string pattern #34

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, Anda AWS Glue perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 pagiGMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 hingga 13:00GMT. GMT

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.

• StateDetail- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Bidang ini menyimpan detail yang berkaitan dengan keadaan menjalankan pekerjaan. Bidang ini nullable.

  Misalnya, ketika pekerjaan dijalankan dalam WAITING keadaan sebagai akibat dari antrian pekerjaan yang dijalankan, bidang tersebut memiliki alasan mengapa pekerjaan dijalankan dalam keadaan itu.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan oleh eksekusi tugas pendahulunya.

• RunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID eksekusi tugas dari eksekusi tugas pendahulu.

Bidang

• JobName— UTF -8 string.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• Run — Nomor (bilangan bulat).

  Nomor ID eksekusi.

• Attempt — Nomor (bilangan bulat).

  Nomor ID percobaan.

• PreviousRunId— UTF -8 string.

  Pengenal eksekusi unik yang terkait dengan eksekusi tugas sebelumnya.

• RunId— UTF -8 string.

  Nomor ID eksekusi.

• JobBookmark— UTF -8 string.

  Bookmark itu sendiri.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang dihentikan.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  JobRunId dari eksekusi tugas yang telah dihentikan.

Bidang

• JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang bersangkutan.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  JobRunId dari eksekusi tugas yang bersangkutan.

• ErrorDetail — Sebuah objek ErrorDetail.

  Menentukan detail tentang kesalahan yang ditemui.

Bidang

• NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

  Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

• StartJobRun tindakan (Python: start_job_run)

• BatchStopJobRun tindakan (Python: batch_stop_job_run)

• GetJobRun tindakan (Python: get_job_run)

• GetJobRuns tindakan (Python: get_job_runs)

• GetJobBookmark tindakan (Python: get_job_bookmark)

• GetJobBookmarks tindakan (Python: get_job_bookmarks)

• ResetJobBookmark tindakan (Python: reset_job_bookmark)

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang akan digunakan.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah pekerjaan menjalankan antrian diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, job run tidak akan dipertimbangkan untuk antrian.

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID dari JobRun sebelumnya yang akan diulang.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah string UTF -8.

  Setiap nilai adalah string UTF -8.

  Argumen tugas yang terkait dengan eksekusi ini. Untuk eksekusi tugas ini, mereka mengganti argumen default yang diatur dalam definisi tugas itu sendiri.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang AWS Glue dikonsumsi sendiri.

  Argumen Job dapat dicatat. Jangan berikan rahasia plaintext sebagai argumen. Ambil rahasia dari AWS Glue Connection, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya di dalam Job.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Job Anda sendiri, lihat topik Memanggil AWS Glue APIs dengan Python di panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Parameter Khusus yang Digunakan menurut AWS Glue topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPUs) yang akan dialokasikan untuk ini JobRun. Anda dapat mengalokasikan minimal 2DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini mengesampingkan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan memberikan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu default menjadi 2880 menit.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

• MaxCapacity — Nomor (ganda).

  Untuk Glue versi 1.0 atau pekerjaan sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPUs) yang dapat dialokasikan saat pekerjaan ini berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan. Maximum capacity Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan MaxCapacity tergantung pada apakah Anda menjalankan pekerjaan shell Python, pekerjaan Apache Spark, atau pekerjaan streaming Apache ETL Spark: ETL

  • Saat Anda menentukan pekerjaan shell Python (JobCommand.Name="pythonshell”), Anda dapat mengalokasikan 0,0625 atau 1. DPU Defaultnya adalah 0,0625DPU.

  • Saat Anda menentukan pekerjaan Apache Spark (JobCommand.Name="glueetl”) atau ETL ETL pekerjaan streaming Apache Spark (= “JobCommand.Namegluestreaming”), Anda dapat mengalokasikan dari 2 hingga 100. DPUs Defaultnya adalah 10DPUs. Jenis pekerjaan ini tidak dapat memiliki DPU alokasi fraksional.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4vCPUs, 16 GB memori) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (memori 8vCPUs, 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang skalabel dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (memori 16vCPUs, 64 GB) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32vCPUs, 128 GB memori) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (memori 2vCPUs, 4 GB) dengan disk 84GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0 atau yang lebih baru.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M- DPU (memori 8vCPUs, 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• ExecutionClass— UTF -8 string, panjangnya tidak lebih dari 16 byte (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang membutuhkan startup pekerjaan cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel cocok untuk pekerjaan yang tidak sensitif terhadap waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan jenis perintah glueetl yang diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan dijalankan.

Respons

• JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID yang ditetapkan untuk eksekusi tugas ini.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang akan menghentikan eksekusi tugas.

• JobRunIds— Wajib: Sebuah array UTF -8 string, tidak kurang dari 1 atau lebih dari 25 string.

  Daftar JobRunIds yang harus dihentikan untuk definisi tugas itu.

Respons

• SuccessfulSubmissions – Susunan objek BatchStopJobRunSuccessfulSubmission.

  Daftar JobRuns yang berhasil diajukan untuk dihentikan.

• Errors – Susunan objek BatchStopJobRunError.

  Daftar kesalahan yang ditemui dalam mencoba untuk menghentikan JobRuns, termasuk JobRunId yang ditemui kesalahannya dan detail tentang kesalahannya.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas yang sedang dijalankan.

• RunId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID dari eksekusi tugas.

• PredecessorsIncluded – Boolean.

  BETUL jika daftar eksekusi pendahulu harus dikembalikan.

Respons

• JobRun — Sebuah objek JobRun.

  Metadata eksekusi tugas yang diminta.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Nama definisi tugas untuk yang akan diambil semua eksekusi tugas-nya.

• NextToken— UTF -8 string.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

• MaxResults— Angka (bilangan bulat), tidak kurang dari 1 atau lebih dari 200.

  Ukuran maksimum respons.

Respons

• JobRuns – Susunan objek JobRun.

  Daftar objek metadata eksekusi tugas.

• NextToken— UTF -8 string.

  Sebuah token kelanjutan, jika bukan semua eksekusi tugas yang diminta yang telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• RunId— UTF -8 string.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Sebuah struktur yang mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• MaxResults — Nomor (bilangan bulat).

  Ukuran maksimum respons.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• JobBookmarkEntries – Susunan objek JobBookmarkEntry.

  Daftar entri bookmark tugas yang mendefinisikan titik di mana tugas dapat melanjutkan pemrosesan.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, yang memiliki nilai 1 jika semua entri dikembalikan, atau > 1 jika tidak semua eksekusi tugas yang diminta telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter Job yang digunakan oleh AWS Glue

• Struktur Job

Permintaan

• JobName- Diperlukan: UTF -8 string.

  Nama tugas yang dimaksud.

• RunId— UTF -8 string.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Entri bookmark pengaturan ulang.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException