Sesi interaktif API

• Struktur sesi

• SessionCommand struktur

• Struktur pernyataan

• StatementOutput struktur

• StatementOutputData struktur

• ConnectionsList struktur

Bidang

• Id- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  ID sesi.

• CreatedOn — Stempel waktu.

  Waktu dan tanggal saat sesi dibuat.

• Status— UTF -8 string (nilai valid: PROVISIONING | READY | FAILED | TIMEOUT STOPPING |STOPPED).

  Status sesi.

• ErrorMessage — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Pesan kesalahan ditampilkan selama sesi.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi sesi.

• Role- UTF -8 string, tidak kurang dari 20 atau lebih dari 2048 byte panjang, cocok dengan. Custom string pattern #30

  Nama atau Amazon Resource Name (ARN) dari IAM peran yang terkait dengan Sesi.

• Command — Sebuah objek SessionCommand.

  Perintah Object.see. SessionCommand

• DefaultArguments— Sebuah array peta pasangan kunci-nilai, tidak lebih dari 75 pasang.

  Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 4096 byte, cocok dengan. URI address multi-line string pattern

  Sebuah array peta pasangan kunci-nilai. Max adalah 75 pasang.

• Connections — Sebuah objek ConnectionsList.

  Jumlah koneksi yang digunakan untuk sesi tersebut.

• Progress — Nomor (ganda).

  Progres eksekusi kode sesi.

• MaxCapacity — Nomor (ganda).

  Jumlah unit pemrosesan AWS Glue data (DPUs) yang dapat dialokasikan saat pekerjaan berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama SecurityConfiguration struktur yang akan digunakan dengan sesi.

• GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

  AWS Glue Versi ini menentukan versi Apache Spark dan Python yang mendukung. AWS Glue GlueVersion Harus lebih besar dari 2.0.

• DataAccessIdUTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID akses data sesi.

• PartitionIdUTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID partisi dari sesion.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja yang ditentukan WorkerType untuk digunakan untuk sesi tersebut.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja standar yang dialokasikan saat sesi berjalan. Menerima nilaiG.1X,, G.2XG.4X, atau G.8X untuk sesi Spark. Menerima nilai Z.2X untuk sesi Ray.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu sesi ini selesai.

• ExecutionTime — Nomor (ganda).

  Total waktu sesi berjalan.

• DPUSeconds — Nomor (ganda).

  Yang DPUs dikonsumsi oleh sesi (rumus: ExecutionTime * MaxCapacity).

• IdleTimeout — Nomor (bilangan bulat).

  Jumlah menit saat idle sebelum sesi habis.

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama profil AWS Glue penggunaan yang terkait dengan sesi.

Bidang

• Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Menentukan nama. SessionCommand Bisa 'glueetl' atau 'gluestreaming'.

• PythonVersion— UTF -8 string, cocok dengan. Custom string pattern #48

  Menentukan versi Python. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

Bidang

• Id — Nomor (bilangan bulat).

  ID pernyataan.

• Code— UTF -8 string.

  Kode eksekusi pernyataan.

• State— UTF -8 string (nilai valid: WAITING | RUNNING | AVAILABLE | CANCELLING CANCELLED |ERROR).

  Negara saat permintaan ditindaklanjuti.

• Output — Sebuah objek StatementOutput.

  Output diJSON.

• Progress — Nomor (ganda).

  Progres eksekusi kode.

• StartedOn — Nomor (panjang).

  Waktu dan tanggal unix bahwa definisi pekerjaan dimulai.

• CompletedOn — Nomor (panjang).

  Waktu dan tanggal unix bahwa definisi pekerjaan selesai.

Bidang

• Data — Sebuah objek StatementOutputData.

  Output eksekusi kode.

• ExecutionCount — Nomor (bilangan bulat).

  Hitungan eksekusi output.

• Status— UTF -8 string (nilai valid: WAITING | RUNNING | AVAILABLE | CANCELLING CANCELLED |ERROR).

  Status output eksekusi kode.

• ErrorName— UTF -8 string.

  Nama kesalahan dalam output.

• ErrorValue— UTF -8 string.

  Nilai kesalahan output.

• Traceback— Sebuah array dari UTF -8 string.

  Penelusuran balik output.

Bidang

• TextPlain— UTF -8 string.

  Output eksekusi kode dalam format teks.

Bidang

• Connections— Sebuah array dari UTF -8 string.

  Daftar koneksi yang digunakan oleh tugas.

• CreateSession tindakan (Python: create_session)

• StopSession tindakan (Python: stop_session)

• DeleteSession tindakan (Python: delete_session)

• GetSession tindakan (Python: get_session)

• ListSessions tindakan (Python: list_sessions)

• RunStatement tindakan (Python: run_statement)

• CancelStatement tindakan (Python: cancel_statement)

• GetStatement tindakan (Python: get_statement)

• ListStatements tindakan (Python: list_statement)

Permintaan

Permintaan untuk membuat sesi baru.

• Id- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID permintaan sesi.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi sesi.

• Role- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 20 atau lebih dari 2048 byte, cocok dengan. Custom string pattern #30

  IAMPeran ARN

• Command — Wajib: Sebuah objek SessionCommand.

  SessionCommandYang menjalankan pekerjaan.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Jumlah menit sebelum waktu sesi habis. Default untuk ETL pekerjaan Spark adalah 48 jam (2880 menit), masa pakai sesi maksimum untuk jenis pekerjaan ini. Konsultasikan dokumentasi untuk jenis pekerjaan lainnya.

• IdleTimeout — Nomor (bilangan bulat), minimal 1.

  Jumlah menit saat idle sebelum waktu sesi habis. Default untuk ETL pekerjaan Spark adalah nilai Timeout. Konsultasikan dokumentasi untuk jenis pekerjaan lainnya.

• DefaultArguments— Sebuah array peta pasangan kunci-nilai, tidak lebih dari 75 pasang.

  Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 4096 byte, cocok dengan. URI address multi-line string pattern

  Sebuah array peta pasangan kunci-nilai. Max adalah 75 pasang.

• Connections — Sebuah objek ConnectionsList.

  Jumlah koneksi yang akan digunakan untuk sesi.

• MaxCapacity — Nomor (ganda).

  Jumlah unit pemrosesan AWS Glue data (DPUs) yang dapat dialokasikan saat pekerjaan berjalan. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja yang ditentukan WorkerType untuk digunakan untuk sesi tersebut.

• WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, atau G.8X untuk pekerjaan Spark. Menerima nilai Z.2X untuk notebook Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4vCPUs, 16 GB memori) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang terukur dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (memori 8vCPUs, 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang terukur dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (memori 16vCPUs, 64 GB) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru di AWS Wilayah berikut: AS Timur (Ohio), AS Timur (Virginia N.), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32vCPUs, 128 GB memori) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri Anda yang paling menuntut. Jenis pekerja ini hanya tersedia untuk ETL pekerjaan Spark AWS Glue versi 3.0 atau yang lebih baru, di AWS Wilayah yang sama seperti yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M- DPU (memori 8vCPUs, 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• SecurityConfiguration- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama SecurityConfiguration struktur yang akan digunakan dengan sesi

• GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

  AWS Glue Versi ini menentukan versi Apache Spark dan Python yang mendukung. AWS Glue GlueVersion Harus lebih besar dari 2.0.

• DataAccessIdUTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID akses data sesi.

• PartitionIdUTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 36 byte.

  ID partisi sesi.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.

  Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.

  Peta pasangan nilai kunci (tag) milik sesi.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

• ProfileName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Nama profil AWS Glue penggunaan yang terkait dengan sesi.

Respons

• Session — Sebuah objek Sesi.

  Mengembalikan objek sesi dalam respon.

Kesalahan

• AccessDeniedException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• AlreadyExistsException

• ResourceNumberLimitExceededException

Permintaan

• Id- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID sesi yang akan dihentikan.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

Respons

• Id- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Mengembalikan Id dari sesi berhenti.

Kesalahan

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Permintaan

• Id- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID sesi yang akan dihapus.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Nama asal permintaan sesi hapus.

Respons

• Id- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

  Mengembalikan ID dari sesi dihapus.

Kesalahan

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

• ConcurrentModificationException

Permintaan

• Id- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID sesi.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

Respons

• Session — Sebuah objek Sesi.

  Objek sesi dikembalikan dalam respons.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Permintaan

• NextToken- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Token untuk set hasil berikutnya, atau null jika tidak ada hasil lagi.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah hasil maksimum.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.

  Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.

  Tag milik sesi.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

Respons

• Ids— Sebuah array dari UTF -8 string.

  Mengembalikan ID sesi.

• Sessions – Susunan objek Sesi.

  Mengembalikan objek sesi.

• NextToken- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Token untuk set hasil berikutnya, atau null jika tidak ada hasil lagi.

Kesalahan

• AccessDeniedException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Permintaan

• SessionId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  Id Sesi dari pernyataan yang akan dijalankan.

• Code- Diperlukan: UTF -8 string, panjangnya tidak lebih dari 68000 byte.

  Kode pernyataan yang akan dijalankan.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

Respons

• Id — Nomor (bilangan bulat).

  Mengembalikan Id dari pernyataan yang dijalankan.

Kesalahan

• EntityNotFoundException

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

• IllegalSessionStateException

Permintaan

• SessionId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID Sesi dari pernyataan yang akan dibatalkan.

• Id — Wajib: Nomor (bilangan bulat).

  ID pernyataan yang akan dibatalkan.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan untuk membatalkan pernyataan.

Respons

• Tidak ada parameter Respons.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Permintaan

• SessionId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID Sesi pernyataan.

• Id — Wajib: Nomor (bilangan bulat).

  Id dari pernyataan tersebut.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan.

Respons

• Statement — Sebuah objek Pernyataan.

  Mengembalikan pernyataan.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException

Permintaan

• SessionId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

  ID Sesi dari pernyataan.

• RequestOrigin- UTF -8 string, tidak kurang dari 1 atau lebih dari 128 byte panjang, cocok dengan. Custom string pattern #31

  Asal usul permintaan untuk membuat daftar pernyataan.

• NextToken- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• Statements – Susunan objek Pernyataan.

  Mengembalikan daftar pernyataan.

• NextToken- UTF -8 string, panjangnya tidak lebih dari 400000 byte.

  Token kelanjutan, jika tidak semua pernyataan telah dikembalikan.

Kesalahan

• AccessDeniedException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• IllegalSessionStateException