API titik akhir pengembangan

• DevEndpoint struktur

• DevEndpointCustomLibraries struktur

Bidang

• EndpointName— UTF-8 tali.

  Nama DevEndpoint.

• RoleArn— UTF-8 string, cocok denganAWS IAM ARN string pattern.

  Amazon Resource Name (ARN) dari IAM role yang digunakan di DevEndpoint ini.

• SecurityGroupIds— Sebuah array UTF-8 string.

  Daftar pengidentifikasi grup keamanan yang digunakan dalam DevEndpoint ini.

• SubnetId— UTF-8 tali.

  ID subnet untuk DevEndpoint ini.

• YarnEndpointAddress— UTF-8 tali.

  Alamat titik akhir YARN yang digunakan oleh DevEndpoint ini.

• PrivateAddress— UTF-8 tali.

  Alamat IP privat untuk mengakses DevEndpoint dalam VPC jika DevEndpoint dibuat dalam satu. Kolom PrivateAddress hanya ada ketika Anda membuat DevEndpoint dalam VPC Anda.

• ZeppelinRemoteSparkInterpreterPort — Nomor (bilangan bulat).

  Port Apache Zeppelin untuk penerjemah Apache Spark jarak jauh.

• PublicAddress— UTF-8 tali.

  Alamat IP publik yang digunakan oleh DevEndpoint ini. Kolom PublicAddress ini hanya ada ketika Anda membuat DevEndpoint non-virtual private cloud (VPC).

• Status— UTF-8 tali.

  Status DevEndpoint saat ini.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan untuk titik akhir pengembangan. Menerima nilai Standar, G.1X, atau G.2X.

  • Untuk jenis pekerja Standard, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

  • Untuk jenis pekerja G.1X, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB, disk 64 GB ), dan menyediakan 1 pelaksana per pekerja. Kami merekomendasikan jenis pekerja ini untuk tugas yang membutuhkan banyak memori.

  • Untuk jenis pekerja G.2X, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB, disk 128 GB ), dan menyediakan 1 pelaksana per pekerja. Kami merekomendasikan jenis pekerja ini untuk tugas yang membutuhkan banyak memori.

  Masalah yang diketahui: ketika titik akhir pengembangan dibuat dengan konfigurasi G.2X WorkerType, driver Spark untuk titik akhir pengembangan akan berjalan pada 4 vCPU, 16 GB memori, dan 64 GB disk.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Versi lem menentukan versi Apache Spark dan Python yang AWS Glue mendukung. Versi Python menunjukkan versi yang didukung untuk skrip ETL berjalan Anda pada titik akhir pengembangan.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Titik akhir pengembangan yang dibuat tanpa menentukan versi default Glue untuk GLue 0.9.

  Anda dapat menentukan versi support Python untuk titik akhir pengembangan dengan menggunakan parameter Arguments dalam API CreateDevEndpoint atau UpdateDevEndpoint. Jika tidak ada argumen yang disediakan, versi default menjadi Python 2.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType yang ditetapkan yang dialokasikan ke titik akhir pengembangan.

  Jumlah maksimum pekerja yang dapat Anda tentukan adalah 299 untuk G.1X, dan 149 untuk G.2X.

• NumberOfNodes — Nomor (bilangan bulat).

  Jumlah Unit Pemro AWS Glue sesan Data (DPU) yang dialokasikan untuk iniDevEndpoint.

• AvailabilityZone— UTF-8 tali.

  Zona AWS Ketersediaan tempat DevEndpoint ini berada.

• VpcId— UTF-8 tali.

  ID Virtual Private Cloud (VPC) yang digunakan oleh DevEndpoint.

• ExtraPythonLibsS3Path— UTF-8 tali.

  Path ke satu atau beberapa perpustakaan Python dalam sebuah bucket Amazon S3 yang harus dimuat di DevEndpoint Anda. Beberapa nilai harus berupa jalur lengkap yang dipisahkan dengan koma.

  catatan

  Anda hanya dapat menggunakan perpustakaan Python murni dengan DevEndpoint. Perpustakaan yang mengandalkan ekstensi C, seperti perpustakaan analisis data Python, yakni pandas, saat ini tidak didukung.

• ExtraJarsS3Path— UTF-8 tali.

  Jalur satu atau beberapa file .jar Java dalam bucket S3 yang seharusnya dimuat di DevEndpoint Anda.

  catatan

  Anda hanya dapat menggunakan Java/Scala pustaka murni dengan aDevEndpoint.

• FailureReason— UTF-8 tali.

  Alasan kegagalan saat ini dalam DevEndpoint ini.

• LastUpdateStatus— UTF-8 tali.

  Status pembaruan terakhir.

• CreatedTimestamp — Stempel waktu.

  Titik waktu di mana ini DevEndpoint dibuat.

• LastModifiedTimestamp — Stempel waktu.

  Titik waktu di mana DevEndpoint ini terakhir diubah.

• PublicKey— UTF-8 tali.

  Kunci publik yang akan digunakan oleh DevEndpoint ini untuk autentikasi. Atribut ini disediakan untuk kompatibilitas karena atribut yang direkomendasikan untuk digunakan adalah kunci publik.

• PublicKeys— Sebuah array UTF-8 string, tidak lebih dari 5 string.

  Daftar kunci publik yang akan digunakan oleh DevEndpoints untuk autentikasi. Menggunakan atribut ini lebih disukai daripada kunci publik tunggal karena kunci publik ini memungkinkan Anda untuk memiliki kunci privat yang berbeda untuk setiap klien.

  catatan

  Jika Anda sebelumnya membuat titik akhir dengan sebuah kunci publik, Anda harus menghapus kunci tersebut untuk dapat mengatur daftar kunci publik. Panggil operasi API UpdateDevEndpoint dengan konten kunci publik di atribut deletePublicKeys, dan daftar kunci baru di atribut addPublicKeys.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan DevEndpoint ini.

• Arguments — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 100 pasang.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Sebuah peta argumen yang digunakan untuk mengonfigurasi DevEndpoint.

  Argumen valid adalah:

  • "--enable-glue-datacatalog": ""

  Anda dapat menentukan versi support Python untuk titik akhir pengembangan dengan menggunakan parameter Arguments dalam API CreateDevEndpoint atau UpdateDevEndpoint. Jika tidak ada argumen yang disediakan, versi default menjadi Python 2.

Bidang

• ExtraPythonLibsS3Path— UTF-8 tali.

  Path ke satu atau beberapa perpustakaan Python dalam sebuah bucket Amazon Simple Storage Service (Amazon S3) yang harus dimuat di DevEndpoint Anda. Beberapa nilai harus path lengkap yang dipisahkan dengan koma.

  catatan

  Anda hanya dapat menggunakan perpustakaan Python murni dengan DevEndpoint. Perpustakaan yang mengandalkan ekstensi C, seperti perpustakaan analisis data Python, yakni pandas, saat ini tidak didukung.

• ExtraJarsS3Path— UTF-8 tali.

  Jalur satu atau beberapa file .jar Java dalam bucket S3 yang seharusnya dimuat di DevEndpoint Anda.

  catatan

  Anda hanya dapat menggunakan Java/Scala pustaka murni dengan aDevEndpoint.

• CreateDevEndpoint tindakan (Python: create_dev_endpoint)

• UpdateDevEndpoint tindakan (Python: update_dev_endpoint)

• DeleteDevEndpoint tindakan (Python: delete_dev_endpoint)

• GetDevEndpoint tindakan (Python: get_dev_endpoint)

• GetDevEndpoints tindakan (Python: get_dev_endpoints)

• BatchGetDevEndpoints tindakan (Python: batch_get_dev_endpoints)

• ListDevEndpoints tindakan (Python: list_dev_endpoints)

Permintaan

• EndpointName- Diperlukan: UTF-8 string.

  Nama yang akan ditetapkan untuk DevEndpoint baru.

• RoleArn— Diperlukan: UTF-8 string, cocok denganAWS IAM ARN string pattern.

  IAM role untuk fungsi DevEndpoint.

• SecurityGroupIds— Sebuah array UTF-8 string.

  ID grup keamanan untuk grup keamanan yang akan digunakan oleh DevEndpoint.

• SubnetId— UTF-8 tali.

  ID subnet untuk DevEndpoint yang baru yang akan digunakan.

• PublicKey— UTF-8 tali.

  Kunci publik yang akan digunakan oleh DevEndpoint ini untuk autentikasi. Atribut ini disediakan untuk kompatibilitas karena atribut yang direkomendasikan untuk digunakan adalah kunci publik.

• PublicKeys— Sebuah array UTF-8 string, tidak lebih dari 5 string.

  Daftar kunci publik yang akan digunakan oleh titik akhir pengembangan untuk autentikasi. Penggunaan atribut ini lebih disukai daripada kunci publik tunggal karena kunci publik ini memungkinkan Anda untuk memiliki kunci privat yang berbeda untuk setiap klien.

  catatan

  Jika Anda sebelumnya membuat titik akhir dengan sebuah kunci publik, Anda harus menghapus kunci tersebut untuk dapat mengatur daftar kunci publik. Panggil API UpdateDevEndpoint dengan konten kunci publik di atribut deletePublicKeys, dan daftar kunci baru di atribut addPublicKeys.

• NumberOfNodes — Nomor (bilangan bulat).

  Jumlah Unit Pemro AWS Glue sesan Data (DPU) yang dialokasikan untuk iniDevEndpoint.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan untuk titik akhir pengembangan. Menerima nilai Standar, G.1X, atau G.2X.

  • Untuk jenis pekerja Standard, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

  • Untuk jenis pekerja G.1X, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB, disk 64 GB ), dan menyediakan 1 pelaksana per pekerja. Kami merekomendasikan jenis pekerja ini untuk tugas yang membutuhkan banyak memori.

  • Untuk jenis pekerja G.2X, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB, disk 128 GB ), dan menyediakan 1 pelaksana per pekerja. Kami merekomendasikan jenis pekerja ini untuk tugas yang membutuhkan banyak memori.

  Masalah yang diketahui: ketika titik akhir pengembangan dibuat dengan konfigurasi G.2X WorkerType, driver Spark untuk titik akhir pengembangan akan berjalan pada 4 vCPU, 16 GB memori, dan 64 GB disk.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Versi lem menentukan versi Apache Spark dan Python yang AWS Glue mendukung. Versi Python menunjukkan versi yang didukung untuk skrip ETL berjalan Anda pada titik akhir pengembangan.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Titik akhir pengembangan yang dibuat tanpa menentukan versi default Glue untuk GLue 0.9.

  Anda dapat menentukan versi support Python untuk titik akhir pengembangan dengan menggunakan parameter Arguments dalam API CreateDevEndpoint atau UpdateDevEndpoint. Jika tidak ada argumen yang disediakan, versi default menjadi Python 2.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType yang ditetapkan yang dialokasikan ke titik akhir pengembangan.

  Jumlah maksimum pekerja yang dapat Anda tentukan adalah 299 untuk G.1X, dan 149 untuk G.2X.

• ExtraPythonLibsS3Path— UTF-8 tali.

  Path ke satu atau beberapa perpustakaan Python dalam sebuah bucket Amazon S3 yang harus dimuat di DevEndpoint Anda. Beberapa nilai harus berupa jalur lengkap yang dipisahkan dengan koma.

  catatan

  Anda hanya dapat menggunakan perpustakaan Python murni dengan DevEndpoint. Perpustakaan yang mengandalkan ekstensi C, seperti perpustakaan analisis data Python, yakni pandas, saat ini tidak didukung.

• ExtraJarsS3Path— UTF-8 tali.

  Jalur satu atau beberapa file .jar Java dalam bucket S3 yang seharusnya dimuat di DevEndpoint Anda.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan DevEndpoint ini.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Tag untuk digunakan dengan ini DevEndpoint. Anda dapat menggunakan tag untuk membatasi akses ke DevEndpoint. Untuk informasi selengkapnya tentang tag di AWS Glue, lihat AWS Tag AWS Glue di dalam panduan pengembang.

• Arguments — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 100 pasang.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Sebuah peta argumen yang digunakan untuk mengonfigurasi DevEndpoint.

Respons

• EndpointName— UTF-8 tali.

  Nama yang ditetapkan untuk DevEndpoint baru.

• Status— UTF-8 tali.

  Status DevEndpoint baru saat ini.

• SecurityGroupIds— Sebuah array UTF-8 string.

  Grup keamanan yang ditetapkan ke DevEndpoint.

• SubnetId— UTF-8 tali.

  ID subnet yang ditetapkan ke DevEndpoint.

• RoleArn— UTF-8 string, cocok denganAWS IAM ARN string pattern.

  Amazon Resource Name (ARN) dari peran yang ditetapkan ke DevEndpoint baru.

• YarnEndpointAddress— UTF-8 tali.

  Alamat dari titik akhir YARN yang digunakan oleh DevEndpoint ini.

• ZeppelinRemoteSparkInterpreterPort — Nomor (bilangan bulat).

  Port Apache Zeppelin untuk penerjemah Apache Spark jarak jauh.

• NumberOfNodes — Nomor (bilangan bulat).

  Jumlah Unit Pemro AWS Glue sesan Data (DPU) yang dialokasikan untuk ini DevEndpoint.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan untuk titik akhir pengembangan. Mungkin nilai Standar, G.1X, atau G.2X.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Versi lem menentukan versi Apache Spark dan Python yang AWS Glue mendukung. Versi Python menunjukkan versi yang didukung untuk skrip ETL berjalan Anda pada titik akhir pengembangan.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType yang ditetapkan yang dialokasikan ke titik akhir pengembangan.

• AvailabilityZone— UTF-8 tali.

  Zona AWS Ketersediaan tempat DevEndpoint ini berada.

• VpcId— UTF-8 tali.

  ID Virtual Private Cloud (VPC) yang digunakan oleh DevEndpoint.

• ExtraPythonLibsS3Path— UTF-8 tali.

  Path ke satu atau beberapa perpustakaan Python dalam sebuah bucket S3 yang harus dimuat di DevEndpoint Anda.

• ExtraJarsS3Path— UTF-8 tali.

  Path satu atau beberapa file .jar Java dalam bucket S3 yang akan dimuat di DevEndpoint Anda.

• FailureReason— UTF-8 tali.

  Alasan kegagalan saat ini dalam DevEndpoint ini.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang sedang digunakan dengan DevEndpoint ini.

• CreatedTimestamp — Stempel waktu.

  Titik waktu di mana DevEndpoint ini diciptakan.

• Arguments — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 100 pasang.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Peta argumen yang digunakan untuk mengkonfigurasi DevEndpoint ini.

  Argumen valid adalah:

  • "--enable-glue-datacatalog": ""

  Anda dapat menentukan versi support Python untuk titik akhir pengembangan dengan menggunakan parameter Arguments dalam API CreateDevEndpoint atau UpdateDevEndpoint. Jika tidak ada argumen yang disediakan, versi default menjadi Python 2.

Kesalahan

• AccessDeniedException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

• ResourceNumberLimitExceededException

Permintaan

• EndpointName- Diperlukan: UTF-8 string.

  Nama DevEndpoint yang diperbarui.

• PublicKey— UTF-8 tali.

  Kunci publik untuk DevEndpoint yang akan digunakan.

• AddPublicKeys— Sebuah array UTF-8 string, tidak lebih dari 5 string.

  Daftar kunci publik untuk DevEndpoint yang akan digunakan.

• DeletePublicKeys— Sebuah array UTF-8 string, tidak lebih dari 5 string.

  Daftar kunci publik yang akan dihapus dari DevEndpoint.

• CustomLibraries — Sebuah objek DevEndpointCustomLibraries.

  Perpustakaan Python atau Java kustom yang akan dimuat di DevEndpoint.

• UpdateEtlLibraries – Boolean.

  True jika daftar perpustakaan kustom yang akan dimuat di titik akhir pengembangan perlu diperbarui, atau False jika sebaliknya.

• DeleteArguments— Sebuah array UTF-8 string.

  Daftar kunci argumen yang akan dihapus dari peta argumen yang digunakan untuk mengkonfigurasi DevEndpoint.

• AddArguments — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 100 pasang.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Peta argumen untuk menambahkan peta argumen yang digunakan untuk mengkonfigurasi DevEndpoint.

  Argumen valid adalah:

  • "--enable-glue-datacatalog": ""

  Anda dapat menentukan versi support Python untuk titik akhir pengembangan dengan menggunakan parameter Arguments dalam API CreateDevEndpoint atau UpdateDevEndpoint. Jika tidak ada argumen yang disediakan, versi default menjadi Python 2.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

• ValidationException

Permintaan

• EndpointName- Diperlukan: UTF-8 string.

  Nama DevEndpoint.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Permintaan

• EndpointName- Diperlukan: UTF-8 string.

  Nama DevEndpoint dimana informasi akan diambil.

Respons

• DevEndpoint — Sebuah objek DevEndpoint.

  Sebuah definisi DevEndpoint.

Kesalahan

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Permintaan

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum informasi yang akan dikembalikan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• DevEndpoints – Susunan objek DevEndpoint.

  Daftar definisi DevEndpoint.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika tidak semua definisi DevEndpoint belum dikembalikan.

Kesalahan

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Permintaan

• customerAccountId— UTF-8 tali.

  ID AWS akun.

• DevEndpointNames- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 25 string.

  Daftar nama DevEndpoint, mungkin nama yang dikembalikan oleh operasi ListDevEndpoint.

Respons

• DevEndpoints – Susunan objek DevEndpoint.

  Daftar definisi DevEndpoint.

• DevEndpointsNotFound— Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 25 string.

  Daftar DevEndpoints tidak ditemukan.

Kesalahan

• AccessDeniedException

• InternalServiceException

• OperationTimeoutException

• InvalidInputException

Permintaan

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum daftar yang akan dikembalikan.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Menentukan untuk mengembalikan hanya sumber daya ditandai saja.

Respons

• DevEndpointNames— Sebuah array UTF-8 string.

  Nama dari semua DevEndpoints dalam akun, atau DevEndpoints dengan tag yang ditentukan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException