API pengoptimal tabel

• TableOptimizer struktur

• TableOptimizerConfiguration struktur

• TableOptimizerVpcConfiguration struktur

• CompactionConfiguration struktur

• IcebergCompactionConfiguration struktur

• TableOptimizerRun struktur

• BatchGetTableOptimizerEntry struktur

• BatchTableOptimizer struktur

• BatchGetTableOptimizerError struktur

• RetentionConfiguration struktur

• IcebergRetentionConfiguration struktur

• OrphanFileDeletionConfiguration struktur

• IcebergOrphanFileDeletionConfiguration struktur

• CompactionMetrics struktur

• RetentionMetrics struktur

• OrphanFileDeletionMetrics struktur

• IcebergCompactionMetrics struktur

• IcebergRetentionMetrics struktur

• IcebergOrphanFileDeletionMetrics struktur

• RunMetrics struktur

Bidang

• type— UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel. Nilai yang valid adalah:

  • compaction: untuk mengelola pemadatan dengan pengoptimal tabel.

  • retention: untuk mengelola retensi snapshot dengan pengoptimal tabel.

  • orphan_file_deletion: untuk mengelola penghapusan file yatim piatu dengan pengoptimal tabel.

• configuration — Sebuah objek TableOptimizerConfiguration.

  Ob TableOptimizerConfiguration jek yang ditentukan saat membuat atau memperbarui pengoptimal tabel.

• lastRun — Sebuah objek TableOptimizerRun.

  Sebuah TableOptimizerRun objek yang mewakili proses terakhir dari pengoptimal tabel.

• configurationSource— UTF-8 string (nilai valid: catalog="CATALOG" |table="TABLE").

  Menentukan sumber konfigurasi pengoptimal. Ini menunjukkan bagaimana pengoptimal tabel dikonfigurasi dan entitas atau layanan mana yang memulai konfigurasi.

Bidang

• roleArn— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganSingle-line string pattern.

  Peran yang dilewatkan oleh pemanggil yang memberikan izin layanan untuk memperbarui sumber daya yang terkait dengan pengoptimal atas nama penelepon.

• enabled – Boolean.

  Apakah pengoptimalan tabel diaktifkan.

• vpcConfiguration — Sebuah objek TableOptimizerVpcConfiguration.

  Ob TableOptimizerVpcConfiguration jek yang mewakili konfigurasi VPC untuk pengoptimal tabel.

  Konfigurasi ini diperlukan untuk melakukan optimasi pada tabel yang ada di VPC pelanggan.

• compactionConfiguration — Sebuah objek CompactionConfiguration.

  Konfigurasi untuk pengoptimal pemadatan. Konfigurasi ini menentukan bagaimana file data dalam tabel Anda akan dipadatkan untuk meningkatkan kinerja kueri dan mengurangi biaya penyimpanan.

• retentionConfiguration — Sebuah objek RetentionConfiguration.

  Konfigurasi untuk pengoptimal retensi snapshot.

• orphanFileDeletionConfiguration — Sebuah objek OrphanFileDeletionConfiguration.

  Konfigurasi untuk pengoptimal penghapusan file yatim piatu.

Bidang

• glueConnectionName— UTF-8 string, setidaknya panjang 1 byte.

  Nama AWS Glue koneksi yang digunakan untuk VPC untuk pengoptimal tabel.

Bidang

• icebergConfiguration — Sebuah objek IcebergCompactionConfiguration.

  Konfigurasi untuk pengoptimal pemadatan gunung es.

Bidang

• strategy— UTF-8 string (nilai valid: binpack="BINPACK" | sort="SORT" |z-order="ZORDER").

  Strategi yang digunakan untuk pemadatan. Nilai yang valid adalah:

  • binpack: Menggabungkan file kecil menjadi file yang lebih besar, biasanya menargetkan ukuran lebih dari 100MB, sambil menerapkan penghapusan yang tertunda. Ini adalah strategi pemadatan yang direkomendasikan untuk sebagian besar kasus penggunaan.

  • sort: Mengatur data berdasarkan kolom tertentu yang diurutkan secara hierarkis selama pemadatan, meningkatkan kinerja kueri untuk operasi yang difilter. Strategi ini direkomendasikan ketika kueri Anda sering memfilter kolom tertentu. Untuk menggunakan strategi ini, Anda harus terlebih dahulu menentukan urutan dalam properti tabel Iceberg Anda menggunakan properti sort_order tabel.

  • z-order: Mengoptimalkan organisasi data dengan memadukan beberapa atribut ke dalam satu nilai skalar yang dapat digunakan untuk menyortir, memungkinkan kueri yang efisien di berbagai dimensi. Strategi ini direkomendasikan ketika Anda perlu menanyakan data di beberapa dimensi secara bersamaan. Untuk menggunakan strategi ini, Anda harus terlebih dahulu menentukan urutan dalam properti tabel Iceberg Anda menggunakan properti sort_order tabel.

  Jika input tidak disediakan, nilai default 'binpack' akan digunakan.

• minInputFiles — Nomor (bilangan bulat).

  Jumlah minimum file data yang harus ada dalam partisi sebelum pemadatan sebenarnya akan memadatkan file. Parameter ini membantu mengontrol saat pemadatan dipicu, mencegah operasi pemadatan yang tidak perlu pada partisi dengan beberapa file. Jika input tidak disediakan, nilai default 100 akan digunakan.

• deleteFileThreshold — Nomor (bilangan bulat).

  Jumlah minimum penghapusan yang harus ada dalam file data agar memenuhi syarat untuk pemadatan. Parameter ini membantu mengoptimalkan pemadatan dengan berfokus pada file yang berisi sejumlah besar operasi penghapusan, yang dapat meningkatkan kinerja kueri dengan menghapus catatan yang dihapus. Jika input tidak disediakan, nilai default 1 akan digunakan.

Bidang

• eventType— UTF-8 string (nilai valid: starting="STARTING" | completed="COMPLETED" | failed="FAILED" |in_progress="IN_PROGRESS").

  Jenis peristiwa yang mewakili status dijalankan pengoptimal tabel.

• startTimestamp — Stempel waktu.

  Merupakan stempel waktu zaman di mana pekerjaan pemadatan dimulai dalam Formasi Danau.

• endTimestamp — Stempel waktu.

  Merupakan stempel waktu zaman di mana pekerjaan pemadatan berakhir.

• metrics — Sebuah objek RunMetrics.

  Ob RunMetrics jek yang berisi metrik untuk dijalankan pengoptimal.

  Anggota ini tidak digunakan lagi. Lihat anggota metrik individual untuk pemadatan, retensi, dan penghapusan file yatim piatu.

• error— UTF-8 tali.

  Kesalahan yang terjadi selama pengoptimalan dijalankan.

• compactionMetrics — Sebuah objek CompactionMetrics.

  Ob CompactionMetrics jek yang berisi metrik untuk dijalankan pengoptimal.

• compactionStrategy— UTF-8 string (nilai valid: binpack="BINPACK" | sort="SORT" |z-order="ZORDER").

  Strategi yang digunakan untuk pemadatan berjalan. Menunjukkan algoritma mana yang diterapkan untuk menentukan bagaimana file dipilih dan digabungkan selama proses pemadatan. Nilai yang valid adalah:

  • binpack: Menggabungkan file kecil menjadi file yang lebih besar, biasanya menargetkan ukuran lebih dari 100MB, sambil menerapkan penghapusan yang tertunda. Ini adalah strategi pemadatan yang direkomendasikan untuk sebagian besar kasus penggunaan.

  • sort: Mengatur data berdasarkan kolom tertentu yang diurutkan secara hierarkis selama pemadatan, meningkatkan kinerja kueri untuk operasi yang difilter. Strategi ini direkomendasikan ketika kueri Anda sering memfilter kolom tertentu. Untuk menggunakan strategi ini, Anda harus terlebih dahulu menentukan urutan dalam properti tabel Iceberg Anda menggunakan properti sort_order tabel.

  • z-order: Mengoptimalkan organisasi data dengan memadukan beberapa atribut ke dalam satu nilai skalar yang dapat digunakan untuk menyortir, memungkinkan kueri yang efisien di berbagai dimensi. Strategi ini direkomendasikan ketika Anda perlu menanyakan data di beberapa dimensi secara bersamaan. Untuk menggunakan strategi ini, Anda harus terlebih dahulu menentukan urutan dalam properti tabel Iceberg Anda menggunakan properti sort_order tabel.

• retentionMetrics — Sebuah objek RetentionMetrics.

  Ob RetentionMetrics jek yang berisi metrik untuk dijalankan pengoptimal.

• orphanFileDeletionMetrics — Sebuah objek OrphanFileDeletionMetrics.

  Ob OrphanFileDeletionMetrics jek yang berisi metrik untuk dijalankan pengoptimal.

Bidang

• catalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Katalog tabel.

• databaseName— UTF-8 string, setidaknya panjang 1 byte.

  Nama basis data dalam katalog tempat tabel berada.

• tableName— UTF-8 string, setidaknya panjang 1 byte.

  Nama tabel.

• type— UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

Bidang

• catalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Katalog tabel.

• databaseName— UTF-8 string, setidaknya panjang 1 byte.

  Nama basis data dalam katalog tempat tabel berada.

• tableName— UTF-8 string, setidaknya panjang 1 byte.

  Nama tabel.

• tableOptimizer — Sebuah objek TableOptimizer.

  Ob TableOptimizer jek yang berisi rincian tentang konfigurasi dan dijalankan terakhir dari pengoptimal tabel.

Bidang

• error — Sebuah objek ErrorDetail.

  Ob ErrorDetail jek yang berisi rincian kode dan pesan tentang kesalahan.

• catalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Katalog tabel.

• databaseName— UTF-8 string, setidaknya panjang 1 byte.

  Nama basis data dalam katalog tempat tabel berada.

• tableName— UTF-8 string, setidaknya panjang 1 byte.

  Nama tabel.

• type— UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

Bidang

• icebergConfiguration — Sebuah objek IcebergRetentionConfiguration.

  Konfigurasi untuk pengoptimal retensi snapshot Iceberg.

Bidang

• snapshotRetentionPeriodInDays — Nomor (bilangan bulat).

  Jumlah hari untuk menyimpan foto Gunung Es. Jika input tidak disediakan, bidang konfigurasi tabel Iceberg yang sesuai akan digunakan atau jika tidak ada, nilai default 5 akan digunakan.

• numberOfSnapshotsToRetain — Nomor (bilangan bulat).

  Jumlah snapshot gunung es yang akan disimpan dalam periode retensi. Jika input tidak disediakan, bidang konfigurasi tabel Iceberg yang sesuai akan digunakan atau jika tidak ada, nilai default 1 akan digunakan.

• cleanExpiredFiles – Boolean.

  Jika disetel ke false, snapshot hanya dihapus dari metadata tabel, dan data dasar serta file metadata tidak dihapus.

• runRateInHours — Nomor (bilangan bulat).

  Interval dalam jam antara pekerjaan retensi berjalan. Parameter ini mengontrol seberapa sering pengoptimal retensi akan dijalankan untuk membersihkan snapshot yang kedaluwarsa. Nilai harus antara 3 dan 168 jam (7 hari). Jika input tidak disediakan, nilai default 24 akan digunakan.

Bidang

• icebergConfiguration — Sebuah objek IcebergOrphanFileDeletionConfiguration.

  Konfigurasi untuk pengoptimal penghapusan file yatim piatu Iceberg.

Bidang

• orphanFileRetentionPeriodInDays — Nomor (bilangan bulat).

  Jumlah hari dimana file yatim piatu harus dipertahankan sebelum penghapusan file. Jika input tidak disediakan, nilai default 3 akan digunakan.

• location— UTF-8 tali.

  Menentukan direktori tempat mencari file (default ke lokasi tabel). Anda dapat memilih sub-direktori daripada lokasi tabel tingkat atas.

• runRateInHours — Nomor (bilangan bulat).

  Interval dalam jam antara pekerjaan penghapusan file yatim piatu berjalan. Parameter ini mengontrol seberapa sering pengoptimal penghapusan file yatim piatu akan berjalan untuk membersihkan file yatim piatu. Nilai harus antara 3 dan 168 jam (7 hari). Jika input tidak disediakan, nilai default 24 akan digunakan.

Bidang

• IcebergMetrics — Sebuah objek IcebergCompactionMetrics.

  Struktur yang berisi metrik pemadatan gunung es untuk menjalankan pengoptimal.

Bidang

• IcebergMetrics — Sebuah objek IcebergRetentionMetrics.

  Struktur yang berisi metrik retensi gunung es untuk menjalankan pengoptimal.

Bidang

• IcebergMetrics — Sebuah objek IcebergOrphanFileDeletionMetrics.

  Struktur yang berisi metrik penghapusan file yatim piatu Iceberg untuk menjalankan pengoptimal.

Bidang

• DpuHours — Nomor (ganda).

  Jumlah jam DPU yang dikonsumsi oleh pekerjaan.

• NumberOfDpus— Nomor (Integer).

  Jumlah DPU yang dikonsumsi oleh pekerjaan, dibulatkan ke bilangan bulat terdekat.

• JobDurationInHour — Nomor (ganda).

  Durasi pekerjaan dalam jam.

Bidang

• DpuHours — Nomor (ganda).

  Jumlah jam DPU yang dikonsumsi oleh pekerjaan.

• NumberOfDpus— Nomor (Integer).

  Jumlah DPU yang dikonsumsi oleh pekerjaan, dibulatkan ke bilangan bulat terdekat.

• JobDurationInHour — Nomor (ganda).

  Durasi pekerjaan dalam jam.

Bidang

• DpuHours — Nomor (ganda).

  Jumlah jam DPU yang dikonsumsi oleh pekerjaan.

• NumberOfDpus— Nomor (Integer).

  Jumlah DPU yang dikonsumsi oleh pekerjaan, dibulatkan ke bilangan bulat terdekat.

• JobDurationInHour — Nomor (ganda).

  Durasi pekerjaan dalam jam.

Bidang

• NumberOfBytesCompacted— UTF-8 tali.

  Jumlah byte yang dihapus oleh pekerjaan pemadatan yang dijalankan.

• NumberOfFilesCompacted— UTF-8 tali.

  Jumlah file yang dihapus oleh pekerjaan pemadatan yang dijalankan.

• NumberOfDpus— UTF-8 tali.

  Jumlah DPU yang dikonsumsi oleh pekerjaan, dibulatkan ke bilangan bulat terdekat.

• JobDurationInHour— UTF-8 tali.

  Durasi pekerjaan dalam jam.

• GetTableOptimizer tindakan (Python: get_table_optimizer)

• BatchGetTableOptimizer tindakan (Python: batch_get_table_optimizer)

• ListTableOptimizerRuns tindakan (Python: list_table_optimizer_runs)

• CreateTableOptimizer tindakan (Python: create_table_optimizer)

• DeleteTableOptimizer tindakan (Python: delete_table_optimizer)

• UpdateTableOptimizer tindakan (Python: update_table_optimizer)

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Katalog tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• Type— Diperlukan: UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

Respons

• CatalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Katalog tabel.

• DatabaseName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• TableOptimizer — Sebuah objek TableOptimizer.

  Pengoptimal terkait dengan tabel yang ditentukan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Permintaan

• Entries – Wajib: Susunan objek BatchGetTableOptimizerEntry.

  Daftar BatchGetTableOptimizerEntry objek yang menentukan pengoptimal tabel untuk diambil.

Respons

• TableOptimizers – Susunan objek BatchTableOptimizer.

  Daftar objek BatchTableOptimizer.

• Failures – Susunan objek BatchGetTableOptimizerError.

  Daftar kesalahan dari operasi.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Katalog tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• Type— Diperlukan: UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

• MaxResults — Nomor (bilangan bulat).

  Jumlah maksimum pengoptimal berjalan untuk kembali pada setiap panggilan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• CatalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID Katalog tabel.

• DatabaseName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• NextToken— UTF-8 tali.

  Token lanjutan untuk mempaginasi daftar pengoptimal yang dikembalikan, dikembalikan jika segmen daftar saat ini bukan yang terakhir.

• TableOptimizerRuns – Susunan objek TableOptimizerRun.

  Daftar pengoptimal berjalan terkait dengan tabel.

Kesalahan

• EntityNotFoundException

• AccessDeniedException

• InvalidInputException

• ValidationException

• InternalServiceException

• ThrottlingException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Katalog tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• Type— Diperlukan: UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

• TableOptimizerConfiguration — Wajib: Sebuah objek TableOptimizerConfiguration.

  Ob TableOptimizerConfiguration jek yang mewakili konfigurasi pengoptimal tabel.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• ValidationException

• InvalidInputException

• AccessDeniedException

• AlreadyExistsException

• InternalServiceException

• ThrottlingException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Katalog tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• Type— Diperlukan: UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• InternalServiceException

• ThrottlingException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID Katalog tabel.

• DatabaseName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama basis data dalam katalog tempat tabel berada.

• TableName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama tabel.

• Type— Diperlukan: UTF-8 string (nilai valid: compaction="COMPACTION" | retention="RETENTION" |orphan_file_deletion="ORPHAN_FILE_DELETION").

  Jenis pengoptimal tabel.

• TableOptimizerConfiguration — Wajib: Sebuah objek TableOptimizerConfiguration.

  Ob TableOptimizerConfiguration jek yang mewakili konfigurasi pengoptimal tabel.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• AccessDeniedException

• ValidationException

• InternalServiceException

• ThrottlingException

• ConcurrentModificationException