資料表最佳化工具 API - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

資料表最佳化工具 API

資料表最佳化工具API描述了用於啟用壓縮以改善讀取效能的 AWS Glue API。

資料類型

TableOptimizer 結構

包含與資料表相關聯之最佳化工具的相關詳細資料。

欄位
  • type – UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。有效值為:

    • compaction:用於使用資料表最佳化工具管理壓縮。

    • retention:用於使用資料表最佳化工具管理快照的保留。

    • orphan_file_deletion:用於使用資料表最佳化工具管理孤立檔案的刪除。

  • configurationTableOptimizerConfiguration 物件。

    建立或更新資料表最佳化工具時,會指定的 TableOptimizerConfiguration 物件。

  • lastRunTableOptimizerRun 物件。

    表示上次執行之資料表最佳化工具的 TableOptimizerRun 物件。

TableOptimizerConfiguration 結構

包含資料表最佳化工具組態的相關詳細資料。您會在建立或更新資料表最佳化工具時傳遞此組態。

欄位
  • roleArn – UTF-8 字串,長度不可小於 20 個位元組,也不可以超過 2048 個位元組,需符合 Single-line string pattern

    呼叫者傳遞的角色,可提供服務權限,以代表呼叫者更新與最佳化工具相關聯的資源。

  • enabled – 布林值。

    無論資料表最佳化是否已啟用。

  • vpcConfigurationTableOptimizerVpcConfiguration 物件。

    代表資料表最佳化工具VPC組態的TableOptimizerVpcConfiguration物件。

    此組態對於在客戶 中的資料表執行最佳化是必要的VPC。

  • retentionConfigurationRetentionConfiguration 物件。

    快照保留最佳化工具的組態。

  • orphanFileDeletionConfigurationOrphanFileDeletionConfiguration 物件。

    孤立檔案刪除最佳化工具的組態。

TableOptimizerVpcConfiguration 結構

描述資料表最佳化工具VPC組態的物件。

此組態對於在客戶 中的資料表執行最佳化是必要的VPC。

欄位
  • glueConnectionName – UTF-8 個字串,長度至少為 1 位元組。

    用於資料表最佳化工具之 VPC的 AWS Glue 連線名稱。

TableOptimizerRun 結構

包含資料表最佳化工具執行的詳細資料。

欄位
  • eventType – UTF-8 字串 (有效值: starting="STARTING" | completed="COMPLETED" | failed="FAILED" | in_progress="IN_PROGRESS")。

    表示資料表最佳化工具執行狀態的事件類型。

  • startTimestamp – 時間戳記。

    表示 Lake Formation 內的壓縮任務開始時的 Epoch 時間戳記。

  • endTimestamp – 時間戳記。

    表示壓縮任務結束時的 Epoch 時間戳記。

  • metricsRunMetrics 物件。

    包含最佳化工具執行之指標的 RunMetrics 物件。

    此成員已淘汰。如需壓縮、保留和孤立檔案刪除,請參閱個別指標成員。

  • error – UTF-8 字串。

    最佳化工具執行期間發生的錯誤。

  • compactionMetricsCompactionMetrics 物件。

    包含最佳化工具執行之指標的 CompactionMetrics 物件。

  • retentionMetricsRetentionMetrics 物件。

    包含最佳化工具執行之指標的 RetentionMetrics 物件。

  • orphanFileDeletionMetricsOrphanFileDeletionMetrics 物件。

    包含最佳化工具執行指標的OrphanFileDeletionMetrics物件。

BatchGetTableOptimizerEntry 結構

表示要在 BatchGetTableOptimizer 操作中擷取的資料表最佳化工具。

欄位
  • catalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    資料表的目錄 ID。

  • databaseName – UTF-8 個字串,長度至少為 1 個位元組。

    資料表所在目錄的資料庫的名稱。

  • tableName – UTF-8 個字串,長度至少為 1 位元組。

    資料表的名稱。

  • type – UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

BatchTableOptimizer 結構

包含 BatchGetTableOptimizer 操作傳回之其中一個資料表最佳化工具的詳細資料。

欄位
  • catalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    資料表的目錄 ID。

  • databaseName – UTF-8 個字串,長度至少為 1 位元組。

    資料表所在目錄的資料庫的名稱。

  • tableName – UTF-8 字串,長度至少為 1 位元組。

    資料表的名稱。

  • tableOptimizerTableOptimizer 物件。

    包含組態和上次執行之資料表最佳化工具相關詳細資料的 TableOptimizer 物件。

BatchGetTableOptimizerError 結構

包含 BatchGetTableOptimizer 操作傳回的錯誤清單中之其中一個錯誤的相關詳細資料。

欄位
  • errorErrorDetail 物件。

    包含與錯誤相關之程式碼和訊息詳細資料的 ErrorDetail 物件。

  • catalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    資料表的目錄 ID。

  • databaseName – UTF-8 字串,長度至少為 1 位元組。

    資料表所在目錄的資料庫的名稱。

  • tableName – UTF-8 字串,長度至少為 1 位元組。

    資料表的名稱。

  • type – UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

RetentionConfiguration 結構

快照保留最佳化工具的組態。

欄位

IcebergRetentionConfiguration 結構

Iceberg 快照保留最佳化工具的組態。

欄位
  • snapshotRetentionPeriodInDays – 數字 (整數)。

    保留 Iceberg 快照的天數。如果未提供輸入,則會使用對應的 Iceberg 資料表組態欄位,如果不存在,則會使用預設值 5。

  • numberOfSnapshotsToRetain – 數字 (整數)。

    在保留期間內要保留的 Iceberg 快照數量。如果未提供輸入,則會使用對應的 Iceberg 資料表組態欄位,如果不存在,則會使用預設值 1。

  • cleanExpiredFiles – 布林值。

    如果設定為 false,快照只會從資料表中繼資料中刪除,而且不會刪除基礎資料和中繼資料檔案。

OrphanFileDeletionConfiguration 結構

孤立檔案刪除最佳化工具的組態。

欄位

IcebergOrphanFileDeletionConfiguration 結構

Iceberg 孤立檔案刪除最佳化工具的組態。

欄位
  • orphanFileRetentionPeriodInDays – 數字 (整數)。

    刪除檔案之前,應該保留孤立檔案的天數。如果未提供輸入,則會使用預設值 3。

  • location – UTF-8 字串。

    指定要在其中尋找檔案的目錄 (預設為資料表的位置)。您可以選擇子目錄,而不是最上層的資料表位置。

CompactionMetrics 結構

包含最佳化工具執行壓縮指標的結構。

欄位

RetentionMetrics 結構

包含最佳化工具執行之保留指標的結構。

欄位
  • IcebergMetricsIcebergRetentionMetrics 物件。

    包含最佳化工具執行之 Iceberg 保留指標的結構。

OrphanFileDeletionMetrics 結構

包含最佳化工具執行孤立檔案刪除指標的結構。

欄位

IcebergCompactionMetrics 結構

最佳化工具執行的 Iceberg 壓縮指標。

欄位
  • NumberOfDpus – 數字 (整數)。

    任務耗用的DPU時數。

  • JobDurationInHour – 數字 (雙位數)。

    任務的持續時間 (以小時為單位)。

IcebergRetentionMetrics 結構

Iceberg 用於最佳化工具執行的快照保留指標。

欄位
  • NumberOfDpus – 數字 (整數)。

    任務耗用的DPU時數。

  • JobDurationInHour – 數字 (雙位數)。

    任務的持續時間 (以小時為單位)。

IcebergOrphanFileDeletionMetrics 結構

Iceberg 的孤立檔案刪除指標,用於最佳化工具執行。

欄位
  • NumberOfDpus – 數字 (整數)。

    任務耗用的DPU時數。

  • JobDurationInHour – 數字 (雙位數)。

    任務的持續時間 (以小時為單位)。

RunMetrics 結構

最佳化工具執行的指標。

此結構已棄用。如需壓縮、保留和孤立檔案刪除,請參閱個別指標成員。

欄位
  • NumberOfBytesCompacted – UTF-8 字串。

    壓縮任務執行移除的位元組數。

  • NumberOfFilesCompacted – UTF-8 字串。

    壓縮任務執行移除檔案數。

  • NumberOfDpus – UTF-8 字串。

    任務耗用的DPU時數。

  • JobDurationInHour – UTF-8 字串。

    任務的持續時間 (以小時為單位)。

作業

GetTableOptimizer 動作 (Python:get_table_optimizer)

傳回與指定資料表相關聯之所有最佳化工具的組態。

請求
  • CatalogId必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • Type必要:UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

回應
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • TableOptimizerTableOptimizer 物件。

    與指定資料表相關聯的最佳化工具。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • AccessDeniedException

  • InternalServiceException

  • ThrottlingException

BatchGetTableOptimizer 動作 (Python: batch_get_table_optimizer)

傳回指定資料表最佳化工具的組態。

請求
  • Entries必要:一個 BatchGetTableOptimizerEntry 物件。

    指定要擷取之資料表最佳化工具的 BatchGetTableOptimizerEntry 物件清單。

回應
錯誤
  • EntityNotFoundException

  • InvalidInputException

  • AccessDeniedException

  • InternalServiceException

  • ThrottlingException

ListTableOptimizerRuns 動作 (Python:list_table_optimizer_runs)

列出先前針對特定資料表之最佳化工具執行的歷史記錄。

請求
  • CatalogId必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • Type必要:UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

  • MaxResults – 數字 (整數)。

    每次呼叫時最佳化工具執行的傳回數上限。

  • NextToken – UTF-8 字串。

    接續符記,如果這是接續呼叫。

回應
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • NextToken – UTF-8 字串。

    用於將傳回的最佳化工具執行清單分頁的持續權杖,如果清單的目前區段不是最後區段則會傳回。

  • TableOptimizerRuns – 一個 TableOptimizerRun 物件陣列。

    與資料表相關聯的最佳化工具執行清單。

錯誤
  • EntityNotFoundException

  • AccessDeniedException

  • InvalidInputException

  • ValidationException

  • InternalServiceException

  • ThrottlingException

CreateTableOptimizer 動作 (Python:create_table_optimizer)

為特定函數建立新的資料表最佳化工具。

請求
  • CatalogId必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • Type必要:UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

  • TableOptimizerConfiguration必要:TableOptimizerConfiguration 物件。

    表示資料表最佳化工具組態的 TableOptimizerConfiguration 物件。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • ValidationException

  • InvalidInputException

  • AccessDeniedException

  • AlreadyExistsException

  • InternalServiceException

  • ThrottlingException

DeleteTableOptimizer 動作 (Python: delete_table_optimizer)

針對資料表刪除最佳化工具和所有相關的中繼資料。系統將不會再針對該資料表執行最佳化。

請求
  • CatalogId必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • Type必要:UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • AccessDeniedException

  • InternalServiceException

  • ThrottlingException

UpdateTableOptimizer 動作 (Python: update_table_optimizer)

針對現有的資料表最佳化工具更新組態。

請求
  • CatalogId必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的目錄 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表所在目錄的資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern

    資料表的名稱。

  • Type必要:UTF-8 字串 (有效值: compaction="COMPACTION" | retention="RETENTION" | orphan_file_deletion="ORPHAN_FILE_DELETION")。

    資料表最佳化工具類型。

  • TableOptimizerConfiguration必要:TableOptimizerConfiguration 物件。

    表示資料表最佳化工具組態的 TableOptimizerConfiguration 物件。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • AccessDeniedException

  • ValidationException

  • InternalServiceException

  • ThrottlingException

  • ConcurrentModificationException