本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
資料表最佳化工具 API
資料表最佳化工具API描述了用於啟用壓縮以改善讀取效能的 AWS Glue API。
資料類型
TableOptimizer 結構
包含與資料表相關聯之最佳化工具的相關詳細資料。
欄位
-
type
– UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。有效值為:
-
compaction
:用於使用資料表最佳化工具管理壓縮。 -
retention
:用於使用資料表最佳化工具管理快照的保留。 -
orphan_file_deletion
:用於使用資料表最佳化工具管理孤立檔案的刪除。
-
-
configuration
– TableOptimizerConfiguration 物件。建立或更新資料表最佳化工具時,會指定的
TableOptimizerConfiguration
物件。 -
lastRun
– TableOptimizerRun 物件。表示上次執行之資料表最佳化工具的
TableOptimizerRun
物件。
TableOptimizerConfiguration 結構
包含資料表最佳化工具組態的相關詳細資料。您會在建立或更新資料表最佳化工具時傳遞此組態。
欄位
-
roleArn
– UTF-8 字串,長度不可小於 20 個位元組,也不可以超過 2048 個位元組,需符合 Single-line string pattern。呼叫者傳遞的角色,可提供服務權限,以代表呼叫者更新與最佳化工具相關聯的資源。
-
enabled
– 布林值。無論資料表最佳化是否已啟用。
-
vpcConfiguration
– TableOptimizerVpcConfiguration 物件。代表資料表最佳化工具VPC組態的
TableOptimizerVpcConfiguration
物件。此組態對於在客戶 中的資料表執行最佳化是必要的VPC。
-
retentionConfiguration
– RetentionConfiguration 物件。快照保留最佳化工具的組態。
-
orphanFileDeletionConfiguration
– OrphanFileDeletionConfiguration 物件。孤立檔案刪除最佳化工具的組態。
TableOptimizerVpcConfiguration 結構
描述資料表最佳化工具VPC組態的物件。
此組態對於在客戶 中的資料表執行最佳化是必要的VPC。
欄位
-
glueConnectionName
– UTF-8 個字串,長度至少為 1 位元組。用於資料表最佳化工具之 VPC的 AWS Glue 連線名稱。
TableOptimizerRun 結構
包含資料表最佳化工具執行的詳細資料。
欄位
-
eventType
– UTF-8 字串 (有效值:starting="STARTING"
|completed="COMPLETED"
|failed="FAILED"
|in_progress="IN_PROGRESS"
)。表示資料表最佳化工具執行狀態的事件類型。
-
startTimestamp
– 時間戳記。表示 Lake Formation 內的壓縮任務開始時的 Epoch 時間戳記。
-
endTimestamp
– 時間戳記。表示壓縮任務結束時的 Epoch 時間戳記。
-
metrics
– RunMetrics 物件。包含最佳化工具執行之指標的
RunMetrics
物件。此成員已淘汰。如需壓縮、保留和孤立檔案刪除,請參閱個別指標成員。
-
error
– UTF-8 字串。最佳化工具執行期間發生的錯誤。
-
compactionMetrics
– CompactionMetrics 物件。包含最佳化工具執行之指標的
CompactionMetrics
物件。 -
retentionMetrics
– RetentionMetrics 物件。包含最佳化工具執行之指標的
RetentionMetrics
物件。 -
orphanFileDeletionMetrics
– OrphanFileDeletionMetrics 物件。包含最佳化工具執行指標的
OrphanFileDeletionMetrics
物件。
BatchGetTableOptimizerEntry 結構
表示要在 BatchGetTableOptimizer
操作中擷取的資料表最佳化工具。
欄位
-
catalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表的目錄 ID。
-
databaseName
– UTF-8 個字串,長度至少為 1 個位元組。資料表所在目錄的資料庫的名稱。
-
tableName
– UTF-8 個字串,長度至少為 1 位元組。資料表的名稱。
-
type
– UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
BatchTableOptimizer 結構
包含 BatchGetTableOptimizer
操作傳回之其中一個資料表最佳化工具的詳細資料。
欄位
-
catalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表的目錄 ID。
-
databaseName
– UTF-8 個字串,長度至少為 1 位元組。資料表所在目錄的資料庫的名稱。
-
tableName
– UTF-8 字串,長度至少為 1 位元組。資料表的名稱。
-
tableOptimizer
– TableOptimizer 物件。包含組態和上次執行之資料表最佳化工具相關詳細資料的
TableOptimizer
物件。
BatchGetTableOptimizerError 結構
包含 BatchGetTableOptimizer
操作傳回的錯誤清單中之其中一個錯誤的相關詳細資料。
欄位
-
error
– ErrorDetail 物件。包含與錯誤相關之程式碼和訊息詳細資料的
ErrorDetail
物件。 -
catalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表的目錄 ID。
-
databaseName
– UTF-8 字串,長度至少為 1 位元組。資料表所在目錄的資料庫的名稱。
-
tableName
– UTF-8 字串,長度至少為 1 位元組。資料表的名稱。
-
type
– UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
RetentionConfiguration 結構
快照保留最佳化工具的組態。
欄位
-
icebergConfiguration
– IcebergRetentionConfiguration 物件。Iceberg 快照保留最佳化工具的組態。
IcebergRetentionConfiguration 結構
Iceberg 快照保留最佳化工具的組態。
欄位
-
snapshotRetentionPeriodInDays
– 數字 (整數)。保留 Iceberg 快照的天數。如果未提供輸入,則會使用對應的 Iceberg 資料表組態欄位,如果不存在,則會使用預設值 5。
-
numberOfSnapshotsToRetain
– 數字 (整數)。在保留期間內要保留的 Iceberg 快照數量。如果未提供輸入,則會使用對應的 Iceberg 資料表組態欄位,如果不存在,則會使用預設值 1。
-
cleanExpiredFiles
– 布林值。如果設定為 false,快照只會從資料表中繼資料中刪除,而且不會刪除基礎資料和中繼資料檔案。
OrphanFileDeletionConfiguration 結構
孤立檔案刪除最佳化工具的組態。
欄位
-
icebergConfiguration
– IcebergOrphanFileDeletionConfiguration 物件。Iceberg 孤立檔案刪除最佳化工具的組態。
IcebergOrphanFileDeletionConfiguration 結構
Iceberg 孤立檔案刪除最佳化工具的組態。
欄位
-
orphanFileRetentionPeriodInDays
– 數字 (整數)。刪除檔案之前,應該保留孤立檔案的天數。如果未提供輸入,則會使用預設值 3。
-
location
– UTF-8 字串。指定要在其中尋找檔案的目錄 (預設為資料表的位置)。您可以選擇子目錄,而不是最上層的資料表位置。
CompactionMetrics 結構
包含最佳化工具執行壓縮指標的結構。
欄位
-
IcebergMetrics
– IcebergCompactionMetrics 物件。包含最佳化工具執行之 Iceberg 壓縮指標的結構。
RetentionMetrics 結構
包含最佳化工具執行之保留指標的結構。
欄位
-
IcebergMetrics
– IcebergRetentionMetrics 物件。包含最佳化工具執行之 Iceberg 保留指標的結構。
OrphanFileDeletionMetrics 結構
包含最佳化工具執行孤立檔案刪除指標的結構。
欄位
-
IcebergMetrics
– IcebergOrphanFileDeletionMetrics 物件。包含最佳化工具執行之 Iceberg 孤立檔案刪除指標的結構。
IcebergCompactionMetrics 結構
最佳化工具執行的 Iceberg 壓縮指標。
欄位
-
NumberOfDpus
– 數字 (整數)。任務耗用的DPU時數。
-
JobDurationInHour
– 數字 (雙位數)。任務的持續時間 (以小時為單位)。
IcebergRetentionMetrics 結構
Iceberg 用於最佳化工具執行的快照保留指標。
欄位
-
NumberOfDpus
– 數字 (整數)。任務耗用的DPU時數。
-
JobDurationInHour
– 數字 (雙位數)。任務的持續時間 (以小時為單位)。
IcebergOrphanFileDeletionMetrics 結構
Iceberg 的孤立檔案刪除指標,用於最佳化工具執行。
欄位
-
NumberOfDpus
– 數字 (整數)。任務耗用的DPU時數。
-
JobDurationInHour
– 數字 (雙位數)。任務的持續時間 (以小時為單位)。
RunMetrics 結構
最佳化工具執行的指標。
此結構已棄用。如需壓縮、保留和孤立檔案刪除,請參閱個別指標成員。
欄位
-
NumberOfBytesCompacted
– UTF-8 字串。壓縮任務執行移除的位元組數。
-
NumberOfFilesCompacted
– UTF-8 字串。壓縮任務執行移除檔案數。
-
NumberOfDpus
– UTF-8 字串。任務耗用的DPU時數。
-
JobDurationInHour
– UTF-8 字串。任務的持續時間 (以小時為單位)。
作業
GetTableOptimizer 動作 (Python:get_table_optimizer)
傳回與指定資料表相關聯之所有最佳化工具的組態。
請求
-
CatalogId
– 必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
Type
– 必要:UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
回應
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
TableOptimizer
– TableOptimizer 物件。與指定資料表相關聯的最佳化工具。
錯誤
EntityNotFoundException
InvalidInputException
AccessDeniedException
InternalServiceException
ThrottlingException
BatchGetTableOptimizer 動作 (Python: batch_get_table_optimizer)
傳回指定資料表最佳化工具的組態。
請求
-
Entries
– 必要:一個 BatchGetTableOptimizerEntry 物件。指定要擷取之資料表最佳化工具的
BatchGetTableOptimizerEntry
物件清單。
回應
-
TableOptimizers
– 一個 BatchTableOptimizer 物件陣列。BatchTableOptimizer
物件的清單。 -
Failures
– 一個 BatchGetTableOptimizerError 物件陣列。操作中的錯誤清單。
錯誤
EntityNotFoundException
InvalidInputException
AccessDeniedException
InternalServiceException
ThrottlingException
ListTableOptimizerRuns 動作 (Python:list_table_optimizer_runs)
列出先前針對特定資料表之最佳化工具執行的歷史記錄。
請求
-
CatalogId
– 必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
Type
– 必要:UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
-
MaxResults
– 數字 (整數)。每次呼叫時最佳化工具執行的傳回數上限。
-
NextToken
– UTF-8 字串。接續符記,如果這是接續呼叫。
回應
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
NextToken
– UTF-8 字串。用於將傳回的最佳化工具執行清單分頁的持續權杖,如果清單的目前區段不是最後區段則會傳回。
-
TableOptimizerRuns
– 一個 TableOptimizerRun 物件陣列。與資料表相關聯的最佳化工具執行清單。
錯誤
EntityNotFoundException
AccessDeniedException
InvalidInputException
ValidationException
InternalServiceException
ThrottlingException
CreateTableOptimizer 動作 (Python:create_table_optimizer)
為特定函數建立新的資料表最佳化工具。
請求
-
CatalogId
– 必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
Type
– 必要:UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
-
TableOptimizerConfiguration
– 必要:TableOptimizerConfiguration 物件。表示資料表最佳化工具組態的
TableOptimizerConfiguration
物件。
回應
無回應參數。
錯誤
EntityNotFoundException
ValidationException
InvalidInputException
AccessDeniedException
AlreadyExistsException
InternalServiceException
ThrottlingException
DeleteTableOptimizer 動作 (Python: delete_table_optimizer)
針對資料表刪除最佳化工具和所有相關的中繼資料。系統將不會再針對該資料表執行最佳化。
請求
-
CatalogId
– 必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
Type
– 必要:UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
AccessDeniedException
InternalServiceException
ThrottlingException
UpdateTableOptimizer 動作 (Python: update_table_optimizer)
針對現有的資料表最佳化工具更新組態。
請求
-
CatalogId
– 必要:目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的目錄 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。
-
Type
– 必要:UTF-8 字串 (有效值:compaction="COMPACTION"
|retention="RETENTION"
|orphan_file_deletion="ORPHAN_FILE_DELETION"
)。資料表最佳化工具類型。
-
TableOptimizerConfiguration
– 必要:TableOptimizerConfiguration 物件。表示資料表最佳化工具組態的
TableOptimizerConfiguration
物件。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
AccessDeniedException
ValidationException
InternalServiceException
ThrottlingException
ConcurrentModificationException