分區 API - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

分區 API

Partition API 說明用於分區的資料類型和操作。

資料類型

Partition 結構

代表資料表資料的切片。

欄位
  • Values – UTF-8 字串陣列。

    分區的值。

  • DatabaseName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    要在其中建立分割區的目錄資料庫名稱。

  • TableName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    用於建立分區的資料庫資料表之名稱。

  • CreationTime – 時間戳記。

    建立分區的時間。

  • LastAccessTime – 時間戳記。

    上次存取分區的時間。

  • StorageDescriptorStorageDescriptor 物件。

    提供有關分區實體存放位置的資訊。

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。

    這些金鑰值對會定義分割區參數。

  • LastAnalyzedTime – 時間戳記。

    此分區上一次運算欄位統計的時間。

  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    分割區所在 Data Catalog 的 ID。

PartitionInput 結構

用於建立和更新分割區的結構。

欄位
  • Values – UTF-8 字串陣列。

    分區的值。雖然軟體開發套件不需要此參數,您必須為此參數指定一個有效的輸入。

    新分割區的索引鍵值必須以字串物件陣列傳遞,且順序必須與出現在 Amazon S3 前綴中的分割區索引鍵順序相同。否則, AWS Glue 將值添加到錯誤的鍵。

  • LastAccessTime – 時間戳記。

    上次存取分區的時間。

  • StorageDescriptorStorageDescriptor 物件。

    提供有關分區實體存放位置的資訊。

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。

    這些金鑰值對會定義分割區參數。

  • LastAnalyzedTime – 時間戳記。

    此分區上一次運算欄位統計的時間。

PartitionSpecWithSharedStorageDescriptor 結構

適用於共用實體位置的分區的分區規格。

欄位
  • StorageDescriptorStorageDescriptor 物件。

    共用實體儲存資訊。

  • Partitions – 一個 分區 物件陣列。

    共用此實體位置的分區的清單。

PartitionListComposingSpec 結構

列出相關的分區。

欄位
  • Partitions – 一個 分區 物件陣列。

    符合組成規格的分區的清單。

PartitionSpecProxy 結構

提供指定分區的根路徑。

欄位
  • DatabaseName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    分區所在的目錄資料庫。

  • TableName – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    包含資分區之資料表的名稱。

  • RootPath – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    定址分區的 Proxy 的根路徑。

  • PartitionSpecWithSharedSDPartitionSpecWithSharedStorageDescriptor 物件。

    共用實體儲存位置的分區的規格。

  • PartitionListComposingSpecPartitionListComposingSpec 物件。

    指定分區的清單。

PartitionValueList 結構

包含定義分區的值的清單。

欄位
  • Values必要:UTF-8 字串陣列。

    值的清單。

Segment 結構

定義資料表分割區的非重疊區域,讓多個要求以平行方式執行。

欄位
  • SegmentNumber必要:數字 (整數),不可大於 None (無)。

    區段的零基索引號碼。例如,如果區段總數為 4,則 SegmentNumber 的值將從 0 到 3。

  • TotalSegments必要:數字 (整數),不可小於 1,也不可以大於 10。

    區段的總數。

PartitionError 結構

包含有關分區錯誤的資訊。

欄位
  • PartitionValues – UTF-8 字串陣列。

    定義分區的值。

  • ErrorDetailErrorDetail 物件。

    關於分區錯誤的詳細資訊。

BatchUpdatePartitionFailureEntry 結構

包含有關批次更新分割區錯誤的資訊。

欄位
  • PartitionValueList – UTF-8 字串的陣列,不可超過 100 個字串。

    定義分割區的值的清單。

  • ErrorDetailErrorDetail 物件。

    關於批次更新分割區錯誤的詳細資訊。

BatchUpdatePartitionRequestEntry 結構

包含用於更新分割區的值和結構的結構。

欄位
  • PartitionValueList必要:UTF-8 字串的陣列,不可超過 100 個字串。

    定義分割區的值的清單。

  • PartitionInput必要:PartitionInput 物件。

    用於更新分割區的結構。

StorageDescriptor 結構

描述資料表資料的實體儲存。

欄位
  • Columns – 一個 資料行 物件陣列。

    資料表中的 Columns 的清單。

  • Location – 位置字串,長度不可超過 2056 個位元組,需符合URI address multi-line string pattern

    資料表的實體位置。依預設,它採用倉儲位置的形式,後面接著是資料庫在倉儲中的位置,最後是資料表名稱。

  • AdditionalLocations – UTF-8 字串陣列。

    指向 Delta 資料表所在路徑的位置清單。

  • InputFormat – 格式字串,長度不可超過 128 個位元組,需符合Single-line string pattern

    輸入格式:SequenceFileInputFormat (二進位),或者 TextInputFormat,或自訂格式。

  • OutputFormat – 格式字串,長度不可超過 128 個位元組,需符合Single-line string pattern

    輸出格式:SequenceFileOutputFormat (二進位),或者 IgnoreKeyTextOutputFormat,或自訂格式。

  • Compressed – 布林值。

    如果資料表中的資料都經過壓縮則為 True,否則為 False

  • NumberOfBuckets – 數字 (整數)。

    如果資料表包含任何維度欄位,將必須指定。

  • SerdeInfoSerDe信息 物件。

    序列化/反序列化()信息。SerDe

  • BucketColumns – UTF-8 字串陣列。

    資料表中的縮減器分組欄位、叢集欄位及值區欄位的清單。

  • SortColumns – 一個 順序 物件陣列。

    指定資料表中各個儲存貯體排序順序的清單。

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。

    使用者提供的屬性,格式為金鑰/值。

  • SkewedInfoSkewedInfo 物件。

    關於欄位中頻繁出現值的資訊 (偏斜值)。

  • StoredAsSubDirectories – 布林值。

    如果資料表資料存放於子目錄則為 True,否則為 False

  • SchemaReferenceSchemaReference 物件。

    參考儲存在結構描述登錄中之結 AWS Glue 構描述的物件。

    建立資料表時,您可以傳遞結構描述欄的空白清單,並改用結構描述參考。

SchemaReference 結構

參考儲存在結構描述登錄中之結 AWS Glue 構描述的物件。

欄位
  • SchemaIdSchemaId 物件。

    包含結構描述身分欄位的結構。必須提供此結構或 SchemaVersionId

  • SchemaVersionId – UTF-8 字串,長度不可小於 36 個位元組,也不可以超過 36 個位元組,且需符合 Custom string pattern #17

    指派給結構描述版本的唯一 ID。必須提供此結構或 SchemaId

  • SchemaVersionNumber – 數字 (長整數),不可小於 1,也不可以大於 100000。

    結構描述的版本編號。

SerDeInfo 結構

有關作為提取器和加載器的序列化/反序列化程序(SerDe)的信息。

欄位
  • Name – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    的名稱 SerDe。

  • SerializationLibrary – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    通常是實作 SerDe. 例如,org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe

  • Parameters – 金鑰值對的對應陣列。

    每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。

    這些鍵值配對定義的初始化參數。 SerDe

SkewedInfo 結構

指定資料表中的偏斜值。偏斜值是指頻率發生非常高的值。

欄位
  • SkewedColumnNames – UTF-8 字串陣列。

    包含偏斜值的欄位名稱清單。

  • SkewedColumnValues – UTF-8 字串陣列。

    頻繁出現而被視為偏斜的值的清單。

  • SkewedColumnValueLocationMaps – 金鑰值對的映射陣列。

    每個金鑰都是 UTF-8 字串。

    每個值都是 UTF-8 字串。

    偏斜值與包含這些值的欄位的映射。

作業

CreatePartition 動作(Python:創建分區)

建立新的分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    要在其中建立磁碟分割之目錄的 AWS 帳戶識別碼。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    在其中建立分區的中繼資料資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    要在其中建立分割區的中繼資料表名稱。

  • PartitionInput必要:PartitionInput 物件。

    用於定義要建立的分區的 PartitionInput 結構。

回應
  • 無回應參數。

錯誤
  • InvalidInputException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • GlueEncryptionException

BatchCreatePartition 操作(Python:批處理創建分區)

在批次處理中建立一或多個分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    分區建立所在目錄的 ID。目前,這應該是 AWS 帳戶 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    在其中建立分區的中繼資料資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    要在其中建立分割區的中繼資料表名稱。

  • PartitionInputList必要:PartitionInput 物件的陣列,不可超過 100 個結構。

    用於定義要建立分區的 PartitionInput 結構清單。

回應
  • Errors – 一個 PartitionError 物件陣列。

    在嘗試建立所要求分區時發生的錯誤。

錯誤
  • InvalidInputException

  • AlreadyExistsException

  • ResourceNumberLimitExceededException

  • InternalServiceException

  • EntityNotFoundException

  • OperationTimeoutException

  • GlueEncryptionException

UpdatePartition 行動(Python:更新分區)

更新分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    要更新之分區所在 Data Catalog 的 ID。如果未提供任何內容,則預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    有問題資料表所在目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    更新的分區所在資料表的名稱。

  • PartitionValueList必要:UTF-8 字串的陣列,不可超過 100 個字串。

    定義要更新之分割區的分割區索引鍵值的清單。

  • PartitionInput必要:PartitionInput 物件。

    要更新分區所在的新分區物件。

    Values 屬性無法變更。如果您想要變更分割區的分割區索引鍵值,請刪除並重新建立分割區。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

DeletePartition 動作(Python:刪除分區)

刪除指定的分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    要刪除分區所在 Data Catalog 的 ID。如果未提供任何內容,則預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    有問題資料表所在目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    資料表的名稱,資料表內包含將要刪除的分區。

  • PartitionValues必要:UTF-8 字串陣列。

    定義分區的值。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

BatchDeletePartition 操作(Python:批處理刪除分區)

在批次處理中刪除一或多個分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    要刪除分區所在 Data Catalog 的 ID。如果未提供任何內容,則預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    有問題資料表所在目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    資料表的名稱,資料表內包含將要刪除的分區。

  • PartitionsToDelete必要:PartitionValue清單 物件的陣列,不可超過 25 個結構。

    用於定義要刪除分區的 PartitionInput 結構清單。

回應
  • Errors – 一個 PartitionError 物件陣列。

    在嘗試建立所要求分區時發生的錯誤。

錯誤
  • InvalidInputException

  • EntityNotFoundException

  • InternalServiceException

  • OperationTimeoutException

GetPartition 動作(Python:獲取分區)

擷取有關指定的分區的資訊。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果未提供任何內容,則預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • PartitionValues必要:UTF-8 字串陣列。

    定義分區的值。

回應
  • Partition分區 物件。

    要求的資訊,格式為 Partition 物件。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

  • FederationSourceException

  • FederationSourceRetryableException

GetPartitions 動作(Python:獲取分區)

擷取資料表中有關分區的資訊。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果未提供任何內容,則預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • Expression – 述詞字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern

    用於篩選要傳回之分區的表達式。

    該表達式使用類似於 SQL WHERE 篩選條件子句的 SQL 語法。SQL 陳述式剖析器 JSQLParser 剖析該表達式。

    Operators (運算子):以下是您可以在 Expression API 呼叫中使用的運算子:

    =

    檢查兩個運算元的值是否相等;如果是,則條件成立。

    範例:假設「variable a」(變數 a) 保持為 10,而「variable b」(變數 b) 保持為 20。

    (a= b) 不為真。

    < >

    檢查兩個運算元的值是否相等;如果值並不相等,則條件成立。

    範例:(a < > b) 為真。

    >

    檢查左運算元的值是否大於右運算元的值;如果是,則條件成立。

    範例:(a > b) 不為真。

    <

    檢查左運算元的值是否小於右運算元的值;如果是,則條件成立。

    範例:(a < b) 為真。

    >=

    檢查左運算元的值是否大於或等於右運算元的值;如果是,則條件成立。

    範例:(a > = b) 不為真。

    <=

    檢查左運算元的值是否小於或等於右運算元的值;如果是,則條件成立。

    範例:(a <= b) 為真。

    AND、OR、IN、BETWEEN、LIKE、NOT、IS NULL

    邏輯運算子。

    支援的分割區索引鍵類型:以下是支援的分割區索引鍵。

    • string

    • date

    • timestamp

    • int

    • bigint

    • long

    • tinyint

    • smallint

    • decimal

    如果遇到無效的類型,則擲出例外狀況。

    下表顯示每個類型的有效運算子。當您定義一個爬蟲程式時,partitionKey 類型將以 STRING 建立,並與目錄分區。

    範例 API 呼叫

    該資料表 twitter_partition 有三個分區:

    year = 2015 year = 2016 year = 2017

    取得 year 等於 2015 的分區

    aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year*=*'2015'"

    取得 year 介於 2016-2018 之間 (不包含) 的分區

    aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year>'2016' AND year<'2018'"

    取得 year 介於 2015-2018之間 (不包含) 的分區 以下 API 呼叫彼此相同:

    aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year>='2015' AND year<='2018'" aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year BETWEEN 2015 AND 2018" aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year IN (2015,2016,2017,2018)"

    萬用字元分區篩選條件,其中以下呼叫輸出將為分區年份 = 2017。LIKE 不支援規則表達式。

    aws glue get-partitions --database-name dbname --table-name twitter_partition --expression "year LIKE '%7'"
  • NextToken – UTF-8 字串。

    接續字元,如果這不是第一個用於擷取這些分區的呼叫。

  • Segment區段 物件。

    在此要求中要掃描的資料表的分區的區段。

  • MaxResults – 數字 (整數),不可小於 1,也不可以大於 1000。

    在單一回應中可傳回的最大分區數量。

  • ExcludeColumnSchema – 布林值。

    如果為 True,指定不返回分割區資料行結構描述。僅對其他分割區屬性 (例如分割區值或位置) 感興趣時會很實用。這種方法不會傳回重複的資料,從而避免了大型響應的問題。

  • TransactionId – UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Custom string pattern #16

    藉助其讀取分割區內容的交易 ID。

  • QueryAsOfTime – 時間戳記。

    讀取分割區內容的時間。如果沒有設定,將使用最近的交易遞交時間。無法連同 TransactionId 一起指定。

回應
  • Partitions – 一個 分區 物件陣列。

    要求的分區的清單。

  • NextToken – UTF-8 字串。

    接續字元,如果傳回的分區清單不包含最後一個分區。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

  • InvalidStateException

  • ResourceNotReadyException

  • FederationSourceException

  • FederationSourceRetryableException

BatchGetPartition 操作(Python:批處理分區)

在批次要求中擷取分區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果沒有提供,則依預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • PartitionsToGet必要:一個 PartitionValue清單 物件陣列,不可超過 1000 個結構。

    用於識別要擷取的分區的分區值清單。

回應
  • Partitions – 一個 分區 物件陣列。

    要求的分區的清單。

  • UnprocessedKeys – 一個 PartitionValue清單 物件陣列,不可超過 1000 個結構。

    在未傳回分區之要求中的分區值清單。

錯誤
  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

  • InvalidStateException

  • FederationSourceException

  • FederationSourceRetryableException

BatchUpdatePartition 操作(Python:批處理更新分區)

在批次處理中更新一或多個分割區。

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    分割區更新所在目錄的 ID。目前,這應該是 AWS 帳戶 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    在其中更新分割區的中繼資料資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    要在其中更新分割區的中繼資料資料表名稱。

  • Entries必要:BatchUpdatePartitionRequest入境 物件陣列,不小於 1 個結構,也不大於 100 個結構。

    最多 100 個要更新的 BatchUpdatePartitionRequestEntry 物件清單。

回應
  • Errors – 一個 BatchUpdatePartitionFailure入境 物件陣列。

    在嘗試更新所要求分區時發生的錯誤。BatchUpdatePartitionFailureEntry 物件的清單。

錯誤
  • InvalidInputException

  • EntityNotFoundException

  • OperationTimeoutException

  • InternalServiceException

  • GlueEncryptionException

GetColumnStatisticsForPartition 操作(Python:獲取列統計 _ 分區)

擷取欄的分割區統計數字。

此作業所需的 Identity and Access Management (IAM) 許可為 GetPartition

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果沒有提供,則依預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • PartitionValues必要:UTF-8 字串陣列。

    用於識別分割區的分割區值清單。

  • ColumnNames必要:UTF-8 字串的陣列,不可超過 100 個字串。

    欄名稱之清單。

回應
  • ColumnStatisticsList – 一個 ColumnStatistics 物件陣列。

    無法 ColumnStatistics 擷取的清單。

  • Errors – 一個 ColumnError 物件陣列。

    擷取欄統計數字時發生錯誤。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

UpdateColumnStatisticsForPartition 操作(Python:更新列統計 _ 分區)

建立或更新欄的分割區統計數字。

此作業所需的 Identity and Access Management (IAM) 許可為 UpdatePartition

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果沒有提供,則依預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • PartitionValues必要:UTF-8 字串陣列。

    用於識別分割區的分割區值清單。

  • ColumnStatisticsList必要:ColumnStatistics 物件的陣列,不可超過 25 個結構。

    欄統計數字的清單。

回應
錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException

DeleteColumnStatisticsForPartition 操作(Python:刪除列統計 _ 分區)

刪除欄的分割區欄統計數字。

此作業所需的 Identity and Access Management (IAM) 許可為 DeletePartition

請求
  • CatalogId – 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern

    有問題分區所在 Data Catalog 的 ID。如果沒有提供,則依預設會使用 AWS 帳號 ID。

  • DatabaseName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區所在的目錄資料庫的名稱。

  • TableName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    分區的資料表的名稱。

  • PartitionValues必要:UTF-8 字串陣列。

    用於識別分割區的分割區值清單。

  • ColumnName必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合Single-line string pattern

    欄的名稱。

回應
  • 無回應參數。

錯誤
  • EntityNotFoundException

  • InvalidInputException

  • InternalServiceException

  • OperationTimeoutException

  • GlueEncryptionException