本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
資料表 API
資料表API說明與資料表相關聯的資料類型和操作。
資料類型
Table 結構
表示整理為欄和列的相關資料的集合。
欄位
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表名稱。為了相容於 Hive,這必須完全小寫。
-
DatabaseName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表中繼資料所在的資料庫名稱。為了相容於 Hive,此項目必須完全使用小寫。
-
Description
– 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern。資料表的說明。
-
Owner
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的擁有者。
-
CreateTime
– 時間戳記。在 Data Catalog 中建立資料表定義的時間。
-
UpdateTime
– 時間戳記。資料表上次更新的時間。
-
LastAccessTime
– 時間戳記。資料表上次存取的時間。這通常來自 HDFS,而且可能不可靠。
-
LastAnalyzedTime
– 時間戳記。此資料表上次運算欄位統計的時間。
-
Retention
– 數字 (整數),不可大於 None (無)。此資料表的保留時間。
-
StorageDescriptor
– StorageDescriptor 物件。儲存描述項包含有關此資料表實體儲存的資訊。
-
PartitionKeys
– 一個 資料行 物件陣列。資料表進行分區的欄位清單。僅支援基本類型做為分割區索引鍵。
在建立 Amazon Athena 使用的資料表,且您未指定任何
partitionKeys
時,您必須在空白清單設定partitionKeys
值。例如:"PartitionKeys": []
-
ViewOriginalText
– UTF-8 字串,長度不可超過 409600 個位元組。包括以取得 Apache Hive 相容性。在正常 AWS Glue 操作過程中不使用。如果資料表是
VIRTUAL_VIEW
,則會在 base64 中編碼特定 Athena 組態。 -
ViewExpandedText
– UTF-8 字串,長度不可超過 409600 個位元組。包括以取得 Apache Hive 相容性。在正常 AWS Glue 操作過程中不使用。
-
TableType
– UTF-8 字串,長度不可超過 255 個位元組。此資料表的類型。 AWS Glue 將使用
EXTERNAL_TABLE
類型建立資料表。其他服務,例如 Athena, 可能會建立具有其他資料表類型的資料表。AWS Glue 相關資料表類型:
- EXTERNAL_TABLE
-
Hive 相容屬性 – 表示非 Hive 受管的資料表。
- GOVERNED
-
使用者 AWS Lake Formation。 AWS Glue Data Catalog 了解
GOVERNED
。
-
Parameters
– 金鑰值對的對應陣列。每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。
每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。
這些金鑰值對會定義與此資料表相關聯的屬性。
-
CreatedBy
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。建立此資料表的人員或實體。
-
IsRegisteredWithLakeFormation
– 布林值。指示資料表是否已向 註冊 AWS Lake Formation。
-
TargetTable
– TableIdentifier 物件。描述資源連結的目標資料表的
TableIdentifier
結構。 -
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表存放所在 Data Catalog 的 ID。
-
VersionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表版本的 ID。
-
FederatedTable
– FederatedTable 物件。參照 AWS Glue Data Catalog外部實體的
FederatedTable
結構。 -
ViewDefinition
– ViewDefinition 物件。包含定義檢視之所有資訊的結構,包括檢視的方言或方言,以及查詢。
-
IsMultiDialectView
– 布林值。指定檢視是否支援一或多個不同查詢引擎的SQL方言,因此可由這些引擎讀取。
TableInput 結構
用於定義資料表的結構。
欄位
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表名稱。為了相容於 Hive,它在存放時會折疊為小寫。
-
Description
– 描述字串,長度不可超過 2048 個位元組,需符合URI address multi-line string pattern。資料表的說明。
-
Owner
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的擁有者。包括以取得 Apache Hive 相容性。在正常 AWS Glue 操作過程中不使用。
-
LastAccessTime
– 時間戳記。資料表上次存取的時間。
-
LastAnalyzedTime
– 時間戳記。此資料表上次運算欄位統計的時間。
-
Retention
– 數字 (整數),不可大於 None (無)。此資料表的保留時間。
-
StorageDescriptor
– StorageDescriptor 物件。儲存描述項包含有關此資料表實體儲存的資訊。
-
PartitionKeys
– 一個 資料行 物件陣列。資料表進行分區的欄位清單。僅支援基本類型做為分割區索引鍵。
在建立 Amazon Athena 使用的資料表,且您未指定任何
partitionKeys
時,您必須在空白清單設定partitionKeys
值。例如:"PartitionKeys": []
-
ViewOriginalText
– UTF-8 字串,長度不可超過 409600 個位元組。包括以取得 Apache Hive 相容性。在正常 AWS Glue 操作過程中不使用。如果資料表是
VIRTUAL_VIEW
,則會在 base64 中編碼特定 Athena 組態。 -
ViewExpandedText
– UTF-8 字串,長度不可超過 409600 個位元組。包括以取得 Apache Hive 相容性。在正常 AWS Glue 操作過程中不使用。
-
TableType
– UTF-8 字串,長度不可超過 255 個位元組。此資料表的類型。 AWS Glue 將使用
EXTERNAL_TABLE
類型建立資料表。其他服務,例如 Athena, 可能會建立具有其他資料表類型的資料表。AWS Glue 相關資料表類型:
- EXTERNAL_TABLE
-
Hive 相容屬性 – 表示非 Hive 受管的資料表。
- GOVERNED
-
使用者 AWS Lake Formation。 AWS Glue Data Catalog 了解
GOVERNED
。
-
Parameters
– 金鑰值對的對應陣列。每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。
每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。
這些金鑰值對會定義與此資料表相關聯的屬性。
-
TargetTable
– TableIdentifier 物件。描述資源連結的目標資料表的
TableIdentifier
結構。 -
ViewDefinition
– ViewDefinitionInput 物件。包含定義檢視之所有資訊的結構,包括檢視的方言或方言,以及查詢。
FederatedTable 結構
指向 AWS Glue Data Catalog外部實體的資料表。
欄位
-
Identifier
– UTF-8 個字串,長度不可小於 1 個位元組,也不可以超過 512 個位元組,需符合 Single-line string pattern。聯合資料表的唯一識別碼。
-
DatabaseIdentifier
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 512 個位元組,需符合 Single-line string pattern。聯合資料庫的唯一識別碼。
-
ConnectionName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。連線到外部中繼存放區的名稱。
欄結構
Table
中的欄位。
欄位
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。Column
的名稱。 -
Type
– UTF-8 字串,長度不可超過 131072 個位元組,符合 Single-line string pattern。Column
的資料類型。 -
Comment
– 註解字串,長度不可超過 255 個位元組,需符合Single-line string pattern。自由格式的文字註解。
-
Parameters
– 金鑰值對的對應陣列。每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。
每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。
這些金鑰值對會定義與此資料行相關聯的屬性。
StorageDescriptor 結構
描述資料表資料的實體儲存。
欄位
-
Columns
– 一個 資料行 物件陣列。資料表中的
Columns
的清單。 -
Location
– 位置字串,長度不可超過 2056 個位元組,需符合URI address multi-line string pattern。資料表的實體位置。依預設,它採用倉儲位置的形式,後面接著是資料庫在倉儲中的位置,最後是資料表名稱。
-
AdditionalLocations
– UTF-8 個字串的陣列。指向 Delta 資料表所在路徑的位置清單。
-
InputFormat
– 格式字串,長度不可超過 128 個位元組,需符合Single-line string pattern。輸入格式:
SequenceFileInputFormat
(二進位),或者TextInputFormat
,或自訂格式。 -
OutputFormat
– 格式字串,長度不可超過 128 個位元組,需符合Single-line string pattern。輸出格式:
SequenceFileOutputFormat
(二進位),或者IgnoreKeyTextOutputFormat
,或自訂格式。 -
Compressed
– 布林值。如果資料表中的資料都經過壓縮則為
True
,否則為False
-
NumberOfBuckets
– 數字 (整數)。如果資料表包含任何維度欄位,將必須指定。
-
SerdeInfo
– SerDeInfo 物件。序列化/還原序列化 (SerDe) 資訊。
-
BucketColumns
– UTF-8 個字串的陣列。資料表中的縮減器分組欄位、叢集欄位及值區欄位的清單。
-
SortColumns
– 一個 順序 物件陣列。指定資料表中各個儲存貯體排序順序的清單。
-
Parameters
– 金鑰值對的對應陣列。每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。
每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。
使用者提供的屬性,格式為金鑰/值。
-
SkewedInfo
– SkewedInfo 物件。關於欄位中頻繁出現值的資訊 (偏斜值)。
-
StoredAsSubDirectories
– 布林值。如果資料表資料存放於子目錄則為
True
,否則為False
-
SchemaReference
– SchemaReference 物件。參考儲存在結構描述登錄檔中的 AWS Glue 結構描述的物件。
建立資料表時,您可以傳遞結構描述欄的空白清單,並改用結構描述參考。
SchemaReference 結構
參考儲存在結構描述登錄檔中的 AWS Glue 結構描述的物件。
欄位
-
SchemaId
– SchemaId 物件。包含結構描述身分欄位的結構。必須提供此結構或
SchemaVersionId
。 -
SchemaVersionId
– UTF-8 字串,長度不可小於 36 個位元組,也不可以超過 36 個位元組,需符合 Custom string pattern #44。指派給結構描述版本的唯一 ID。必須提供此結構或
SchemaId
。 -
SchemaVersionNumber
– 數字 (長整數),不可小於 1,也不可以大於 100000。結構描述的版本編號。
SerDeInfo 結構
做為擷取器和載入器的序列化/還原序列化程式 (SerDe) 的相關資訊。
欄位
-
Name
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合 Single-line string pattern。的名稱 SerDe。
-
SerializationLibrary
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合 Single-line string pattern。通常是實作 的類別 SerDe。例如,
org.apache.hadoop.hive.serde2.columnar.ColumnarSerDe
。 -
Parameters
– 金鑰值對的對應陣列。每個金鑰都是金鑰字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。
每個值都是 UTF-8 字串,長度不可超過 512000 個位元組。
這些鍵/值對會定義 的初始化參數 SerDe。
Order 結構
指定已排序欄位的排序順序。
欄位
-
Column
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。欄位的名稱。
-
SortOrder
– 必要:數字 (整數),不可大於 1。指示欄位以遞增順序 (
== 1
) 或以遞減順序 (==0
) 排序。
SkewedInfo 結構
指定資料表中的偏斜值。偏斜值是指頻率發生非常高的值。
欄位
-
SkewedColumnNames
– UTF-8 個字串的陣列。包含偏斜值的欄位名稱清單。
-
SkewedColumnValues
– UTF-8 個字串的陣列。頻繁出現而被視為偏斜的值的清單。
-
SkewedColumnValueLocationMaps
– 金鑰值對的映射陣列。每個金鑰都是 UTF-8 字串。
每個值都是 UTF-8 字串。
偏斜值與包含這些值的欄位的映射。
TableVersion 結構
指定資料表的版本。
欄位
-
Table
– 資料表 物件。有問題的資料表。
-
VersionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。用於識別此資料表版本的 ID 值。
VersionId
是一個整數的表示字串。每個版本會增加 1。
TableError 結構
資料表操作的錯誤記錄。
欄位
-
TableName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。為了相容於 Hive,這必須完全小寫。
-
ErrorDetail
– ErrorDetail 物件。關於錯誤的詳細資訊。
TableVersionError 結構
資料表版本操作的錯誤記錄。
欄位
-
TableName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。有問題的資料表的名稱。
-
VersionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。有問題的版本的 ID 值。
VersionID
是一個整數的表示字串。每個版本會增加 1。 -
ErrorDetail
– ErrorDetail 物件。關於錯誤的詳細資訊。
SortCriterion 結構
指定欄位排序的依據和排序順序。
欄位
-
FieldName
– 值字串,長度不可小於 1 個位元組或超過 1024 個位元組。要排序的欄位名稱。
-
Sort
– UTF-8 字串 (有效值:ASC="ASCENDING"
|DESC="DESCENDING"
)。遞增或遞減排序。
TableIdentifier 結構
描述資源連結的目標資料表的結構。
欄位
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表存放所在 Data Catalog 的 ID。
-
DatabaseName
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。包含目標資料表的型錄資料庫名稱。
-
Name
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。目標資料表的名稱。
-
Region
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。目標資料表的區域。
KeySchemaElement 結構
由名稱和類型組成的分割區索引鍵對。
欄位
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分割區索引鍵的名稱。
-
Type
– 必要:UTF-8 個字串,長度不可超過 131072 個位元組,需符合 Single-line string pattern。分割區索引鍵的類型。
PartitionIndex 結構
分割區索引的結構。
欄位
-
Keys
– 必要:UTF-8 個字串的陣列,至少 1 個字串。分割區索引的索引鍵。
-
IndexName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分割區索引的名稱。
PartitionIndexDescriptor 結構
資料表中分割區索引的描述元。
欄位
-
IndexName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分割區索引的名稱。
-
Keys
–必要:KeySchemaElement 物件陣列,至少有 1 個結構。分割區索引的一或多個索引鍵的清單,作為
KeySchemaElement
結構。 -
IndexStatus
– 必要:UTF-8 字串 (有效值:CREATING
|ACTIVE
|DELETING
|FAILED
)。分割區索引的狀態。
可能的狀態如下:
-
CREATING:正在建立索引。當索引處於 CREATING 狀態時,無法刪除索引或其資料表。
-
ACTIVE:索引建立成功。
-
FAILED:索引建立失敗。
-
DELETING:索引會從索引清單中刪除。
-
-
BackfillErrors
– 一個 BackfillError 物件陣列。註冊現有資料表的分割區索引時可能發生的錯誤清單。
BackfillError 結構
註冊現有資料表的分割區索引時可能發生的錯誤清單。
這些錯誤提供索引註冊失敗原因的詳細資訊,並在回應中提供有限數目的分割區,讓您可以修正錯誤的分割區,然後再次嘗試註冊索引。可能發生的最常見的錯誤集分類如下:
-
EncryptedPartitionError:分割區會加密。
-
InvalidPartitionTypeDataError:分割區值不符合該分割區資料欄的資料類型。
-
MissingPartitionValueError:分割區會加密。
-
UnsupportedPartitionCharacterError:不支援分割區值內的字元。例如:U+0000、U+0001、U+0002。
-
InternalError:不屬於其他錯誤代碼的任何錯誤。
欄位
-
Code
– UTF-8 字串 (有效值:ENCRYPTED_PARTITION_ERROR
|INTERNAL_ERROR
|INVALID_PARTITION_TYPE_DATA_ERROR
|MISSING_PARTITION_VALUE_ERROR
|UNSUPPORTED_PARTITION_CHARACTER_ERROR
)。註冊現有資料表的分割區索引時發生的錯誤碼。
-
Partitions
– 一個 PartitionValueList 物件陣列。回應中有限數量的分割區索引鍵清單。
IcebergInput 結構
定義要在目錄中建立的 Apache Iceberg 中繼資料資料表的結構。
欄位
-
MetadataOperation
– 必要:UTF-8 字串 (有效值:CREATE
)。所需的中繼資料操作。只能設定為
CREATE
。 -
Version
– UTF-8 個字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合 Single-line string pattern。Iceberg 資料表的資料表版本。預設值為 2。
OpenTableFormatInput 結構
表示開放格式資料表的結構。
欄位
-
IcebergInput
– IcebergInput 物件。指定定義 Apache Iceberg 中繼資料資料表的
IcebergInput
結構。
ViewDefinition 結構
包含表示法詳細資訊的結構。
欄位
-
IsProtected
– 布林值。您可以將此旗標設定為 true,指示引擎不要在查詢規劃期間將使用者提供的操作推送至檢視的邏輯計畫。不過,設定此旗標並不保證引擎會遵守。請參閱引擎的文件,以了解若有提供的任何保證。
-
Definer
– UTF-8 字串,長度不可小於 20 個位元組,也不可以超過 2048 個位元組,需符合 Single-line string pattern。中的檢視定義器SQL。
-
SubObjects
– UTF-8 個字串的陣列,不可超過 10 個字串。資料表 Amazon Resource Names () 的清單ARNs。
-
Representations
– ViewRepresentation 物件陣列,不小於 1 個結構,也不大於 1000 個結構。表示式清單。
ViewDefinitionInput 結構
包含建立或更新 AWS Glue 檢視之詳細資訊的結構。
欄位
-
IsProtected
– 布林值。您可以將此旗標設定為 true,指示引擎不要在查詢規劃期間將使用者提供的操作推送至檢視的邏輯計畫。不過,設定此旗標並不保證引擎會遵守。請參閱引擎的文件,以了解若有提供的任何保證。
-
Definer
– UTF-8 字串,長度不可小於 20 個位元組,也不可以超過 2048 個位元組,需符合 Single-line string pattern。中的檢視定義器SQL。
-
Representations
– ViewRepresentationInput 物件陣列,不可小於 1 個或超過 10 個結構。包含檢視方言的結構清單,以及定義檢視的查詢。
-
SubObjects
– UTF-8 個字串的陣列,不可超過 10 個字串。ARNs 構成檢視的基本資料表清單。
ViewRepresentation 結構
包含檢視方言的結構,以及定義檢視的查詢。
欄位
-
Dialect
– UTF-8 字串 (有效值:REDSHIFT
|ATHENA
|SPARK
)。查詢引擎的方言。
-
DialectVersion
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組。查詢引擎的方言版本。例如,3.0.0。
-
ViewOriginalText
– UTF-8 字串,長度不可超過 409600 個位元組。客戶在 期間提供的
SELECT
查詢CREATE VIEW DDL
。在檢視上的查詢期間SQL不會使用此參數 (ViewExpandedText
會改為使用)。ViewOriginalText
會用於使用者想要查看建立檢視之原始DDL命令SHOW CREATE VIEW
的情況。 -
ViewExpandedText
– UTF-8 字串,長度不可超過 409600 個位元組。SQL 為檢視展開的 。在檢視上處理查詢時,引擎SQL會使用此功能。引擎可能會在建立檢視期間執行操作,
ViewOriginalText
以轉換為ViewExpandedText
。例如:-
完整識別碼:
SELECT * from table1 -> SELECT * from db1.table1
-
-
ValidationConnection
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。用於驗證檢視特定表示法的連線名稱。
-
IsStale
– 布林值。標記為過時的方言不再有效,必須先更新,才能在各自的查詢引擎中查詢。
ViewRepresentationInput 結構
包含要更新或建立 Lake Formation 檢視之陳述式詳細資訊的結構。
欄位
-
Dialect
– UTF-8 字串 (有效值:REDSHIFT
|ATHENA
|SPARK
)。指定特定表示式引擎類型的參數。
-
DialectVersion
– UTF-8 字串,長度不可小於 1 個位元組或超過 255 個位元組。指定特定表示式之引擎版本的參數。
-
ViewOriginalText
– UTF-8 字串,長度不可超過 409600 個位元組。代表描述檢視之原始SQL查詢的字串。
-
ValidationConnection
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。用於驗證檢視特定表示法的連線名稱。
-
ViewExpandedText
– UTF-8 字串,長度不可超過 409600 個位元組。代表SQL查詢的字串,描述具有擴充資源的檢視 ARNs
作業
CreateTable 動作 (Python:create_table)
在 Data Catalog 建立新的資料表定義。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。用於建立
Table
的 Data Catalog 之 ID。如果沒有提供,預設會使用 AWS 帳戶 ID。 -
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。用於建立新資料表的目錄資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
TableInput
– 必要:TableInput 物件。用於定義中繼資料資料表以建立目錄的
TableInput
物件。 -
PartitionIndexes
– PartitionIndex 物件陣列,不可超過 3 個結構。要在資料表中建立的分割區索引的清單,
PartitionIndex
結構。 -
TransactionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #43。交易的 ID。
-
OpenTableFormatInput
– OpenTableFormatInput 物件。建立開放格式資料表時指定
OpenTableFormatInput
結構。
回應
無回應參數。
錯誤
AlreadyExistsException
InvalidInputException
EntityNotFoundException
ResourceNumberLimitExceededException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
ConcurrentModificationException
ResourceNotReadyException
FederationSourceException
FederationSourceRetryableException
UpdateTable 動作 (Python: update_table)
在 Data Catalog 更新中繼資料資料表。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄資料庫的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
TableInput
– 必要:TableInput 物件。用於定義目錄中的中繼資料資料表的已更新
TableInput
物件。 -
SkipArchive
– 布林值。依預設,
UpdateTable
在更新資料表之前,一律會建立資料表的封存版本。但是,如果skipArchive
設為 true,UpdateTable
將不會建立封存版本。 -
TransactionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #43。藉助其更新資料表內容的交易 ID。
-
VersionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。藉助其更新資料表內容的版本 ID。
-
ViewUpdateAction
– UTF-8 字串 (有效值:ADD
|REPLACE
|ADD_OR_REPLACE
|DROP
)。更新檢視時要執行的操作。
-
Force
– 布林值。可設定為 true 的旗標,可忽略相符的儲存描述項和子物件相符要求。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ConcurrentModificationException
ResourceNumberLimitExceededException
GlueEncryptionException
ResourceNotReadyException
FederationSourceException
FederationSourceRetryableException
AlreadyExistsException
DeleteTable 動作 (Python: delete_table)
從 Data Catalog 移除資料表定義。
注意
完成此操作之後,您就不能再存取屬於已刪除資料表的資料表版本和分割區。 AWS Glue 會根據服務的判斷,以非同步方式即時刪除這些「孤立」資源。
若要確保能夠立即刪除所有相關資源,請在呼叫 DeleteTable
之前,先使用 DeleteTableVersion
或 BatchDeleteTableVersion
,以及 DeletePartition
或 BatchDeletePartition
,來刪除任何屬於資料表的資源。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄資料庫的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要刪除的資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
TransactionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #43。藉助其刪除資料表內容的交易 ID。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
ConcurrentModificationException
ResourceNotReadyException
FederationSourceException
FederationSourceRetryableException
BatchDeleteTable 動作 (Python: batch_delete_table)
一次刪除多個資料表。
注意
完成此操作之後,您就不能再存取屬於已刪除資料表的資料表版本和分割區。 AWS Glue 會根據服務的判斷,以非同步方式即時刪除這些「孤立」資源。
若要確保能夠立即刪除所有相關資源,請在呼叫 BatchDeleteTable
之前,先使用 DeleteTableVersion
或 BatchDeleteTableVersion
,以及 DeletePartition
或 BatchDeletePartition
,來刪除任何屬於資料表的資源。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要刪除的資料表所在目錄資料庫的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
TablesToDelete
– 必要:UTF-8 個字串的陣列,不可超過 100 個字串。要刪除的資料表的清單。
-
TransactionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #43。藉助其刪除資料表內容的交易 ID。
回應
-
Errors
– 一個 TableError 物件陣列。嘗試刪除指定的資料表時發生的錯誤清單。
錯誤
InvalidInputException
EntityNotFoundException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
ResourceNotReadyException
GetTable 動作 (Python:get_table)
擷取 Data Catalog 中指定資料表的 Table
定義。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在目錄的資料庫的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
Name
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要擷取其定義的資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
TransactionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Custom string pattern #43。藉助其讀取資料表內容的交易 ID。
-
QueryAsOfTime
– 時間戳記。讀取資料表內容的時間。如果沒有設定,將使用最近的交易遞交時間。無法連同
TransactionId
一起指定。 -
IncludeStatusDetails
– 布林值。指定是否要包含與建立或更新 AWS Glue Data Catalog 檢視之請求相關的狀態詳細資訊。
回應
-
Table
– 資料表 物件。用於定義指定資料表的
Table
物件。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
ResourceNotReadyException
FederationSourceException
FederationSourceRetryableException
GetTables 動作 (Python:get_tables)
擷取指定的 Database
中的部分或所有資料表的定義。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。目錄的資料表要列出的資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
Expression
– UTF-8 個字串,長度不可超過 2048 個位元組,需符合 Single-line string pattern。規則表達式模式。如果存在,只會傳回名稱符合模式的資料表。
-
NextToken
– UTF-8 字串。接續符記,如果這是接續呼叫,將會包含在內。
-
MaxResults
– 數字 (整數),不可小於 1,也不可以大於 100。在單一回應中可傳回的最大資料表數量。
-
TransactionId
– UTF-8 個字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,且需符合 Custom string pattern #43。藉助其讀取資料表內容的交易 ID。
-
QueryAsOfTime
– 時間戳記。讀取資料表內容的時間。如果沒有設定,將使用最近的交易遞交時間。無法連同
TransactionId
一起指定。 -
IncludeStatusDetails
– 布林值。指定是否要包含與建立或更新 AWS Glue Data Catalog 檢視之請求相關的狀態詳細資訊。
-
AttributesToGet
– UTF-8 個字串的陣列。指定
GetTables
呼叫傳回的資料表欄位。此參數不接受空白清單。請求必須包含NAME
。以下是值的有效組合:
-
NAME
- 資料庫中所有資料表的名稱。 -
NAME
、TABLE_TYPE
- 所有資料表的名稱和資料表類型。
-
回應
-
TableList
– 一個 資料表 物件陣列。要求的
Table
物件的清單。 -
NextToken
– UTF-8 字串。接續字元,如果目前清單區段不是最後一個,將會出現此接續字元。
錯誤
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GlueEncryptionException
FederationSourceException
FederationSourceRetryableException
GetTableVersion 動作 (Python: get_table_version)
擷取指定的資料表版本。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄中的資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
VersionId
– UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要擷取的資料表版本的 ID 值。
VersionID
是一個整數的表示字串。每個版本會增加 1。
回應
-
TableVersion
– TableVersion 物件。要求的資料表版本。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
GetTableVersions 動作 (Python:get_table_versions)
擷取用於識別指定的資料表可用版本的字串清單。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄中的資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
NextToken
– UTF-8 字串。接續符記,如果這不是第一個呼叫。
-
MaxResults
– 數字 (整數),不可小於 1,也不可以大於 100。一次回應傳回的最大資料表版本數量。
回應
-
TableVersions
– 一個 TableVersion 物件陣列。用於識別指定的資料表可用版本的字串清單。
-
NextToken
– UTF-8 字串。接續字元,如果可用版本的清單不包含最後一個可用版本。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
DeleteTableVersion 動作 (Python: delete_table_version)
刪除指定的資料表版本。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄中的資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
VersionId
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要刪除的資料表版本的 ID。
VersionID
是一個整數的表示字串。每個版本會增加 1。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
BatchDeleteTableVersion 動作 (Python: batch_delete_table_version)
刪除指定的資料表版本批次。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的 Data Catalog 的 ID。如果未提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表所在的目錄中的資料庫。為了相容於 Hive,此名稱必須完全小寫。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。資料表的名稱。為了相容於 Hive,此名稱必須完全小寫。
-
VersionIds
– 必要:UTF-8 個字串的陣列,不可超過 100 個字串。要刪除IDs的版本清單。
VersionId
是一個整數的表示字串。每個版本會增加 1。
回應
-
Errors
– 一個 TableVersionError 物件陣列。嘗試刪除指定的資料表版本時發生的錯誤清單。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
SearchTables 動作 (Python: search_tables)
根據資料表中繼資料和父資料庫中的屬性搜尋一組資料表。您可以搜尋文字或篩選條件。
您只能根據在 Lake Formation 中定義的安全政策,取得您有權存取的資料表。您至少需要資料表的唯讀存取權,才能傳回該資料表。如果您無法存取資料表中的所有資料欄,在將資料表清單傳回給您時,將不會搜尋這些資料欄。如果您有權存取資料欄,但無法存取資料欄中的資料,這些資料欄以及其相關中繼資料將包含在搜尋中。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。唯一識別符,由
account_id
組成。 -
NextToken
– UTF-8 字串。接續符記,如果這是接續呼叫,將會包含在內。
-
Filters
– 一個 PropertyPredicate 物件陣列。索引鍵/值組清單,以及用來篩選搜尋結果的比較器。傳回符合述詞的所有實體。
PropertyPredicate
結構的Comparator
成員僅用於時間欄位,並且在其他欄位類型可以省略。此外,在比較字串值時,例如Key=Name
,會使用模糊比對演算法。Key
欄位 (例如,Name
欄位的值) 會將某些標點符號 (例如 -、:、# 等) 分割成標記。然後,每個標記都會與PropertyPredicate
的Value
成員進行完全相符比較。例如,如果Key=Name
和Value=link
,會傳回命名為customer-link
和xx-link-yy
的資料表,但不會傳回xxlinkyy
。 -
SearchText
– 值字串,長度不可小於 1 個位元組或超過 1024 個位元組。用於文字搜尋的字串。
根據與值的完全相符,在引號篩選條件中指定值。
-
SortCriteria
– 一個 SortCriterion 物件陣列,不可超過 1 個結構。用於依資料欄位名稱排序結果的條件清單,按遞增或遞減順序。
-
MaxResults
– 數字 (整數),不可小於 1,也不可以大於 1000。在單一回應中可傳回的最大資料表數量。
-
ResourceShareType
– UTF-8 字串 (有效值:FOREIGN
|ALL
|FEDERATED
)。可讓您指定要搜尋與您帳戶共用的資料表。允許的值為
FOREIGN
或ALL
。-
如果設定為
FOREIGN
,會搜尋與您帳戶共用的資料表。 -
如果設定為
ALL
,會搜尋與您帳戶共用的資料表,以及您本機帳戶中的資料表。
-
-
IncludeStatusDetails
– 布林值。指定是否要包含與建立或更新 AWS Glue Data Catalog 檢視之請求相關的狀態詳細資訊。
回應
-
NextToken
– UTF-8 字串。接續字元,如果目前清單區段不是最後一個,將會出現此接續字元。
-
TableList
– 一個 資料表 物件陣列。要求的
Table
物件的清單。SearchTables
回應只會傳回您有權存取的資料表。
錯誤
InternalServiceException
InvalidInputException
OperationTimeoutException
GetPartitionIndexes 動作 (Python: get_partition_indexes)
擷取與資料表相關聯的分割區索引。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的目錄的 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要從中擷取分割區索引的資料庫名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要擷取分割區索引的資料表名稱。
-
NextToken
– UTF-8 字串。接續符記,如果這是接續呼叫,將會包含在內。
回應
-
PartitionIndexDescriptorList
– 一個 PartitionIndexDescriptor 物件陣列。索引描述元的清單。
-
NextToken
– UTF-8 字串。接續字元,如果目前清單區段不是最後一個,將會出現此接續字元。
錯誤
InternalServiceException
OperationTimeoutException
InvalidInputException
EntityNotFoundException
ConflictException
CreatePartitionIndex 動作 (Python:creat_partition_index)
在現有資料表中建立指定的分割區索引。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的目錄的 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要建立分割區索引的資料庫名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要建立分割區索引的資料表名稱。
-
PartitionIndex
– 必要:PartitionIndex 物件。指定
PartitionIndex
結構,在現有資料表中建立分割區索引。
回應
無回應參數。
錯誤
AlreadyExistsException
InvalidInputException
EntityNotFoundException
ResourceNumberLimitExceededException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
DeletePartitionIndex 動作 (Python: delete_partition_index)
從現有的資料表刪除指定的分割區索引。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。資料表所在的目錄的 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要從中刪除分割區索引的資料庫名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。指定您要從中刪除分割區索引的資料表名稱。
-
IndexName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。要刪除的分割區索引的名稱。
回應
無回應參數。
錯誤
InternalServiceException
OperationTimeoutException
InvalidInputException
EntityNotFoundException
ConflictException
GlueEncryptionException
GetColumnStatisticsForTable 動作 (Python:get_column_statistics_for_table)
擷取欄的資料表統計數字。
此操作所需的 Identity and Access Management (IAM) 許可為 GetTable
。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。有問題分區所在 Data Catalog 的 ID。如果沒有提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區所在的目錄資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區的資料表的名稱。
-
ColumnNames
– 必要:UTF-8 個字串的陣列,不可超過 100 個字串。欄名稱之清單。
回應
-
ColumnStatisticsList
– 一個 ColumnStatistics 物件陣列。的清單 ColumnStatistics。
-
Errors
– 一個 ColumnError 物件陣列。無法擷取 ColumnStatistics 的 清單。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
UpdateColumnStatisticsForTable 動作 (Python: update_column_statistics_for_table)
建立或更新欄的資料表統計數字。
此操作所需的 Identity and Access Management (IAM) 許可為 UpdateTable
。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。有問題分區所在 Data Catalog 的 ID。如果沒有提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區所在的目錄資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區的資料表的名稱。
-
ColumnStatisticsList
– 必要:ColumnStatistics 物件的陣列,不可超過 25 個結構。欄統計數字的清單。
回應
-
Errors
– 一個 ColumnStatisticsError 物件陣列。的清單 ColumnStatisticsErrors。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException
DeleteColumnStatisticsForTable 動作 (Python: delete_column_statistics_for_table)
擷取欄的資料表統計數字。
此操作所需的 Identity and Access Management (IAM) 許可為 DeleteTable
。
請求
-
CatalogId
– 目錄 ID 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合Single-line string pattern。有問題分區所在 Data Catalog 的 ID。如果沒有提供,預設會使用 AWS 帳戶 ID。
-
DatabaseName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區所在的目錄資料庫的名稱。
-
TableName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。分區的資料表的名稱。
-
ColumnName
– 必要:UTF-8 字串,長度不可小於 1 個位元組,也不可以超過 255 個位元組,需符合 Single-line string pattern。欄位的名稱。
回應
無回應參數。
錯誤
EntityNotFoundException
InvalidInputException
InternalServiceException
OperationTimeoutException
GlueEncryptionException