常見資料類型 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

常見資料類型

常見資料類型說明 AWS Glue中的其他常見資料類型。

Tag 結構

Tag對象表示您可以分配給 AWS 資源的標籤。每個標籤皆包含由您定義的一個金鑰與一個選用值。

如需有關標籤和控制資源存取的詳細資訊 AWS Glue,請參閱開發人員指南ARNs中的AWS 標籤 AWS Glue和指定 AWS Glue 資源。

欄位
  • key-UTF -8 個字符串,長度不小於 1 個或大於 128 個字節。

    標籤金鑰。如果要在物件上建立標籤,您必須擁有金鑰。這份金鑰會區分大小寫,而且前綴不可為 aws。

  • value-UTF -8 個字符串,長度不超過 256 個字節。

    標籤值。如果要在物件上建立標籤,這個值為選用性。這個值區分大小寫,而且前綴不可為 aws。

DecimalNumber 結構

包含十進制格式的數值。

欄位
  • UnscaledValue必要:Blob。

    沒有單位的數值。

  • Scale必要:數字 (整數)。

    決定無刻度值內小數點位置的刻度。

ErrorDetail 結構

包含錯誤的詳細資訊。

欄位

PropertyPredicate 結構

定義屬性述詞。

欄位
  • Key – 值字串,長度不可超過 1024 個位元組。

    屬性的金鑰。

  • Value – 值字串,長度不可超過 1024 個位元組。

    屬性的值。

  • Comparator-UTF -8 字符串(有效值:EQUALSGREATER_THAN| LESS_THAN | GREATER_THAN_EQUALS |LESS_THAN_EQUALS)。

    用於將這個屬性與其他屬性比較的比較程式。

ResourceUri 結構

函URIs數資源。

欄位
  • ResourceType-UTF -8 字符串(有效值:JARFILE| |ARCHIVE)。

    資源的類型。

  • Uri – 統一資源識別符 (uri),長度不可小於 1 個位元組,也不可以超過 1024 個位元組,需符合URI address multi-line string pattern

    用URI於存取資源的。

ColumnStatistics 結構

代表資料表或分割區產生的欄層級統計資料。

欄位
  • ColumnName必要:UTF-8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    統計資料所屬的欄名稱。

  • ColumnType必要:輸入名稱,長度不可超過 20000 個位元組,需符合 Single-line string pattern

    欄的資料類型。

  • AnalyzedTime必要:時間戳記。

    欄統計資料產生時的時間戳記。

  • StatisticsData必要:ColumnStatisticsData 物件。

    ColumnStatisticData 物件,其中包含統計資料值。

ColumnStatisticsError 結構

封裝 ColumnStatistics 物件以及失敗原因的詳細資訊。

欄位
  • ColumnStatisticsColumnStatistics 物件。

    欄的 ColumnStatistics

  • ErrorErrorDetail 物件。

    顯示作業失敗原因的錯誤訊息。

ColumnError 結構

封裝失敗的欄名稱和失敗原因。

欄位
  • ColumnName— UTF -8 個字串,長度不小於 1 或超過 255 個位元組,符合Single-line string pattern.

    失敗欄的名稱。

  • ErrorErrorDetail 物件。

    顯示作業失敗原因的錯誤訊息。

ColumnStatisticsData 結構

包含個別類型的欄統計資料。只有一個資料物件應該由 Type 屬性設定與指定。

欄位
  • Type必要項目:UTF-8 字串 (有效值:BOOLEANDATEDECIMAL| DOUBLE | LONG | STRING | |BINARY)。

    欄統計資料的類型。

  • BooleanColumnStatisticsDataBooleanColumnStatisticsData 物件。

    布林資料欄統計資料。

  • DateColumnStatisticsDataDateColumnStatisticsData 物件。

    日期欄統計資料。

  • DecimalColumnStatisticsDataDecimalColumnStatisticsData 物件。

    十進制列統計數據。 UnscaledValues 其中是 Base64 編碼的二進制對象,存儲大端,這是十進制未縮放值的二進制補碼表示。

  • DoubleColumnStatisticsDataDoubleColumnStatisticsData 物件。

    雙欄統計資料。

  • LongColumnStatisticsDataLongColumnStatisticsData 物件。

    長欄統計資料。

  • StringColumnStatisticsDataStringColumnStatisticsData 物件。

    字串欄統計資料。

  • BinaryColumnStatisticsDataBinaryColumnStatisticsData 物件。

    二進位資料行統計資料。

BooleanColumnStatisticsData 結構

定義布林資料欄支援的欄統計資料。

欄位
  • NumberOfTrues必要:數字 (long),不可大於 None (無)。

    欄中的 true 值數目。

  • NumberOfFalses必要:數字 (long),不可大於 None (無)。

    欄中的 false 值數目。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

DateColumnStatisticsData 結構

定義時間戳記資料欄支援的欄統計資料。

欄位
  • MinimumValue – 時間戳記。

    欄中的最低值。

  • MaximumValue – 時間戳記。

    欄中的最高值。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

  • NumberOfDistinctValues必要:數字 (long),不可大於 None (無)。

    欄中相異值的數目。

DecimalColumnStatisticsData 結構

定義固定點數目資料欄支援的欄統計資料。

欄位
  • MinimumValueDecimalNumber 物件。

    欄中的最低值。

  • MaximumValueDecimalNumber 物件。

    欄中的最高值。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

  • NumberOfDistinctValues必要:數字 (long),不可大於 None (無)。

    欄中相異值的數目。

DoubleColumnStatisticsData 結構

定義浮點數資料欄支援的欄統計資料。

欄位
  • MinimumValue – 數字 (雙位數)。

    欄中的最低值。

  • MaximumValue – 數字 (雙位數)。

    欄中的最高值。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

  • NumberOfDistinctValues必要:數字 (long),不可大於 None (無)。

    欄中相異值的數目。

LongColumnStatisticsData 結構

定義整數資料欄支援的欄統計資料。

欄位
  • MinimumValue – 數字 (long)。

    欄中的最低值。

  • MaximumValue – 數字 (long)。

    欄中的最高值。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

  • NumberOfDistinctValues必要:數字 (long),不可大於 None (無)。

    欄中相異值的數目。

StringColumnStatisticsData 結構

定義字元序列資料值支援的欄統計資料。

欄位
  • MaximumLength必要:數字 (long),不可大於 None (無)。

    欄中最長字串的大小。

  • AverageLength必要:數字 (double),不可大於 None (無)。

    欄中的平均字串長度。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

  • NumberOfDistinctValues必要:數字 (long),不可大於 None (無)。

    欄中相異值的數目。

BinaryColumnStatisticsData 結構

定義位元序列資料值支援的欄統計資料。

欄位
  • MaximumLength必要:數字 (long),不可大於 None (無)。

    欄中最長位元序列的大小。

  • AverageLength必要:數字 (double),不可大於 None (無)。

    欄中的平均位元序列長度。

  • NumberOfNulls必要:數字 (long),不可大於 None (無)。

    欄中的 null 值數目。

字串模式

會API使用下列規則運算式來定義各種字串參數和成員的有效內容:

  • 單行字串模式 –「[\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF\t]*

  • URI地址多行字符串模式-"[\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF\r\n\t]*

  • Logstash Grok 字串模式 –「[\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF\r\t]*

  • 識別符字串模式 –「[A-Za-z_][A-Za-z0-9_]*

  • AWSIAMARN字符串模式-「arn:aws:iam::\d{12}:role/.*

  • 版本字串模式 –「^[a-zA-Z0-9-_]+$

  • 日誌群組字串模式 –「[\.\-_/#A-Za-z0-9]+

  • 日誌串流字串模式 –「[^:*]*

  • 自訂字串模式 #10 – "[^\r\n]"

  • 自訂字串模式 #11 – "^arn:aws(-(cn|us-gov|iso(-[bef])?))?:secretsmanager:.*$"

  • 自訂字串模式 #12 – "^(https?)://[-a-zA-Z0-9+&@#/%?=~_|!:,.;]*[-a-zA-Z0-9+&@#/%=~_|]"

  • 自訂字串模式 #13 – "\S+"

  • 自訂字串模式 #14 – "^(https?):\/\/[^\s/$.?#].[^\s]*$"

  • 自訂字串模式 #15 – "^subnet-[a-z0-9]+$"

  • 自訂字串模式 #16 – "[\p{L}\p{N}\p{P}]*"

  • 自訂字串模式 #17 – "[a-f0-9]{8}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{4}-[a-f0-9]{12}"

  • 自訂字串模式 #18 – "[a-zA-Z0-9-_$#.]+"

  • 自訂字串模式 #19 – "^\w+\.\w+\.\w+$"

  • 自訂字串模式 #20 – "^\w+\.\w+$"

  • 自訂字串模式 #21 – "^([2-3]|3[.]9)$"

  • 自訂字串模式 #22 – "arn:(aws|aws-us-gov|aws-cn):glue:.*"

  • 自訂字串模式 #23 – "(^arn:aws:iam::\w{12}:root)"

  • 自訂字串模式 #24 – "^arn:aws(-(cn|us-gov|iso(-[bef])?))?:iam::[0-9]{12}:role/.+"

  • 自訂字串模式 #25 – "arn:aws:kms:.*"

  • 自訂字串模式 #26 – "arn:aws[^:]*:iam::[0-9]*:role/.+"

  • 自訂字串模式 #27 – "[\.\-_A-Za-z0-9]+"

  • 自訂字串模式 #28 – "^s3://([^/]+)/([^/]+/)*([^/]+)$"

  • 自訂字串模式 #29 – ".*"

  • 自訂字串模式 #30 – "^(Sun|Mon|Tue|Wed|Thu|Fri|Sat):([01]?[0-9]|2[0-3])$"

  • 自訂字串模式 #31 – "[a-zA-Z0-9_.-]+"

  • 自訂字串模式 #32 – "[A-Z][A-Za-z\.]+"

  • 自訂字串模式 #33 – ".*\S.*"

  • 自訂字串模式 #34 – "[a-zA-Z0-9-=._/@]+"

  • 自訂字串模式 #35 – "[1-9][0-9]*|[1-9][0-9]*-[1-9][0-9]*"

  • 自訂字串模式 #36 — "[\s\S]*

  • 自訂字串模式 #37 — "([\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF]|[^\S\r\n"'= ;])*

  • 自訂字串模式 #38 — "^[A-Z\_]+$

  • 自訂字串模式 #39 — "^[A-Za-z0-9]+$

  • 自訂字串模式 #40 — "[*A-Za-z0-9_-]*

  • 自訂字串模式 #41 — "([\u0020-\u007E\r\s\n])*

  • 自訂字串模式 #42 — "[A-Za-z0-9_-]*

  • 自訂字串模式 #43 — "([\u0009\u000B\u000C\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF])*

  • 自訂字串模式 #44 — "([\u0020-\uD7FF\uE000-\uFFFD\uD800\uDC00-\uDBFF\uDFFF\s])*

  • 自訂字串模式 #45 — "([^\r\n])*