ColumnDataType - AWS Glue

ColumnDataType

特定の列における値の固有のデータ型を、指定の、想定された型と照合します。with threshold 式を承諾し、列内の値のサブセットをチェックします。

[Syntax] (構文)

ColumnDataType <COL_NAME> = <EXPECTED_TYPE>

  • COL_NAME – データ品質ルールを評価する列の名前。

    サポートされている列の型: String 型

    列でサポートされている型: Byte (バイト)、Decimal (十進数)、Double (倍精度浮動小数点数)、Float (浮動小数点数)、Integer (整数)、Long (整数)、Short (整数)

  • EXPECTED_TYPE – 列内の値の予想されるタイプ。

    サポートされている値: Boolean、Date、Timestamp、Integer、Double、Float、Long

    列でサポートされている型: Byte (バイト)、Decimal (十進数)、Double (倍精度浮動小数点数)、Float (浮動小数点数)、Integer (整数)、Long (整数)、Short (整数)

  • EXPRESSION – 期待されるタイプの値の割合を指定するオプションの式。

    列でサポートされている型: Byte (バイト)、Decimal (十進数)、Double (倍精度浮動小数点数)、Float (浮動小数点数)、Integer (整数)、Long (整数)、Short (整数)

例: 文字列としての、列データ型の整数。

次のルール例では、所定の列の値 (string 型) が本当に整数かをチェックします。

ColumnDataType "colA" = "INTEGER"

例: 文字列としての列データ型の整数が、値のサブセットをチェックします。

次のルール例は、所定の列の値 (string 型) の 90% 以上が本当に整数であるかをチェックします。

ColumnDataType "colA" = "INTEGER" with threshold > 0.9