Uniqueness - AWS Glue

Uniqueness

特定の表現と対応させて、列内にある一意の値の個数を、パーセンテージにより確認します。一意の値とは、1 つのみ存在する値です。

[Syntax] (構文)

Uniqueness <COL_NAME> <EXPRESSION>
  • COL_NAME – データ品質ルールを評価する対象となる列の名前。

    列でサポートされている型: 任意の型

  • EXPRESSION – ルールタイプの応答に対して実行し、論地値を生成するための式。詳細については、「表現」を参照してください。

例: 一意性の割り合い

次のルール例では、列内での一意の値の割合が、特定の数値基準と一致するかどうかを確認します。

Uniqueness "email" = 1.0 Uniqueness "Customer_ID" != 1.0 where "Customer_ID < 10"

動的ルールの例

  • Uniqueness "colA" between min(last(10)) and max(last(10))

  • Uniqueness "colA" >= avg(last(10))