Completeness - AWS Glue

Completeness

列内の完全な (NULL 以外の) 値を指定された式と照合し、パーセンテージで示します。

[Syntax] (構文)

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME – データ品質ルールを評価する対象となる列の名前。

    列でサポートされている型: 任意の型

  • EXPRESSION – ルールタイプの応答に対して実行し、論地値を生成するための式。詳細については、「表現」を参照してください。

例: NULL 値のパーセンテージ

次のルール例では、列内に完全な値が 95% 以上存在するかどうかをチェックします。

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

動的ルールの例

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

Null 動作

CSV データ形式に関するメモ: CSV 列の空白行は、複数の動作を表示することがあります。

  • 列が String 型の場合、空白行は空の文字列として認識され、Completeness ルールを満たします。

  • 列が Int のような別のデータ型の場合、空白行は NULL として認識され、Completeness ルールを満たしません。