Entropy - AWS Glue

Entropy

列のエントロピー値が、特定の式と一致するかどうかを確認します。エントロピーは、メッセージに含まれる情報のレベルを測定します。エントロピーでは、列内の値に関する特定の確率分布に基づき、値を区別するのに必要なビット数を表します。

[Syntax] (構文)

Entropy <COL_NAME> <EXPRESSION>

  • COL_NAME – データ品質ルールを評価する対象となる列の名前。

    列でサポートされている型: 任意の型

  • EXPRESSION – ルールタイプの応答に対して実行し、論地値を生成するための式。詳細については、「表現」を参照してください。

例: 列のエントロピー

次のルール例では、Feedback という名前の列のエントロピー値が、1 より大きいことを確認します。

Entropy "Star_Rating" > 1
Entropy "First_Name" > 1  where "Customer_ID < 10"

動的ルールの例

  • Entropy "colA" < max(last(10))

  • Entropy "colA" between min(last(10)) and max(last(10))