StandardDeviation - AWS Glue

StandardDeviation

列のすべての値の標準偏差が、特定の表現に適合するかを確認します。

[Syntax] (構文)

StandardDeviation <COL_NAME> <EXPRESSION>

  • COL_NAME – データ品質ルールを評価する対象となる列の名前。

    列でサポートされている型: Byte (バイト)、Decimal (十進数)、Double (倍精度浮動小数点数)、Float (浮動小数点数)、Integer (整数)、Long (整数)、Short (整数)

  • EXPRESSION – ルールタイプの応答に対して実行し、論地値を生成するための式。詳細については、「表現」を参照してください。

例: 標準偏差

次のルール例では、colA という名前の列内の値の標準偏差が、指定された値より小さいかどうかを確認します。

StandardDeviation "Star_Rating" < 1.5
StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

動的ルールの例

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

Null 動作

StandardDeviation ルールは、標準偏差の計算で NULL 値を含む行を無視します。例: 

+---+-----------+-----------+
|id |units1     |units2     |
+---+-----------+-----------+
|100|0          |0          |
|101|null       |0          |
|102|20         |20         |
|103|null       |0          |
|104|40         |40         |
+---+-----------+-----------+

units1 列の標準偏差は行 101 および 103 を対象にせず、結果は 16.33 になります。units2 列の標準偏差は 16 になります。