StandardDeviation - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

StandardDeviation

根据给定表达式检查列中所有值的标准差。

语法

StandardDeviation <COL_NAME> <EXPRESSION>

  • COL_NAME — 要根据其评估数据质量规则的列的名称。

    支持的列类型：字节、十进制、双精度、浮点数、整数、长整数、短整数

  • EXPRESSION — 针对规则类型响应运行以生成布尔值的表达式。有关更多信息，请参阅 Expressions。

示例：标准差

以下示例规则检查名为 colA 的列中值的标准差是否小于指定值。

StandardDeviation "Star_Rating" < 1.5
StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

示例动态规则

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

零值行为

在计算标准差时，StandardDeviation 规则将忽略含有 NULL 值的行。例如：

+---+-----------+-----------+
|id |units1     |units2     |
+---+-----------+-----------+
|100|0          |0          |
|101|null       |0          |
|102|20         |20         |
|103|null       |0          |
|104|40         |40         |
+---+-----------+-----------+

列 units1 的标准差将不考虑第 101 行和第 103 行，结果为 16.33。列 units2 的标准差将为 16。