完整性 - AWS Glue

完整性

根据给定表达式检查列中完整（非空）值的百分比。

语法

Completeness <COL_NAME> <EXPRESSION>

  • COL_NAME — 要根据其评估数据质量规则的列的名称。

    支持的列类型：任何列类型

  • EXPRESSION — 针对规则类型响应运行以生成布尔值的表达式。有关更多信息，请参阅 Expressions。

示例：空值百分比

以下示例规则检查列中是否有超过 95% 的值是完整的。

Completeness "First_Name" > 0.95
Completeness "First_Name" > 0.95 where "weightinkgs > 10"

示例动态规则

  • Completeness "colA" between min(last(5)) - 1 and max(last(5)) + 1

  • Completeness "colA" <= avg(last(10))

零值行为

关于 CSV 数据格式的注意事项：CSV 列上的空行可能会显示多种行为。

  • 如果列为 String 类型，则空行将被识别为空字符串，并且不会不通过 Completeness 规则。

  • 如果列属于类似于 Int 的其他数据类型，则空行将被识别为 NULL，并且将不会通过 Completeness 规则。