StandardDeviation - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

StandardDeviation

Comprueba la desviación estándar de todos los valores de una columna con respecto a una expresión determinada.

Sintaxis

StandardDeviation <COL_NAME> <EXPRESSION>
  • COL_NAME: el nombre de la columna con la que quiere evaluar la regla de la calidad de los datos.

    Tipos de columnas compatibles: byte, decimal, doble, flotante, entero, largo, corto

  • EXPRESSION: una expresión que se ejecuta en función de la respuesta del tipo de regla para producir un valor booleano. Para obtener más información, consulte Expressions.

Ejemplo: desviación estándar

La siguiente regla de ejemplo comprueba si la desviación estándar de los valores de una columna denominada colA es inferior a un valor especificado.

StandardDeviation "Star_Rating" < 1.5 StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

Muestra de reglas dinámicas

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

Comportamiento nulo

La regla StandardDeviation ignorará las filas con valores NULL al momento de calcular la desviación estándar. Por ejemplo:

+---+-----------+-----------+ |id |units1 |units2 | +---+-----------+-----------+ |100|0 |0 | |101|null |0 | |102|20 |20 | |103|null |0 | |104|40 |40 | +---+-----------+-----------+

La desviación estándar de la columna units1 no tendrá en cuenta las filas 101 y 103 y su resultado será 16.33. La desviación estándar de la columna units2 dará como resultado 16.