StandardDeviation - AWS Glue

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

StandardDeviation

Verifica la deviazione standard di tutti i valori di una colonna rispetto a una determinata espressione.

Sintassi

StandardDeviation <COL_NAME> <EXPRESSION>
  • COL_ NAME — Il nome della colonna in base alla quale si desidera valutare la regola di qualità dei dati.

    Tipi di colonna supportati: Byte, Decimal, Double, Float, Integer, Long, Short

  • EXPRESSION— Un'espressione da eseguire sulla risposta del tipo di regola per produrre un valore booleano. Per ulteriori informazioni, consulta Espressioni.

Esempio: deviazione standard

La seguente regola di esempio verifica se la deviazione standard dei valori in una colonna denominata colA è inferiore a un valore specificato.

StandardDeviation "Star_Rating" < 1.5 StandardDeviation "Salary" < 3500 where "Customer_ID < 10"

Regole dinamiche di esempio

  • StandardDeviation "colA" > avg(last(10) + 0.1

  • StandardDeviation "colA" between min(last(10)) - 1 and max(last(10)) + 1

Comportamento nullo

La StandardDeviation regola ignorerà le righe con NULL valori nel calcolo della deviazione standard. Per esempio:

+---+-----------+-----------+ |id |units1 |units2 | +---+-----------+-----------+ |100|0 |0 | |101|null |0 | |102|20 |20 | |103|null |0 | |104|40 |40 | +---+-----------+-----------+

La deviazione standard della colonna non units1 considererà le righe 101 e 103 e risulterà pari a 16,33. La deviazione standard per la colonna units2 risulterà pari a 16.