Classe FillWithMode

A transformação FillWithMode formata uma coluna de acordo com o formato do número de telefone especificado. Você também pode especificar a lógica de desempate, em que alguns dos valores são idênticos. Por exemplo, considere os seguintes dados de entrada: 1 2 2 3 3 4

Um modeType de MINIMUM faz com que FillWithMode retorne 2 como o valor do modo. Se modeType for MAXIMUM, o modo será 3. Para AVERAGE, o modo é 2,5.

Exemplo

from awsglue.context import *
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (105.111, 13.12),
        (1055.123, 13.12),
        (None, 13.12),
        (13.12, 13.12),
        (None, 13.12),
    ],
    ["source_column_1", "source_column_2"],
)

try:
    df_output = data_quality.FillWithMode.apply(
        data_frame=input_df,
        spark_context=sc,
        source_column="source_column_1",
        mode_type="MAXIMUM"
    )
    df_output.show()    
except:
    print("Unexpected Error happened ")
    raise
    

Saída

A saída do código será:

```
+---------------+---------------+
|source_column_1|source_column_2|
+---------------+---------------+
| 105.111| 13.12|
| 1055.123| 13.12|
| 1055.123| 13.12|
| 13.12| 13.12|
| 1055.123| 13.12|
+---------------+---------------+
```

A transformação FillWithMode do módulo “awsglue.data_quality” é aplicada ao DataFrame “input_df”. Ela substitui os valores “null” na coluna source_column_1 pelo valor máximo (“mode_type="maximum"”) dos valores não nulos nessa coluna.

Nesse caso, o valor máximo na coluna source_column_1 é “1055.123”. Portanto, os valores “null” em source_column_1 são substituídos por “1055.123” no DataFrame de saída “df_output”.

Métodos

__call__(spark_context, data_frame, source_column, mode_type)

A transformação FillWithMode formata o caso das cadeias de caracteres em uma coluna.

apply(cls, *args, **kwargs)

Herdado de GlueTransform apply.

name(cls)

Herdado de GlueTransform name.

describeArgs(cls)

Herdado de GlueTransform describeArgs.

describeReturn(cls)

Herdado de GlueTransform describeReturn.

describeTransform(cls)

Herdado de GlueTransform describeTransform.

describeErrors(cls)

Herdado de GlueTransform describeErrors.

describe(cls)

Herdado de GlueTransform describe.