Transforma los datos

Amazon SageMaker Data Wrangler ofrece numerosas transformaciones de datos de aprendizaje automático para agilizar la limpieza y la caracterización de los datos. Con las herramientas interactivas de preparación de datos de Data Wrangler, puede muestrear conjuntos de datos de cualquier tamaño con diversas técnicas de muestreo y empezar a explorar los datos en cuestión de minutos. Después de finalizar las transformaciones de datos en los datos muestreados, puede escalar el flujo de datos para aplicar esas transformaciones a todo el conjunto de datos.

Cuando agrega una transformación, agrega un paso al flujo de datos. Cada transformación que añada modifica su conjunto de datos y produce un nuevo marco de datos. Todas las transformaciones posteriores se aplican al marco de datos resultante.

Data Wrangler incluye transformaciones integradas, que puede utilizar para transformar columnas sin necesidad de código. Si sabe cómo quiere preparar sus datos, pero no sabe cómo empezar o qué transformaciones utilizar, puede utilizar la función de chat para preparar los datos para interactuar conversacionalmente con Data Wrangler y aplicar las transformaciones utilizando un lenguaje natural. Para obtener más información, consulte Chatea para preparar los datos.

También puede añadir transformaciones personalizadas mediante PySpark Python (función definida por el usuario), pandas y. PySpark SQL Algunas transformaciones funcionan “in situ”, mientras que otras crean una nueva columna de salida en el conjunto de datos.

Puede aplicar transformaciones a varias columnas a la vez. Por ejemplo, puede eliminar varias columnas en un solo paso.

Puede aplicar las transformaciones numéricas del proceso y gestionar las transformaciones faltantes solo a una columna.

Utilice esta página para obtener más información sobre las transformaciones integradas y personalizadas que ofrece Data Wrangler.

Unir conjuntos de datos

Puede unir conjuntos de datos directamente en su flujo de datos. Al unir dos conjuntos de datos, el conjunto de datos unido resultante aparece en el flujo. Data Wrangler admite los siguientes tipos de unión.

Utilice el siguiente procedimiento para unir dos conjuntos de datos. Ya debería haber importado dos fuentes de datos a su flujo de datos.

Ahora debería ver un nodo de unión agregado a su flujo de datos.

Concatenar conjuntos de datos

La concatenación combina dos conjuntos de datos añadiendo las filas de un conjunto de datos a otro.

Utilice el siguiente procedimiento para concatenar dos conjuntos de datos. Ya debería haber importado dos fuentes de datos a su flujo de datos.

Ahora debería ver un nodo concatenado agregado a su flujo de datos.

Equilibrar los datos

Puede equilibrar los datos de los conjuntos de datos con una categoría infrarrepresentada. Equilibrar un conjunto de datos puede ayudarle a crear mejores modelos para la clasificación binaria.

Puede utilizar la operación Equilibrar datos para equilibrar los datos mediante uno de los siguientes operadores.

Puede usar todas las transformaciones para conjuntos de datos que contengan características numéricas y no numéricas. SMOTEinterpola valores mediante muestras vecinas. Data Wrangler utiliza la distancia R cuadrada para determinar la vecindad e interpolar las muestras adicionales. Data Wrangler solo usa características numéricas para calcular las distancias entre las muestras del grupo subrepresentado.

Para dos muestras reales del grupo subrepresentado, Data Wrangler interpola las características numéricas mediante un promedio ponderado. Asigna ponderaciones de forma aleatoria a las muestras en el rango de [0, 1]. Para las características numéricas, Data Wrangler interpola las muestras utilizando un promedio ponderado de las muestras. Para las muestras A y B, Data Wrangler podría asignar aleatoriamente una ponderación de 0,7 a A y 0,3 a B. La muestra interpolada tiene un valor de 0,7A + 0,3B.

Data Wrangler interpola las características no numéricas copiándolas de cualquiera de las muestras reales interpoladas. Copie las muestras con una probabilidad que asigna aleatoriamente a cada muestra. Para las muestras A y B, puede asignar probabilidades de 0,8 a A y 0,2 a B. Para las probabilidades que asignó, copia A el 80% del tiempo.

Transformaciones personalizadas

El grupo Transformaciones personalizadas le permite usar Python (función definida por el usuario) PySpark, pandas o PySpark (SQL) para definir transformaciones personalizadas. En las tres opciones, utilice la variable df para acceder al marco de datos al que desee aplicar la transformación. Para aplicar el código personalizado en el marco de datos, asigne el marco de datos a las transformaciones que ha realizado a la variable df. Si no utiliza Python (función definida por el usuario), no es necesario incluir una declaración de retorno. Seleccione Vista previa para obtener una vista previa del resultado de la transformación personalizada. Seleccione Agregar para añadir la transformación personalizada a la lista de Pasos anteriores.

Puede importar las bibliotecas más populares con una instrucción import en el bloque de código de transformación personalizada, como la siguiente:

df.rename(columns={"A column": "A_column", "B column": "B_column"})

Si incluye instrucciones de impresión en el bloque de código, el resultado aparece al seleccionar Vista previa. Puede cambiar el tamaño del panel del transformador de código personalizado. Al cambiar el tamaño del panel, se proporciona más espacio para escribir código.

Las siguientes secciones proporcionan contexto adicional y ejemplos para escribir código de transformación personalizado.

Python (función definida por el usuario)

La función Python le permite escribir transformaciones personalizadas sin necesidad de conocer Apache Spark o pandas. Data Wrangler está optimizado para ejecutar su código personalizado rápidamente. Obtiene un rendimiento similar con el código Python personalizado y un complemento de Apache Spark.

Para usar el bloque de código Python (función definida por el usuario), especifique lo siguiente.

El uso del modo pandas ofrece un mejor rendimiento. El modo Python facilita la escritura de transformaciones mediante el uso de funciones puras de Python.

PySpark

El siguiente ejemplo extrae la fecha y la hora de una marca de tiempo.

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

El siguiente ejemplo proporciona una descripción general del marco de datos al que se van a añadir las transformaciones.

df.info()

PySpark (SQL)

El siguiente ejemplo crea un nuevo marco de datos con cuatro columnas: name, fare, pclass y survived.

SELECT name, fare, pclass, survived FROM df

Si no sabes cómo usarlo PySpark, puedes usar fragmentos de código personalizados para ayudarte a empezar.

Data Wrangler tiene una colección de fragmentos de código con capacidad de búsqueda. Puedes usar fragmentos de código para realizar tareas como colocar columnas, agrupar por columnas o modelar.

Para usar un fragmento de código, seleccione Buscar fragmentos de ejemplo y especifique una consulta en la barra de búsqueda. El texto que especifique en la consulta no tiene por qué coincidir exactamente con el nombre del fragmento de código.

En el siguiente ejemplo, se muestra un fragmento de código Descartar filas duplicadas que puede eliminar filas con datos similares del conjunto de datos. Para encontrar el fragmento de código, busque una de las siguientes opciones:

El siguiente fragmento contiene comentarios que le ayudarán a comprender los cambios que debe realizar. Para la mayoría de los fragmentos, debe especificar los nombres de las columnas del conjunto de datos en el código.

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

Para usar un fragmento, copie y pegue su contenido en el campo Transformación personalizada. Puede copiar y pegar varios fragmentos de código en el campo de transformación personalizada.

Fórmula personalizada

Usa una fórmula personalizada para definir una nueva columna usando una SQL expresión de Spark para consultar datos en el marco de datos actual. La consulta debe usar las convenciones de las expresiones de SparkSQL.

df.rename(columns={"A column": "A_column", "B column": "B_column"})

Puede utilizar esta transformación para realizar operaciones en las columnas, y puede hacer referencia a las columnas por su nombre. Por ejemplo, supongamos que el marco de datos actual contiene columnas denominadas col_a y col_b; puede utilizar la siguiente operación para generar una columna de salida que sea el producto de estas dos columnas con el siguiente código:

col_a * col_b

Otras operaciones comunes son las siguientes, suponiendo que el marco de datos contenga columnas col_a y col_b:

Para obtener más información, consulte la documentación de Spark sobre la selección de datos.

Reducir la dimensionalidad dentro de un conjunto de datos

Reduzca la dimensionalidad de sus datos mediante el análisis de componentes principales ()PCA. La dimensionalidad de su conjunto de datos depende de la cantidad de características. Cuando utiliza la reducción de dimensionalidad en Data Wrangler, obtiene un nuevo conjunto de características denominados componentes. Cada componente tiene en cuenta cierta variabilidad en los datos.

El primer componente representa la mayor cantidad de variación en los datos. El segundo componente representa la segunda mayor cantidad de variación en los datos, y así sucesivamente.

Puede utilizar la reducción de dimensionalidad para reducir el tamaño de los conjuntos de datos que utiliza para entrenar los modelos. En lugar de utilizar las características en su conjunto de datos, puede utilizar los componentes principales.

Para elloPCA, Data Wrangler crea ejes para sus datos. Un eje es una combinación afín de columnas en su conjunto de datos. El primer componente principal es el valor del eje que tiene la mayor cantidad de varianza. El segundo componente principal es el valor del eje que tiene la segunda mayor cantidad de varianza. El enésimo componente principal es el valor del eje que tiene la enésima cantidad de varianza más alta.

Puede configurar el número de componentes principales que devuelve Data Wrangler. Puede especificar el número de componentes principales directamente o puede especificar el porcentaje del umbral de varianza. Cada componente principal explica una cantidad de varianza en los datos. Por ejemplo, podría tener un componente principal con un valor de 0,5. El componente explicaría el 50 % de la variación de los datos. Al especificar un porcentaje umbral de varianza, Data Wrangler devuelve el menor número de componentes posible que cumple con el porcentaje que especifique.

A continuación, se muestran ejemplos de componentes principales con la cantidad de varianza que explican en los datos.

Si especifica un porcentaje de umbral de varianza de 94 o 95, Data Wrangler devuelve el componente 1 y el componente 2. Si especifica un porcentaje de umbral de varianza de 96, Data Wrangler devuelve los tres componentes principales.

Puede usar el siguiente procedimiento para ejecutarlo PCA en su conjunto de datos.

Codificar categóricos

Los datos categóricos suelen estar compuestos por un número finito de categorías, donde cada categoría se representa con una cadena. Por ejemplo, si tiene una tabla de datos de clientes, una columna que indica el país en el que vive una persona es categórica. Las categorías serían Afganistán, Albania, Argelia, etc. Los datos categóricos pueden ser nominales u ordinales. Las categorías ordinales tienen un orden inherente, pero las categorías nominales no. El grado de educación más alto obtenido (bachillerato, licenciatura, máster, etc.) es un ejemplo de categorías ordinales.

La codificación de datos categóricos es el proceso de crear una representación numérica de las categorías. Por ejemplo, si sus categorías son Perro y Gato, puede codificar esta información en dos vectores: [1,0] para representar a Perro y [0,1] para representar a Gato.

Al codificar categorías ordinales, es posible que necesite traducir el orden natural de las categorías a su codificación. Por ejemplo, puede representar el grado más alto obtenido con el siguiente mapa: {"High school": 1, "Bachelors": 2, "Masters":3}.

Utilice la codificación categórica para codificar datos categóricos en formato de cadena en matrices de enteros.

Los codificadores categóricos de Data Wrangler crean codificaciones para todas las categorías que existen en una columna en el momento en que se define el paso. Si se han agregado nuevas categorías a una columna al iniciar un trabajo de Data Wrangler para procesar el conjunto de datos en el momento t y esa columna era la entrada para una transformación de codificación categórica de Data Wrangler en el momento t-1, esas nuevas categorías se consideran ausentes en el trabajo de Data Wrangler. La opción que seleccione para estrategia de gestión no válida se aplica a estos valores que faltan. Algunos ejemplos de situaciones en las que esto puede ocurrir:

En estas situaciones, estas nuevas categorías se consideran valores ausentes en el trabajo de Data Wrangler.

Puede elegir y configurar una codificación ordinal y una codificación One-Hot. Utilice las siguientes secciones para obtener más información sobre estas opciones.

Ambas transformaciones crean una nueva columna llamada Nombre de columna de salida. El formato de salida de esta columna se especifica con Estilo de salida:

Codificación ordinal

Seleccione Codificación ordinal para codificar las categorías en un número entero entre 0 y el número total de categorías de la columna de entrada que seleccione.

Estrategia de administración no válida: seleccione un método para gestionar los valores no válidos o ausentes.

Codificación One-Hot

Seleccione Codificación One-Hot para que Transform utilice la codificación One-Hot. Para configurar esta transformación, haga lo siguiente:

Codificación por similitud

Utilice la codificación por similitud cuando tenga lo siguiente:

El codificador por similitud crea incrustaciones para columnas con datos categóricos. Una integración es una asignación de objetos discretos, como palabras, a vectores de números reales. Codifica cadenas similares a vectores que contienen valores similares. Por ejemplo, crea codificaciones muy similares para “California” y “Calfornia”.

Data Wrangler convierte cada categoría de su conjunto de datos en un conjunto de tokens mediante un tokenizador de 3 gramos. Convierte los tokens en una incrustación mediante la codificación MinHash.

Características de las codificaciones por similitud que crea Data Wrangler:

Por las razones anteriores, la codificación por similitud es más versátil que la codificación centralizada.

Para agregar la transformación de codificación por similitud en su conjunto de datos, utilice el siguiente procedimiento.

Caracterización del texto

Utilice el grupo de transformaciones Caracterizar texto para inspeccionar las columnas de tipo cadena y utilizar la incrustación de texto a fin de caracterizar estas columnas.

Este grupo de características contiene dos características: Estadísticas de caracteres y Vectorizar. Utilice las siguientes secciones para obtener más información sobre estas transformaciones. Para ambas opciones, la columna de entrada debe contener datos de texto (tipo cadena).

Estadísticas de caracteres

Utilice Estadísticas de caracteres para generar estadísticas para cada fila de una columna que contenga datos de texto.

Esta transformación calcula las siguientes proporciones y recuentos para cada fila y crea una nueva columna para informar del resultado. La nueva columna recibe el nombre de la columna de entrada como prefijo y un sufijo específico de la proporción o el recuento.

Vectorizar

La incrustación de texto implica asignar palabras o frases de un vocabulario a vectores de números reales. Utilice la transformación de incrustación de texto de Data Wrangler para tokenizar y vectorizar los datos de texto en vectores de frecuencia terminológica o frecuencia inversa de documentos (TF-). IDF

Cuando IDF se calcula TF- para una columna de datos de texto, cada palabra de cada oración se convierte en un número real que representa su importancia semántica. Los números más altos se asocian a palabras menos frecuentes, que suelen ser más significativas.

Al definir un paso de transformación vectorial, Data Wrangler utiliza los datos de su conjunto de datos para definir el vectorizador de recuento y los métodos TF-. IDF Al ejecutar un trabajo de Data Wrangler, se utilizan estos mismos métodos.

Para usar esta transformación, configure lo siguiente:

Transformar series temporales

En Data Wrangler puede transformar datos de serie temporal. Los valores de un conjunto de datos de series temporales están indexados en función de un tiempo específico. Por ejemplo, un conjunto de datos que muestra el número de clientes en una tienda por cada hora del día es un conjunto de datos de series temporales. En la siguiente tabla, se muestra un ejemplo de un conjunto de datos de series temporales.

Número de clientes por hora en una tienda

En la tabla anterior, la columna Número de clientes contiene los datos de serie temporal. Los datos de serie temporal se indexan en función de los datos horarios de la columna Hora.

Es posible que necesite realizar una serie de transformaciones en los datos para ponerlos en un formato que pueda utilizar en el análisis. Utilice el grupo de transformaciones Series temporales para transformar los datos de series temporales. Para obtener más información acerca de las transformaciones que puede realizar, consulte las siguientes secciones.

Agrupación por serie temporal

Puede utilizar el agrupamiento por operación para agrupar los datos de series temporales para valores específicos de una columna.

Por ejemplo, tiene la siguiente tabla que registra el consumo medio diario de electricidad en un domicilio.

Consumo medio diario de electricidad en un domicilio

Si elige agrupar por ID, obtendrá la siguiente tabla.

El consumo de electricidad se agrupa por ID de domicilio

Cada entrada de la secuencia de series temporales está ordenada por la marca de tiempo correspondiente. El primer elemento de la secuencia corresponde a la primera marca de tiempo de la serie. Para household_0, 30 es el primer valor de la Serie de consumo de electricidad. El valor de 30 corresponde a la primera marca de tiempo de 1/1/2020.

Puede incluir la marca de tiempo inicial y la marca de tiempo final. En la siguiente tabla, se muestra cómo aparece esa información.

El consumo de electricidad se agrupa por ID de domicilio

Puede utilizar el siguiente procedimiento para agrupar por una columna de series temporales.

Remuestreo de datos de series temporales

Los datos de series temporales suelen contener observaciones que no se toman a intervalos regulares. Por ejemplo, un conjunto de datos puede tener algunas observaciones que se registran cada hora y otras observaciones que se registran cada dos horas.

Muchos análisis, como los algoritmos de pronóstico, requieren que las observaciones se realicen a intervalos regulares. El remuestreo le permite establecer intervalos regulares para las observaciones de su conjunto de datos.

Puede aumentar o reducir el muestreo de una serie temporal. La reducción del muestreo aumenta el intervalo entre las observaciones del conjunto de datos. Por ejemplo, si reduce el muestreo de las observaciones que se realizan cada hora o cada dos horas, cada observación del conjunto de datos se realiza cada dos horas. Las observaciones horarias se agregan en un único valor mediante un método de agregación, como la media o la mediana.

El aumento del muestreo reduce el intervalo entre las observaciones del conjunto de datos. Por ejemplo, si aumenta el muestreo de las observaciones que se toman cada dos horas para convertirlas en observaciones por hora, puede usar un método de interpolación para inferir las observaciones por hora a partir de las que se han realizado cada dos horas. Para obtener información sobre los métodos de interpolación, consulte pandas. DataFrame.interpolar.

Puede volver a muestrear datos numéricos y no numéricos.

Utilice la operación Remuestreo para volver a muestrear los datos de series temporales. Si tiene varias series temporales en su conjunto de datos, Data Wrangler estandariza el intervalo de tiempo para cada serie temporal.

En la siguiente tabla, se muestra un ejemplo de reducción del muestreo de datos de series temporales utilizando la media como método de agregación. Los datos del muestreo se reducen de cada dos horas a cada hora.

Lecturas de temperatura por hora durante un día antes de la reducción de muestreo

Las lecturas de temperatura se redujeron a cada dos horas

Puede utilizar el siguiente procedimiento para volver a muestrear datos de serie temporal.

Gestión de datos ausentes de series temporales

Si faltan valores en el conjunto de datos, puede elegir una de las siguientes opciones:

La imputación de un valor faltante implica reemplazar los datos especificando un valor o utilizando un método inferencial. Estos son los métodos que puede utilizar para la imputación.

Es posible que algunos de los métodos de imputación no puedan imputar todo el valor que falta en el conjunto de datos. Por ejemplo, Rellenar hacia delante no puede imputar un valor faltante que aparezca al principio de la serie temporal. Puede imputar los valores utilizando un relleno hacia delante o hacia atrás.

Puede imputar los valores faltantes en una celda o en una columna.

En el siguiente ejemplo, se muestra cómo se imputan los valores dentro de una celda.

Consumo de electricidad con valores faltantes

Consumo de electricidad con valores imputados mediante un relleno hacia delante

En el siguiente ejemplo, se muestra cómo se imputan los valores dentro de una columna.

Consumo medio diario de electricidad de un domicilio con valores faltantes

Consumo medio diario de electricidad en un domicilio, con valores imputados mediante un relleno hacia delante

Puede utilizar el siguiente procedimiento para gestionar los valores que faltan.

Validar la marca de tiempo de sus datos de series temporales

Es posible que tenga datos de marca de tiempo que no sean válidos. Puede usar la función Validar marca de tiempo para determinar si las marcas de tiempo de su conjunto de datos son válidas. La marca de tiempo puede no ser válida por uno o varios de los motivos siguientes:

Si tiene marcas de tiempo no válidas en su conjunto de datos, no podrá realizar el análisis correctamente. Puede usar Data Wrangler para identificar las marcas de tiempo no válidas y saber dónde debe limpiar sus datos.

La validación de series temporales funciona de dos maneras:

Puede configurar Data Wrangler para realizar una de las siguientes acciones si encuentra valores faltantes en el conjunto de datos:

Puede validar las marcas de tiempo en las columnas del tipo timestamp o string. Si la columna tiene el tipo string, Data Wrangler convierte el tipo de columna a timestamp y realiza la validación.

Puede utilizar el siguiente procedimiento para validar las marcas de tiempo de su conjunto de datos.

Estandarizar la longitud de las series temporales

Si tiene datos de series temporales almacenados como matrices, puede estandarizar cada serie temporal con la misma longitud. La estandarización de la longitud de la matriz de series temporales podría facilitar la realización del análisis de los datos.

Puede estandarizar las series temporales para las transformaciones de datos que requieren que la longitud de los datos sea fija.

Muchos algoritmos de ML requieren que aplane los datos de las series temporales antes de usarlos. Aplanar los datos de series temporales consiste en separar cada valor de la serie temporal en su propia columna de un conjunto de datos. El número de columnas de un conjunto de datos no puede cambiar, por lo que es necesario estandarizar las longitudes de las series temporales antes de aplanar cada matriz en un conjunto de características.

Cada serie temporal se establece de acuerdo con la longitud que se especifique como cuantil o percentil del conjunto de series temporales. Por ejemplo, puede tener tres secuencias que tengan las siguientes longitudes:

Puede establecer la longitud de todas las secuencias como la longitud de la secuencia que tenga la longitud del percentil número 50.

A las matrices de series temporales que son más cortas que la longitud que especificó se les agregan los valores faltantes. Lo que sigue es un ejemplo de formato de estandarización de la serie temporal a una longitud mayor: [2, 4, 5, NaN, NaN].

Puede utilizar diferentes métodos para gestionar los valores faltantes. Para obtener más información sobre estos métodos, consulte Gestión de datos ausentes de series temporales.

Las matrices de series temporales que son más largas que la longitud especificada se truncan.

Puede utilizar el siguiente procedimiento para estandarizar la longitud de la serie temporal.

Extracción de características a partir de datos de series temporales

Si está ejecutando un algoritmo de clasificación o regresión en los datos de series temporales, le recomendamos que extraiga las características de las series temporales antes de ejecutar el algoritmo. La extracción de características podría mejorar el rendimiento del algoritmo.

Utilice las siguientes opciones para elegir cómo desea extraer las características de los datos:

Utilice el siguiente procedimiento para extraer características de los datos de series temporales.

Uso de características desfasadas en los datos de series temporales

En muchos casos de uso, la mejor manera de predecir el comportamiento futuro de una serie temporal es usar su comportamiento más reciente.

Los usos más comunes de las características desfasadas son los siguientes:

Crear un rango de fecha y hora en su serie temporal

Es posible que tenga datos de series temporales que no tengan marcas de tiempo. Si sabe que las observaciones se realizaron a intervalos regulares, puede generar marcas temporales para las series temporales en una columna independiente. Para generar marcas de tiempo, especifique el valor de la marca de tiempo de inicio y la frecuencia de las marcas de tiempo.

Por ejemplo, puede tener los siguientes datos de series temporales para el número de clientes de un restaurante.

Datos de series temporales sobre el número de clientes de un restaurante

Si sabe que el restaurante abre a las 17:00 y que las observaciones se realizan cada hora, puede añadir una columna de fecha y hora que corresponda a los datos de la serie temporal. Puede consultar la columna de marca de tiempo en la siguiente tabla.

Datos de series temporales sobre el número de clientes de un restaurante

Utilice el siguiente procedimiento para agregar un rango de fechas y horas a los datos.

Uso de periodos móviles en series temporales

Puede extraer características a lo largo de un periodo de tiempo. Por ejemplo, para el tiempo t (con una longitud de periodo temporal de 3), para la fila que indica la marca temporal número t, agregamos las características que se extraen de la serie temporal en los momentos t - 3, t -2 y t - 1. Para obtener información sobre la extracción de características, consulte Extracción de características a partir de datos de series temporales.

Puede utilizar el siguiente procedimiento para extraer características durante un periodo de tiempo.

Caracterizar la fecha y la hora

Utilice Caracterizar fecha/hora para crear una incrustación vectorial que represente un campo de fecha y hora. Para utilizar esta transformación, los datos de fecha y hora deben estar en uno de los siguientes formatos.

Puede elegir Inferir el formato de fecha y hora y proporcionar un Formato de fecha y hora. Si proporciona un formato de fecha y hora, debe usar los códigos descritos en la documentación de Python. Las opciones que seleccione para estas dos configuraciones tienen implicaciones en la velocidad de la operación y en los resultados finales.

Al utilizar esta transformación, se especifica una columna de entrada que contiene datos de fecha y hora en uno de los formatos enumerados anteriormente. La transformación crea una columna de salida denominada Nombre de columna de salida. El formato de la columna de salida depende de que la configuración use lo siguiente.

Además, debe elegir un Modo de incrustación. Para los modelos lineales y las redes profundas, se recomienda elegir el cíclico. Para los algoritmos basados en árboles, recomendamos elegir ordinal.

Formatear cadena

Las transformaciones Formatear cadena contienen operaciones de formato de cadenas estándar. Por ejemplo, puede utilizar estas operaciones para eliminar caracteres especiales, normalizar la longitud de las cadenas y actualizar las mayúsculas y minúsculas de las cadenas.

Este grupo de características contiene las siguientes transformaciones. Todas las transformaciones devuelven copias de las cadenas de la columna de entrada y añaden el resultado a una nueva columna de salida.

Gestionar valores atípicos

Los modelos de machine learning son sensibles a la distribución y el rango de los valores de sus características. Los valores atípicos, o valores poco frecuentes, pueden afectar negativamente a la precisión del modelo y provocar tiempos de entrenamiento más prolongados. Utilice este grupo de características para detectar y actualizar los valores atípicos en su conjunto de datos.

Al definir un paso de transformación Gestionar valores atípicos, las estadísticas utilizadas para detectar valores atípicos se generan a partir de los datos disponibles en Data Wrangler al definir este paso. Estas mismas estadísticas se utilizan cuando se ejecuta un trabajo de Data Wrangler.

Utilice las siguientes secciones para obtener más información sobre las transformaciones que contiene este grupo. Usted especifica un nombre de salida y cada una de estas transformaciones genera una columna de salida con los datos resultantes.

Valores atípicos de desviación estándar sólida

Esta transformación detecta y corrige los valores atípicos en las características numéricas mediante estadísticas resistentes a valores atípicos.

Debe definir un cuantil superior y un cuantil inferior para las estadísticas utilizadas para calcular los valores atípicos. También debe especificar el número de desviaciones estándar desde las que un valor debe variar de la media para que se considere un valor atípico. Por ejemplo, si especifica 3 para Desviaciones estándar, un valor debe estar a más de 3 desviaciones estándar de la media para que se considere un valor atípico.

El Método de resolución es el método que se utiliza para gestionar los valores atípicos cuando se detectan. Puede elegir entre las siguientes opciones:

Valores atípicos de desviación estándar

Esta transformación detecta y corrige los valores atípicos en las características numéricas mediante la media y la desviación estándar.

Usted especifica el número de desviaciones estándar que debe separar a un valor de la media para que se considere un valor atípico. Por ejemplo, si especifica 3 para Desviaciones estándar, un valor debe estar a más de 3 desviaciones estándar de la media para que se considere un valor atípico.

El Método de resolución es el método que se utiliza para gestionar los valores atípicos cuando se detectan. Puede elegir entre las siguientes opciones:

Valores atípicos numéricos cuantiles

Utilice esta transformación para detectar y corregir valores atípicos en entidades numéricas mediante cuantiles. Puede definir un cuantil superior y un cuantil inferior. Todos los valores que están por encima del cuantil superior o por debajo del cuantil inferior se consideran valores atípicos.

El Método de resolución es el método que se utiliza para gestionar los valores atípicos cuando se detectan. Puede elegir entre las siguientes opciones:

Valores atípicos numéricos mínimos y máximos

Esta transformación detecta y corrige los valores atípicos en las características numéricas mediante un umbral superior e inferior. Utilice este método si conoce los valores límite que marcan los valores atípicos.

Debe especificar un umbral superior y un umbral inferior; si los valores están por encima o por debajo de esos umbrales, respectivamente, se consideran valores atípicos.

El Método de resolución es el método que se utiliza para gestionar los valores atípicos cuando se detectan. Puede elegir entre las siguientes opciones:

Sustituir poco frecuentes

Cuando utiliza la transformación Sustituir poco frecuentes, especifica un umbral; Data Wrangler busca todos los valores que lo cumplen y los reemplaza por la cadena que haya especificado. Por ejemplo, es posible que desee utilizar esta transformación para clasificar todos los valores atípicos de una columna en la categoría “Otros”.

Gestión de valores que faltan

Los valores faltantes son frecuentes en los conjuntos de datos de machine learning. En algunas situaciones, es apropiado imputar los datos faltantes a un valor calculado, como un valor promedio o categóricamente común. Puede procesar los valores faltantes mediante el grupo de transformaciones Gestión de valores que faltan. Este grupo de características contiene las siguientes transformaciones.

Rellenar faltantes

Use la transformación Rellenar faltantes para reemplazar los valores faltantes por un valor de relleno que usted defina.

Imputar faltantes

Utilice la transformación Imputar faltantes para crear una nueva columna que contenga valores imputados donde se encontraron valores faltantes en los datos numéricos y categóricos de entrada. La configuración depende del tipo de datos.

Para los datos numéricos, elija una estrategia de imputación: la estrategia utilizada para determinar el nuevo valor que se va a imputar. Puede optar por imputar la media o la mediana a los valores que están presentes en su conjunto de datos. Data Wrangler usa el valor que calcula para imputar los valores faltantes.

Para los datos categóricos, Data Wrangler imputa los valores faltantes utilizando el valor más frecuente de la columna. Para imputar una cadena personalizada, use la transformación Rellenar faltantes.

Agregar indicador de faltante

Utilice la transformación Agregar indicador de faltante para crear una nueva columna indicadora que contenga un booleano "false" si una fila contiene un valor o un booleano "true" si una fila contiene un valor faltante.

Descartar faltantes

Utilice la opción Descartar faltantes para descartar las filas que contienen valores faltantes en la columna de entrada.

Administrar columnas

Puede usar las siguientes transformaciones para actualizar y administrar rápidamente las columnas de su conjunto de datos:

Administrar filas

Utilice este grupo de transformación para realizar rápidamente operaciones de ordenación y mezcla de filas. Este grupo contiene lo siguiente:

Administrar vectores

Utilice este grupo de transformación para combinar o aplanar columnas vectoriales. Este grupo de características contiene las siguientes transformaciones.

Procesar numéricos

Utilice el grupo de características Procesar numéricos para procesar datos numéricos. Cada valor escalar de este grupo se define mediante la biblioteca Spark. Se admiten los siguientes valores escalares:

Muestreo

Después de importar los datos, puede usar el transformador de muestreo para tomar una o más muestras de los mismos. Cuando usa el transformador de muestreo, Data Wrangler toma muestras de su conjunto de datos original.

Puede usar uno de los métodos de muestreo siguientes.

Puede estratificar una muestra aleatoria para asegurarse de que representa la distribución original del conjunto de datos.

Es posible que esté preparando datos para varios casos de uso. Para cada caso de uso, puede tomar una muestra diferente y aplicar un conjunto diferente de transformaciones.

El siguiente procedimiento describe el proceso de creación de una muestra aleatoria.

El siguiente procedimiento describe el proceso de creación de una muestra estratificada.

Buscar y editar

Utilice esta sección para buscar y editar patrones específicos dentro de las cadenas. Por ejemplo, puede buscar y actualizar cadenas dentro de oraciones o documentos, dividir cadenas por delimitadores y buscar las apariciones de cadenas específicas.

Las siguientes transformaciones se admiten en Buscar y editar. Todas las transformaciones devuelven copias de las cadenas de la columna de entrada y añaden el resultado a una nueva columna de salida.

Dividir datos

Use la transformación Dividir datos para dividir el conjunto de datos en dos o tres conjuntos de datos. Por ejemplo, puede dividir el conjunto de datos en un conjunto de datos que se utilice para entrenar el modelo y un conjunto de datos que se utilice para probarlo. Puede determinar la proporción del conjunto de datos que se incluye en cada división. Por ejemplo, si está dividiendo un conjunto de datos en dos conjuntos de datos, el conjunto de datos de entrenamiento puede contener el 80 % de los datos, mientras que el conjunto de datos de prueba tiene el 20 %.

Al dividir los datos en tres conjuntos de datos, podrá crear conjuntos de datos de entrenamiento, validación y prueba. Puede ver el rendimiento del modelo en el conjunto de datos de prueba si elimina la columna de destino.

Su caso de uso determina qué parte del conjunto de datos original obtiene cada uno de sus conjuntos de datos y el método que utiliza para dividir los datos. Por ejemplo, es posible que desee usar una división estratificada para asegurarse de que la distribución de las observaciones en la columna de destino sea la misma en todos los conjuntos de datos. Puede usar una de las siguientes transformaciones.

Después de dividir los datos, puede aplicar transformaciones adicionales a cada conjunto de datos. En la mayoría de los casos de uso, no son necesarios.

Data Wrangler calcula las proporciones de las divisiones para garantizar el rendimiento. Puede elegir un umbral de error para establecer la precisión de las divisiones. Los umbrales de error más bajos reflejan con mayor precisión las proporciones que se especifican para las divisiones. Si establece un umbral de error más alto, obtendrá un mejor rendimiento, pero una menor precisión.

Para dividir perfectamente los datos, establezca el umbral de error en 0. Puede especificar un umbral entre 0 y 1 para mejorar el rendimiento. Si especifica un valor mayor que 1, Data Wrangler interpreta ese valor como 1.

Si tiene 10 000 filas en su conjunto de datos y especifica una división de 80/20 con un error de 0,001, obtendrá observaciones que se aproximan a uno de los siguientes resultados:

El número de observaciones del conjunto de pruebas del ejemplo anterior está en el intervalo entre 8010 y 7990.

De forma predeterminada, Data Wrangler utiliza una semilla (o inicio) aleatoria para hacer que las divisiones sean reproducibles. Puede especificar un valor diferente para la semilla a fin de crear una división reproducible diferente.

Analizar valor como tipo

Use esta transformación para convertir una columna en un nuevo tipo. Los tipos de datos de Data Wrangler compatibles son los siguientes:

Validar cadena

Utilice las transformaciones Validar cadena para crear una nueva columna que indique que una fila de datos de texto cumple una condición específica. Por ejemplo, puede usar una transformación Validar cadena para comprobar que una cadena solo contiene caracteres en minúscula. Validar cadena admite las siguientes transformaciones.

Las siguientes transformaciones se incluyen en este grupo de transformaciones. Si una transformación genera un valor booleano, True se representa con un 1 y False se representa con un 0.

Datos no anidados JSON

Si tienes un archivo.csv, es posible que tengas valores en tu conjunto de datos que sean JSON cadenas. Del mismo modo, es posible que tenga datos anidados en columnas de un archivo Parquet o de un JSON documento.

Utilice el operador Flatten structured para separar las claves del primer nivel en columnas independientes. Una clave de primer nivel es una clave que no está anidada dentro de un valor.

Por ejemplo, puede tener un conjunto de datos que tenga una columna de personas con información demográfica sobre cada persona almacenada como JSON cadenas. Una JSON cadena podría tener el siguiente aspecto.

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

El operador Flatten structured convierte las siguientes claves de primer nivel en columnas adicionales del conjunto de datos:

Data Wrangler coloca los valores de las claves como valores debajo de las columnas. A continuación se muestran los nombres y valores de las columnas deJSON.

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

Para cada valor del conjunto de datos que contengaJSON, el operador estructurado Flatten crea columnas para las claves de primer nivel. Para crear columnas para claves anidadas, vuelve a llamar al operador. En el ejemplo anterior, la llamada al operador crea las siguientes columnas:

En el siguiente ejemplo, se muestra el conjunto de datos que resulta de volver a llamar a la operación.

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

Elija Claves en las que aplanar para especificar las claves de primer nivel que desee extraer como columnas independientes. Si no especifica ninguna clave, Data Wrangler extrae todas las claves por defecto.

Desglosar matriz

Utilice Desglosar matriz para expandir los valores de la matriz en filas de salida independientes. Por ejemplo, la operación puede tomar todos los valores de la matriz [[1, 2, 3], [4, 5, 6], [7, 8, 9]] y crear una nueva columna con las siguientes filas:

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler le pone a la nueva columna el nombre input_column_name_flatten.

Puede llamar a la operación Desglosar matriz varias veces para obtener los valores anidados de la matriz en columnas de salida separadas. El siguiente ejemplo muestra el resultado de llamar a la operación varias veces en un conjunto de datos con una matriz anidada.

Colocar los valores de una matriz anidada en columnas separadas

Transformar datos de imagen

Use Data Wrangler para importar y transformar las imágenes que utiliza en sus canalizaciones de machine learning (ML). Cuando haya preparado los datos de imagen, puede exportarlos desde su flujo de Data Wrangler a su canalización de ML.

Puede utilizar la información proporcionada aquí para familiarizarse con la importación y la transformación de datos de imagen en Data Wrangler. Data Wrangler usa OpenCV para importar imágenes. Para obtener más información sobre los formatos de imagen compatibles, consulte Image file reading and writing.

Una vez que se haya familiarizado con los conceptos de la transformación de los datos de imagen, siga el siguiente tutorial, Prepare los datos de imagen con Amazon SageMaker Data Wrangler.

Los siguientes sectores y casos de uso son ejemplos en los que puede resultar útil aplicar machine learning a los datos de imágenes transformados.

Cuando se trabaja con datos de imágenes en Data Wrangler, se sigue el siguiente proceso.

Utilice el siguiente procedimiento para importar los datos de imágenes.

Data Wrangler utiliza la biblioteca imgaug de código abierto para sus transformaciones de imágenes integradas. Puede utilizar las siguientes transformaciones integradas:

Utilice el siguiente procedimiento para transformar sus imágenes sin escribir código.

Además de utilizar las transformaciones que proporciona Data Wrangler, también puede utilizar sus propios fragmentos de código personalizados. Para obtener más información acerca del uso de fragmentos de código personalizados, consulte Transformaciones personalizadas. Puede importar las bibliotecas OpenCV e imgaug dentro de sus fragmentos de código y utilizar las transformaciones asociadas a ellas. Lo que sigue es un ejemplo de fragmento de código que detecta bordes dentro de las imágenes.

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

Al aplicar transformaciones en su flujo de Data Wrangler, Data Wrangler solo las aplica a una muestra de las imágenes de su conjunto de datos. Para optimizar su experiencia con la aplicación, Data Wrangler no aplica las transformaciones a todas sus imágenes.

Filtrar datos

Use Data Wrangler para filtrar los datos de sus columnas. Cuando filtra los datos de una columna, debe especificar los siguientes campos.

Puede añadir filtros de acuerdo con las siguientes condiciones.

En una columna que contiene las categorías male y female, puede filtrar todos los valores male. También puede filtrar todos los valores female. Como solo hay valores male y female en la columna, el filtro devuelve una columna que solo tiene valores female.

También puede agregar varios filtros. Los filtros se pueden aplicar en varias columnas o en la misma columna. Por ejemplo, si va a crear una columna que solo tiene valores dentro de un rango determinado, agregará dos filtros diferentes. Un filtro especifica que la columna debe tener valores superiores al valor que usted proporciona. El otro filtro especifica que la columna debe tener valores inferiores al valor que usted proporciona.

Utilice el siguiente procedimiento para agregar la transformación del filtro a los datos.