TabTransformer hiperparámetros - Amazon SageMaker AI

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

TabTransformer hiperparámetros

La siguiente tabla contiene el subconjunto de hiperparámetros que se requieren o se utilizan con más frecuencia para el algoritmo Amazon SageMaker AI TabTransformer . Los usuarios establecen estos parámetros para facilitar la estimación de los parámetros del modelo a partir de los datos. El TabTransformer algoritmo de SageMaker IA es una implementación del paquete de código abierto TabTransformer.

nota

Los hiperparámetros predeterminados se basan en conjuntos de datos de ejemplo de TabTransformer ejemplos de cuadernos.

El TabTransformer algoritmo de SageMaker IA elige automáticamente una métrica de evaluación y una función objetivo en función del tipo de problema de clasificación. El TabTransformer algoritmo detecta el tipo de problema de clasificación en función del número de etiquetas de los datos. Para los problemas de regresión, la métrica de evaluación es R² y la función objetivo es el error cuadrático medio. Para los problemas de clasificación binaria, la métrica de evaluación y la función objetivo son la entropía cruzada binaria. Para los problemas de clasificación multiclase, la métrica de evaluación y la función objetivo son la entropía cruzada multiclase.

nota

Las funciones TabTransformer de métrica y objetivo de evaluación no están disponibles actualmente como hiperparámetros. En cambio, el algoritmo TabTransformer integrado de SageMaker IA detecta automáticamente el tipo de tarea de clasificación (regresión, binaria o multiclase) en función del número de enteros únicos de la columna de etiquetas y asigna una métrica de evaluación y una función objetivo.

Nombre del parámetro Descripción
n_epochs

Número de epochs (fechas de inicio) para entrenar la red neuronal profunda.

Valores válidos: entero positivo.

Valor predeterminado: 5.

patience

El entrenamiento se detendrá si una métrica de un punto de datos de validación no mejora en la última ronda patience.

Valores válidos: entero, rango (2, 60).

Valor predeterminado: 10.

learning_rate

La velocidad a la que se actualizan los pesos del modelo después de pasar por cada lote de ejemplos de entrenamiento.

Valores válidos: flotante, rango (número de coma flotante positivo).

Valor predeterminado: 0.001.

batch_size

El número de ejemplos propagados a través de la red.

Valores válidos: entero, rango (1, 2048).

Valor predeterminado: 256.

input_dim

La dimensión de las incrustaciones para codificar las columnas categóricas o continuas.

Valores válidos: cadena, cualquiera de los siguientes ("16", "32", "64", "128", "256" o "512").

Valor predeterminado: "32".

n_blocks

El número de bloques codificadores Transformer.

Valores válidos: entero, rango (1, 12).

Valor predeterminado: 4.

attn_dropout

Tasa de eliminación aplicada a las capas de atención Multi-Head.

Valores válidos: flotante, rango (0, 1).

Valor predeterminado: 0.2.

mlp_dropout

La tasa de abandono se aplica a la FeedForward red dentro de las capas del codificador y a las capas MLP finales situadas por encima de los codificadores Transformer.

Valores válidos: flotante, rango (0, 1).

Valor predeterminado: 0.1.

frac_shared_embed

La fracción de incrustaciones que comparten todas las diferentes categorías de una columna en particular.

Valores válidos: flotante, rango (0, 1).

Valor predeterminado: 0.25.