TabTransformer hyperparamètres - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

TabTransformer hyperparamètres

Le tableau suivant contient le sous-ensemble des hyperparamètres requis ou les plus couramment utilisés pour l'algorithme Amazon SageMaker TabTransformer . Les utilisateurs définissent ces paramètres pour faciliter l'estimation des paramètres du modèle à partir des données. L' SageMaker TabTransformeralgorithme est une implémentation du TabTransformerpackage open source.

Note

Les hyperparamètres par défaut sont basés sur des exemples de jeux de données dans le TabTransformer exemples de carnets.

L' SageMaker TabTransformer algorithme choisit automatiquement une métrique d'évaluation et une fonction objective en fonction du type de problème de classification. L' TabTransformer algorithme détecte le type de problème de classification en fonction du nombre d'étiquettes présentes dans vos données. Pour les problèmes de régression, la métrique d'évaluation correspond à r carré et la fonction objective correspond à l'erreur quadratique moyenne. Pour les problèmes de classification binaire, la métrique d'évaluation et la fonction objective correspondent toutes deux à l'entropie croisée binaire. Pour les problèmes de classification multi-classes, la métrique d'évaluation et la fonction objective correspondent toutes deux à l'entropie croisée multi-classes.

Note

La métrique TabTransformer d'évaluation et les fonctions d'objectif ne sont actuellement pas disponibles sous forme d'hyperparamètres. Au lieu de cela, l'algorithme SageMaker TabTransformer intégré détecte automatiquement le type de tâche de classification (régression, binaire ou multiclasse) en fonction du nombre d'entiers uniques dans la colonne d'étiquette et attribue une métrique d'évaluation et une fonction objective.

Nom du paramètre Description
n_epochs

Nombre d'époques pour entraîner le réseau neuronal profond.

Valeurs valides : nombre entier, plage : nombre entier positif.

Valeur par défaut : 5.

patience

L'entraînement s'arrête si une métrique d'un point de données de validation ne s'améliore pas au cours du dernier cycle patience.

Valeurs valides : entier, plage : (2, 60).

Valeur par défaut : 10.

learning_rate

Taux auquel les pondérations du modèle sont mises à jour après que chaque lot d'exemples d'entraînement a été parcouru.

Valeurs valides : flottante, plage : nombre à virgule flottante positive.

Valeur par défaut : 0.001.

batch_size

Nombre d'exemples propagés sur le réseau.

Valeurs valides : entier, plage : (1, 2048).

Valeur par défaut : 256.

input_dim

Dimension des intégration pour coder les colonnes catégorielles et/ou continues.

Valeurs valides : chaîne, l'une quelconque des valeurs suivantes : "16", "32", "64", "128", "256" ou "512".

Valeur par défaut : "32".

n_blocks

Nombre de blocs de codeurs Transformer.

Valeurs valides : entier, plage : (1, 12).

Valeur par défaut : 4.

attn_dropout

Taux d'abandon appliqué aux couches Multi-Head Attention.

Valeurs valides : float, plage : (0, 1).

Valeur par défaut : 0.2.

mlp_dropout

Taux d'abandon appliqué au FeedForward réseau au sein des couches d'encodage et des MLP couches finales situées au-dessus des codeurs Transformer.

Valeurs valides : float, plage : (0, 1).

Valeur par défaut : 0.1.

frac_shared_embed

Fraction des intégrations partagées par toutes les différentes catégories pour une colonne particulière.

Valeurs valides : float, plage : (0, 1).

Valeur par défaut : 0.25.