Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
SageMaker référence Python SDK de tamisage intelligent
Cette page fournit une référence des modules Python dont vous avez besoin pour appliquer le SageMaker tri intelligent à votre script d'entraînement.
SageMaker modules de configuration de tamisage intelligent
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe de configuration de tamisage SageMaker intelligent.
Paramètres
-
beta_value(float) — Une valeur bêta (constante). Il est utilisé pour calculer la probabilité de sélectionner un échantillon pour l'entraînement en fonction du percentile de la perte dans l'historique des valeurs des pertes. La réduction de la valeur bêta réduit le pourcentage de données filtrées, tandis que l'augmentation de cette valeur entraîne un pourcentage plus élevé de données passées au crible. Il n'y a pas de valeur minimale ou maximale pour la valeur bêta, si ce n'est qu'elle doit être une valeur positive. Le tableau de référence suivant donne des informations sur les taux de tamisage par rapport àbeta_value.beta_valueProportion de données conservées (%) Proportion de données éliminées (%) 0.1 90,91 9,01 0.25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) — Le nombre de pertes d'entraînement antérieures à enregistrer pour l'échantillonnage basé sur le seuil relatif des pertes. -
loss_based_sift_config(dict ouLossConfigobjet) — Spécifiez unLossConfigobjet qui renvoie la configuration de l'interface SageMaker Smart Sifting Loss.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Classe de configuration pour le loss_based_sift_config paramètre de la RelativeProbabilisticSiftConfig classe.
Paramètres
-
sift_config(dict ouSiftingBaseConfigobjet) — Spécifiez unSiftingBaseConfigobjet qui renvoie un dictionnaire de configuration de base filtrant.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
Classe de configuration pour le sift_config paramètre deLossConfig.
Paramètres
-
sift_delay(int) — Le nombre d'étapes d'entraînement à attendre avant de commencer le tamisage. Nous vous recommandons de commencer à passer au crible une fois que toutes les couches du modèle ont une vue suffisante des données d'entraînement. La valeur par défaut est1000. -
repeat_delay_per_epoch(bool) — Spécifiez s'il faut retarder le criblage de chaque époque. La valeur par défaut estFalse.
SageMaker modules de transformation par lots de données à tamisage intelligent
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un module Python SageMaker intelligent pour définir comment effectuer une transformation par lots. Vous pouvez ainsi configurer une classe de transformation par lots qui convertit le format de données de vos données d'entraînement en SiftingBatch format. SageMaker le criblage intelligent permet de filtrer et d'accumuler des données dans ce format dans un lot tamisé.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Interface permettant de définir un type de données par lots pouvant être passées au crible et accumulées.
class
smart_sifting.data_model.list_batch.ListBatch
Un module permettant de suivre un lot de listes à trier.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un module permettant de suivre un lot de tenseurs pour le tamisage.
SageMaker module de mise en œuvre des pertes par tamisage intelligent
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un module d'encapsulation permettant d'associer l'interface de criblage SageMaker intelligente à la fonction de perte d'un modèle PyTorch basé.
SageMaker module d'emballage de chargeur de données à tamisage intelligent
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un module d'encapsulation permettant d'enregistrer l'interface de tamisage SageMaker intelligente dans le chargeur de données d'un modèle PyTorch basé.
L'itérateur Main Sifting Dataloader filtre les échantillons d'apprentissage d'un dataloader sur la base d'une configuration de criblage.
Paramètres
-
sift_config(un dict ou unRelativeProbabilisticSiftConfigobjet) — UnRelativeProbabilisticSiftConfigobjet. -
orig_dataloader(un PyTorch DataLoader objet) — Spécifiez l'objet PyTorch Dataloader à encapsuler. -
batch_transforms(unSiftingBatchTransformobjet) — (Facultatif) Si votre format de données n'est pas pris en charge par la transformation par défaut de la bibliothèque de tamisage SageMaker intelligent, vous devez créer une classe de transformation par lots à l'aide duSiftingBatchTransformmodule. Ce paramètre est utilisé pour transmettre la classe de transformation par lots. Cette classe est utilisée pourSiftingDataloaderconvertir les données dans un format que l'algorithme de tamisage SageMaker intelligent peut accepter. -
model(un objet PyTorch modèle) — Le PyTorch modèle d'origine -
loss_impl(une fonction de perte par tamisage desmart_sifting.loss.abstract_sift_loss_module.Loss) — Une fonction de perte par tamisage configurée avec leLossmodule et encapsulant la PyTorch fonction de perte. -
log_batch_data(bool) — Spécifiez s'il faut enregistrer les données par lots. Si ce paramètre est défini surTrue, le tamisage SageMaker intelligent enregistre les détails des lots conservés ou tamisés. Nous vous recommandons de l'activer uniquement pour une tâche de formation de pilote. Lorsque la journalisation est activée, les échantillons sont chargés GPU et transférés versCPU, ce qui entraîne une surcharge. La valeur par défaut estFalse.
