Comment fonctionne le tamisage SageMaker intelligent - Amazon SageMaker AI

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment fonctionne le tamisage SageMaker intelligent

L'objectif du criblage SageMaker intelligent est de passer au crible vos données d'entraînement pendant le processus d'entraînement et de ne fournir au modèle que des échantillons plus informatifs. Lors d'un entraînement classique avec PyTorch, les données sont envoyées de manière itérative par lots à la boucle d'entraînement et aux dispositifs accélérateurs (tels que GPUs les puces Trainium) par le. PyTorchDataLoader SageMaker le criblage intelligent est mis en œuvre à cette étape du chargement des données et est donc indépendant de tout prétraitement des données en amont dans votre pipeline d'entraînement. SageMaker le criblage intelligent utilise votre modèle et sa fonction de perte spécifiée par l'utilisateur pour effectuer une transmission directe évaluative de chaque échantillon de données au fur et à mesure de son chargement. Les échantillons qui renvoient des valeurs à faibles pertes ont moins d'impact sur l'apprentissage du modèle et sont donc exclus de l'entraînement, car il est déjà facile pour le modèle de faire la bonne prédiction à leur sujet avec un niveau de confiance élevé. En attendant, le modèle doit encore apprendre ces échantillons à pertes relativement élevées. Ils sont donc conservés à des fins de formation. L'une des entrées clés que vous pouvez définir pour le criblage SageMaker intelligent est la proportion de données à exclure. Par exemple, en fixant la proportion à 25 %, les échantillons répartis dans le quartile le plus bas de la distribution des pertes (prélevés sur un nombre d'échantillons précédents spécifié par l'utilisateur) sont exclus de la formation. Les échantillons à pertes élevées sont accumulés dans un lot de données affiné. Le lot de données affiné est envoyé à la boucle d'entraînement (passe avant et arrière), et le modèle apprend et s'entraîne sur le lot de données affiné.

Le schéma suivant donne un aperçu de la conception de l'algorithme de tamisage SageMaker intelligent.

Schéma d'architecture illustrant le fonctionnement du criblage SageMaker intelligent pendant l'entraînement lorsque les données sont chargées.

En bref, le tamisage SageMaker intelligent fonctionne pendant l'entraînement lorsque les données sont chargées. L'algorithme de tamisage SageMaker intelligent calcule les pertes sur les lots et élimine les données qui ne s'améliorent pas avant le passage en avant et en arrière de chaque itération. Le lot de données affiné est ensuite utilisé pour le passage en avant et en arrière.

Note

Le tri intelligent des données sur l' SageMaker IA utilise des passes avancées supplémentaires pour analyser et filtrer vos données d'entraînement. En retour, il y a moins de retours en arrière, car les données les moins pertinentes sont exclues de votre travail de formation. De ce fait, les modèles dont les passes en arrière sont longues ou coûteuses obtiennent les meilleurs gains d'efficacité lorsqu'ils utilisent le tamisage intelligent. Par ailleurs, si la passe avant de votre modèle prend plus de temps que la passe arrière, la surcharge peut augmenter le temps total d'entraînement. Pour mesurer le temps passé par chaque passage, vous pouvez exécuter une tâche de formation pilote et collecter des journaux qui enregistrent le temps passé sur les processus. Pensez également à utiliser SageMaker Profiler qui fournit des outils de profilage et une application d'interface utilisateur. Pour en savoir plus, consultez Amazon SageMaker Profiler.

SageMaker le criblage intelligent fonctionne pour les tâches de formation PyTorch basées sur le parallélisme de données distribué classique, qui permet de répliquer le modèle sur chaque processeur graphique et de le rendre performant. AllReduce Il fonctionne avec le PyTorch DDP et la bibliothèque SageMaker AI distributed data parallel library.