Utilisation de la formation distribuée dans AWS Clean Rooms ML

Pour exécuter une tâche de formation distribuée (console)

1. Connectez-vous à Console de gestion AWS et ouvrez la AWS Clean Rooms console à l'adresse https://console.aws.amazon.com/cleanrooms.

2. Dans le volet de navigation de gauche, choisissez Collaborations.

3. Sur la page Collaborations, choisissez la collaboration pour laquelle vous souhaitez créer un modèle entraîné.

4. Une fois la collaboration ouverte, choisissez l'onglet Modèles ML.

5. Sous Modèles ML personnalisés, dans la section Modèles entraînés, choisissez Créer un modèle entraîné.

6. Sur la page Créer un modèle entraîné, pour Algorithme de modèle associé, spécifiez l'algorithme

7. Pour plus de détails sur le modèle Trained, entrez les informations suivantes :

   1. Dans le champ Nom, entrez un nom unique pour le modèle de la collaboration.

   2. (Facultatif) Dans Description, entrez une description du modèle entraîné.

   3. Pour le mode de saisie des données d'entraînement, choisissez l'une des options suivantes :

      • Sélectionnez Fichier si vous disposez d'un ensemble de données plus petit pouvant tenir sur le volume de stockage ML et si vous préférez un accès au système de fichiers traditionnel pour votre script de formation.

      • Sélectionnez Pipe pour les grands ensembles de données afin de diffuser des données directement depuis S3, évitant ainsi de tout télécharger sur disque, ce qui peut améliorer la vitesse d'apprentissage et réduire les besoins de stockage.

      • Sélectionnez FastFile cette option si vous souhaitez combiner les avantages du streaming depuis S3 avec l'accès au système de fichiers, en particulier pour les données lues de manière séquentielle ou pour traiter moins de fichiers pour accélérer les démarrages.

8. Pour plus de détails sur le canal d'entrée ML, procédez comme suit :

   1. Pour le canal d'entrée ML, spécifiez le canal d'entrée ML qui fournit les données à l'algorithme du modèle.

      Pour ajouter un autre canal, choisissez Ajouter un autre canal d'entrée ML. Vous pouvez ajouter jusqu'à 19 canaux d'entrée ML supplémentaires.

   2. Dans Nom du canal, entrez le nom du canal d'entrée ML.

   3. Pour le type de distribution de données Amazon S3, choisissez l'une des options suivantes :

      • Sélectionnez Entièrement répliqué pour fournir à chaque instance d'entraînement une copie complète de votre jeu de données. Cela fonctionne mieux lorsque votre ensemble de données est suffisamment petit pour tenir en mémoire ou lorsque chaque instance doit accéder à toutes les données.

      • Sélectionnez Sharded by S3 key pour diviser votre ensemble de données entre les instances d'entraînement en fonction des clés S3. Chaque instance reçoit environ 1/n du total des objets S3, où « n » est le nombre d'instances. Cela fonctionne mieux pour les grands ensembles de données que vous souhaitez traiter en parallèle.

      Note

      Tenez compte de la taille de votre ensemble de données et des exigences de formation lorsque vous sélectionnez un type de distribution. La réplication complète fournit un accès complet aux données mais nécessite davantage de stockage, tandis que la clé Sharded by S3 permet le traitement distribué de grands ensembles de données.

9. Pour Durée d'entraînement maximale, choisissez la durée maximale pendant laquelle vous souhaitez entraîner votre modèle.

10. Pour les hyperparamètres, spécifiez tous les paramètres spécifiques à l'algorithme et leurs valeurs prévues. Les hyperparamètres sont spécifiques au modèle en cours d'apprentissage et sont utilisés pour affiner l'entraînement du modèle.

11. Pour les variables d'environnement, spécifiez toutes les variables spécifiques à l'algorithme et leurs valeurs prévues. Les variables d'environnement sont définies dans le conteneur Docker.

12. Pour le chiffrement, pour utiliser un code personnalisé AWS KMS key, cochez la case Chiffrer le secret avec une clé KMS personnalisée.

13. Pour la configuration des ressources EC2, spécifiez des informations sur les ressources de calcul utilisées pour l'apprentissage des modèles.

    1. Dans Type d'instance, choisissez le type d'instance que vous souhaitez exécuter.

       Les types d'instances pris en charge pour la formation distribuée sont les suivants :

       • ml.m5.4xlarge

       • ml.m5.12xlarge

       • ml.m5.2xlarge

       • ml.g5.12xlarge

       • ml.g5.24xlarge

    2. Dans le champ Nombre d'instances, entrez le nombre d'instances.

    3. Pour Taille du volume en Go, entrez la taille du volume de stockage ML.

14. Choisissez Créer un modèle entraîné.