Configurer le canal de saisie des données pour utiliser Amazon FSx for Lustre - Amazon SageMaker
Synchroniser Amazon S3 et Amazon FSx for LustreDéfinissez le chemin du système de FSx fichiers Amazon comme canal d'entrée de données pour la SageMaker formation

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer le canal de saisie des données pour utiliser Amazon FSx for Lustre

Découvrez comment utiliser Amazon FSx for Lustre comme source de données pour un débit plus élevé et une formation plus rapide en réduisant le temps de chargement des données.

Note

Lorsque vous utilisez des instances EFA activées telles que P4d et P3dn, assurez-vous de définir les règles d'entrée et de sortie appropriées dans le groupe de sécurité. En particulier, l'ouverture de ces ports est nécessaire SageMaker pour accéder au système de FSx fichiers Amazon pendant la formation. Pour en savoir plus, consultez la section Contrôle d'accès au système de fichiers avec Amazon VPC.

Synchroniser Amazon S3 et Amazon FSx for Lustre

Pour associer votre Amazon S3 à Amazon FSx for Lustre et télécharger vos ensembles de données de formation, procédez comme suit.

  1. Préparez votre jeu de données et chargez-le sur un compartiment Amazon S3. Supposons, par exemple, que les chemins Amazon S3 d'un jeu de données d'entraînement et d'un jeu de données de test soient au format suivant.

    s3://amzn-s3-demo-bucket/data/train
s3://amzn-s3-demo-bucket/data/test

  2. Pour créer un système de fichiers FSx pour Lustre lié au compartiment Amazon S3 contenant les données de formation, suivez les étapes décrites dans la section Liaison de votre système de fichiers à un compartiment Amazon S3 dans le guide de l'utilisateur d'Amazon FSx for Lustre. Assurez-vous d'ajouter un point de terminaison à votre VPC autorisation d'accès à Amazon S3. Pour de plus amples informations, veuillez consulter Création d'un point de VPC terminaison Amazon S3. Lorsque vous spécifiez le chemin du référentiel de données, indiquez le compartiment Amazon S3 URI du dossier contenant vos ensembles de données. Par exemple, sur la base des exemples de chemins S3 de l'étape 1, le chemin du référentiel de données doit être le suivant.

    s3://amzn-s3-demo-bucket/data

  3. Une fois le système de fichiers FSx for Lustre créé, vérifiez les informations de configuration en exécutant les commandes suivantes.

    aws fsx describe-file-systems && \
aws fsx describe-data-repository-association

    Ces commandes renvoient FileSystemId, MountName, FileSystemPath et DataRepositoryPath. Le résultat doit ressembler à l'exemple qui suit.

    # Output of aws fsx describe-file-systems
"FileSystemId": "fs-0123456789abcdef0"
"MountName": "1234abcd"

# Output of aws fsx describe-data-repository-association
"FileSystemPath": "/ns1",
"DataRepositoryPath": "s3://amzn-s3-demo-bucket/data/"

    Une fois la synchronisation entre Amazon S3 et Amazon FSx terminée, vos ensembles de données sont enregistrés dans Amazon FSx dans les répertoires suivants.

    /ns1/train  # synced with s3://amzn-s3-demo-bucket/data/train
/ns1/test   # synced with s3://amzn-s3-demo-bucket/data/test

Définissez le chemin du système de FSx fichiers Amazon comme canal d'entrée de données pour la SageMaker formation

Les procédures suivantes vous guident dans le processus de configuration du système de FSx fichiers Amazon comme source de données pour les tâches de SageMaker formation.

Using the SageMaker Python SDK

Pour définir correctement le système de FSx fichiers Amazon comme source de données, configurez les classes d' SageMakerestimateurs FileSystemInput en suivant les instructions suivantes.

  1. Configurez un objet FileSystemInput de classe.

    from sagemaker.inputs import FileSystemInput

train_fs = FileSystemInput(
    file_system_id="fs-0123456789abcdef0",
    file_system_type="FSxLustre",
    directory_path="/1234abcd/ns1/",
    file_system_access_mode="ro",
)
    Astuce

    Lorsque vous spécifiezdirectory_path, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant parMountName.

  2. Configurez un SageMaker estimateur avec la VPC configuration utilisée pour le système de FSx fichiers Amazon.

    from sagemaker.estimator import Estimator

estimator = Estimator(
    ...
    role="your-iam-role-with-access-to-your-fsx",
    subnets=["subnet-id"],  # Should be the same as the subnet used for Amazon FSx
    security_group_ids="security-group-id"
)

    Assurez-vous que le titulaire du IAM poste de SageMaker formation dispose des autorisations nécessaires pour accéder à Amazon et lire des informations sur celui-ciFSx.

  3. Lancez la tâche de formation en exécutant la méthode estimator.fit avec le système de fichiers Amazon. FSx

    estimator.fit(train_fs)

Pour trouver d'autres exemples de code, consultez la section Utiliser des systèmes de fichiers comme entrées d'apprentissage dans la SDKdocumentation SageMaker Python.

Using the SageMaker CreateTrainingJob API

Dans le cadre de la CreateTrainingJobdemandeJSON, configurez InputDataConfig comme suit.

"InputDataConfig": [ 
    { 
        "ChannelName": "string",
        "DataSource": { 
            "FileSystemDataSource": { 
                "DirectoryPath": "/1234abcd/ns1/",
                "FileSystemAccessMode": "ro",
                "FileSystemId": "fs-0123456789abcdef0",
                "FileSystemType": "FSxLustre"
            }
        }
    }
],
Astuce

Lorsque vous spécifiezDirectoryPath, assurez-vous de fournir le chemin du système de FSx fichiers Amazon en commençant parMountName.