Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérez des expériences de machine learning à l'aide d'Amazon SageMaker avec MLflow

Amazon SageMaker with MLflow est une fonctionnalité d'Amazon SageMaker qui vous permet de créer, de gérer, d'analyser et de comparer vos expériences d'apprentissage automatique.

Expérimentation du machine learning

L'apprentissage automatique est un processus itératif qui nécessite d'expérimenter différentes combinaisons de données, d'algorithmes et de paramètres, tout en observant leur impact sur la précision du modèle. La nature itérative de l'expérimentation du machine learning se traduit par de nombreuses exécutions et versions d'entraînement des modèles, ce qui complique le suivi des modèles les plus performants et de leurs configurations. La complexité de la gestion et de la comparaison des cycles d'entraînement itératifs augmente avec l'intelligence artificielle générative (IA générative), où l'expérimentation implique non seulement de peaufiner les modèles, mais également d'explorer des résultats créatifs et variés. Les chercheurs doivent ajuster les hyperparamètres, sélectionner des architectures de modèles adaptées et organiser divers ensembles de données afin d'optimiser à la fois la qualité et la créativité du contenu généré. L'évaluation des modèles d'IA générative nécessite des mesures à la fois quantitatives et qualitatives, ce qui ajoute une couche de complexité supplémentaire au processus d'expérimentation.

Utilisez-le MLflow avec Amazon SageMaker pour suivre, organiser, visualiser, analyser et comparer les expériences itératives de machine learning afin d'obtenir des informations comparatives et d'enregistrer et de déployer vos modèles les plus performants.

MLflowintégrations

À utiliser MLflow lors de la formation et de l'évaluation des modèles afin de trouver les meilleurs candidats pour votre cas d'utilisation. Vous pouvez comparer les performances, les paramètres et les mesures des modèles entre les expériences dans l'MLflowinterface utilisateur, suivre vos meilleurs modèles dans le MLflow registre des modèles, les enregistrer automatiquement en tant que SageMaker modèle et déployer les modèles enregistrés sur les SageMaker terminaux.

Amazon SageMaker avec MLflow

Utilisez-le MLflow pour suivre et gérer la phase d'expérimentation du cycle de vie du machine learning (ML) avec AWS des intégrations pour le développement, la gestion, le déploiement et le suivi des modèles.

Amazon SageMaker Studio

Créez et gérez des serveurs de suivi, exécutez des blocs-notes pour créer des expériences et accédez à l'MLflowinterface utilisateur pour visualiser et comparer les séries d'expériences dans Studio.

SageMaker Registre des modèles

Gérez les versions des modèles et les modèles de catalogue destinés à la production en enregistrant automatiquement les modèles du MLflow Model Registry au SageMaker Model Registry. Pour de plus amples informations, veuillez consulter Enregistrez automatiquement SageMaker les modèles dans le SageMaker Model Registry.

SageMaker Inférence

Préparez vos meilleurs modèles pour le déploiement sur un SageMaker terminal à l'aide deModelBuilder. Pour de plus amples informations, veuillez consulter Déployez MLflow des modèles avec ModelBuilder.

AWS Identity and Access Management

Configurez l'accès à MLflow l'aide du contrôle d'accès basé sur les rôles (RBAC) avec. IAM Rédigez des politiques d'IAMidentité pour autoriser MLflow APIs ce qui peut être appelé par un client d'un serveur de MLflow suivi. Toutes MLflow REST APIs sont représentées sous forme d'IAMactions sous le préfixe sagemaker-mlflow de service. Pour de plus amples informations, veuillez consulter Configuration des autorisations IAM pour MLflow.

AWS CloudTrail

Consultez les connexions pour vous aider AWS CloudTrail à activer l'audit des opérations et des risques, la gouvernance et la conformité de votre AWS compte. Pour de plus amples informations, veuillez consulter AWS CloudTrail journaux.

Amazon EventBridge

Automatisez la révision des modèles et le cycle de vie du déploiement à l'aide d'MLflowévénements capturés par Amazon EventBridge. Pour de plus amples informations, veuillez consulter EventBridge Événements Amazon.

Soutenu Régions AWS

Amazon SageMaker with MLflow est généralement disponible dans toutes les régions AWS commerciales où Amazon SageMaker Studio est disponible, à l'exception des régions et AWS GovCloud (US) régions chinoises. SageMakeravec MLflow est disponible uniquement AWS CLI en Europe (Zurich), en Asie-Pacifique (Hyderabad), en Asie-Pacifique (Melbourne) et au Canada Ouest (Calgary). Régions AWS

Les serveurs de suivi sont lancés dans une zone de disponibilité unique au sein de la région spécifiée.

Comment ça marche

Un serveur MLflow de suivi comporte trois composants principaux : le calcul, le stockage des métadonnées principales et le stockage des artefacts. Le calcul qui héberge le serveur de suivi et le stockage des métadonnées principal sont hébergés de manière sécurisée dans le compte SageMaker de service. Le stockage des artefacts se trouve dans un compartiment Amazon S3 de votre propre AWS compte.

Un serveur de suivi possède unARN. Vous pouvez l'utiliser ARN pour connecter le MLflow SDK à votre serveur de suivi et commencer à y enregistrer vos séances d'entraînementMLflow.

Poursuivez votre lecture pour plus d'informations sur les concepts clés suivants :

Stockage des métadonnées du backend

Lorsque vous créez un serveur de MLflow suivi, un magasin principal, qui conserve diverses métadonnées pour chaque exécution, telles que l'ID d'exécution, les heures de début et de fin, les paramètres et les mesures, est automatiquement configuré dans le compte de SageMaker service et entièrement géré pour vous.

Stockage d'artifacts

Pour MLflow fournir un stockage permanent des métadonnées pour chaque exécution, telles que les poids des modèles, les images, les fichiers modèles et les fichiers de données pour vos essais, vous devez créer un magasin d'artefacts à l'aide d'Amazon S3. Le magasin d'artefacts doit être configuré dans votre AWS compte et vous devez explicitement donner MLflow accès à Amazon S3 pour accéder à votre magasin d'artefacts. Pour plus d'informations, consultez Artifact Stores dans la MLflow documentation.

MLflowTailles des serveurs de suivi

Vous pouvez éventuellement spécifier la taille de votre serveur de suivi dans l'interface utilisateur de Studio ou à l'aide du AWS CLI paramètre--tracking-server-size. Vous pouvez choisir entre "Small""Medium", et"Large". La taille de configuration du serveur de MLflow suivi par défaut est"Small". Vous pouvez choisir une taille en fonction de l'utilisation prévue du serveur de suivi, telle que le volume de données enregistrées, le nombre d'utilisateurs et la fréquence d'utilisation.

Nous recommandons d'utiliser un petit serveur de suivi pour les équipes de 25 utilisateurs maximum, un serveur de suivi de taille moyenne pour les équipes de 50 utilisateurs maximum et un grand serveur de suivi pour les équipes de 100 utilisateurs maximum. Nous partons du principe que tous les utilisateurs adresseront des demandes simultanées à votre serveur de MLflow suivi pour faire ces recommandations. Vous devez sélectionner la taille du serveur de suivi en fonction de votre modèle d'utilisation attendu et du nombre TPS (transactions par seconde) pris en charge par chaque serveur de suivi.

Versions du serveur de suivi

Les MLflow versions suivantes peuvent être utilisées avec SageMaker :

AWS CloudTrail journaux

AWS CloudTrail enregistre automatiquement les activités liées à votre serveur MLflow de suivi. Les API appels suivants sont enregistrés CloudTrail :

Pour plus d'informations CloudTrail, consultez le guide de AWS CloudTrail l'utilisateur.

EventBridge Événements Amazon

EventBridge À utiliser pour acheminer les événements de l'utilisation MLflow avec SageMaker vers les applications grand public au sein de votre organisation. Les événements suivants sont émis vers EventBridge :

Pour plus d'informations EventBridge, consultez le guide de EventBridge l'utilisateur Amazon.