Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Experimente zum maschinellen Lernen mit Amazon SageMaker mit MLflow

Amazon SageMaker with MLflow ist eine Funktion von Amazon SageMaker , mit der Sie Ihre Machine-Learning-Experimente erstellen, verwalten, analysieren und vergleichen können.

Experimentieren mit maschinellem Lernen

Maschinelles Lernen ist ein iterativer Prozess, bei dem mit verschiedenen Kombinationen von Daten, Algorithmen und Parametern experimentiert und gleichzeitig deren Auswirkungen auf die Modellgenauigkeit beobachtet werden müssen. Der iterative Charakter von ML-Experimenten führt zu zahlreichen Modelltrainingsläufen und -versionen, was es schwierig macht, die leistungsstärksten Modelle und ihre Konfigurationen zu verfolgen. Die Komplexität der Verwaltung und des Vergleichs iterativer Trainingsläufe nimmt mit generativer künstlicher Intelligenz (generative KI) zu, bei der Experimente nicht nur die Feinabstimmung von Modellen, sondern auch die Untersuchung kreativer und vielfältiger Ergebnisse beinhalten. Forscher müssen Hyperparameter anpassen, geeignete Modellarchitekturen auswählen und verschiedene Datensätze kuratieren, um sowohl die Qualität als auch die Kreativität der generierten Inhalte zu optimieren. Die Bewertung generativer KI-Modelle erfordert sowohl quantitative als auch qualitative Metriken, was den Experimentierprozess um eine weitere Ebene der Komplexität erhöht.

Verwenden Sie es MLflow zusammen mit Amazon, SageMaker um iterative ML-Experimente zu verfolgen, zu organisieren, anzuzeigen, zu analysieren und zu vergleichen, um vergleichende Erkenntnisse zu gewinnen und Ihre leistungsstärksten Modelle zu registrieren und einzusetzen.

MLflowIntegrationen

Verwenden Sie MLflow sie beim Training und bei der Evaluierung von Modellen, um die besten Kandidaten für Ihren Anwendungsfall zu finden. Sie können die Modellleistung, Parameter und Metriken verschiedener Experimente in der MLflow Benutzeroberfläche vergleichen, Ihre besten Modelle in der MLflow Model Registry verfolgen, sie automatisch als SageMaker Modell registrieren und registrierte Modelle auf SageMaker Endpunkten bereitstellen.

Amazon SageMaker mit MLflow

Wird verwendetMLflow, um die Experimentierphase des Machine Learning-Lebenszyklus (ML) mit AWS Integrationen für Modellentwicklung, Verwaltung, Bereitstellung und Nachverfolgung zu verfolgen und zu verwalten.

Amazon SageMaker Studio

Erstellen und verwalten Sie Tracking-Server, führen Sie Notizbücher aus, um Experimente zu erstellen, und greifen Sie auf die MLflow Benutzeroberfläche zu, um Experimentläufe anzusehen und zu vergleichen — alles in Studio.

SageMaker Modellregistrierung

Verwalten Sie Modellversionen und Katalogmodelle für die Produktion, indem Sie Modelle automatisch von MLflow Model Registry in SageMaker Model Registry registrieren. Weitere Informationen finden Sie unter Registrieren Sie SageMaker Modelle automatisch bei SageMaker Model Registry.

SageMaker Inferenz

Bereiten Sie Ihre besten Modelle für die Bereitstellung auf einem SageMaker Endpunkt vor, indem SieModelBuilder. Weitere Informationen finden Sie unter Stellen Sie MLflow Modelle bereit mit ModelBuilder.

AWS Identity and Access Management

Konfigurieren Sie den Zugriff MLflow mithilfe der rollenbasierten Zugriffskontrolle (RBAC) mit. IAM Schreiben Sie IAM Identitätsrichtlinien, um die zu autorisieren MLflowAPIs, die von einem Client eines MLflow Tracking-Servers aufgerufen werden können. Alle MLflow REST APIs werden als IAM Aktionen unter dem sagemaker-mlflow Dienstpräfix dargestellt. Weitere Informationen finden Sie unter Richten Sie IAM Berechtigungen ein für MLflow.

AWS CloudTrail

AWS CloudTrail View-Logins helfen Ihnen bei der Durchführung von Betriebs- und Risikoprüfungen, Governance und Compliance Ihres AWS Kontos. Weitere Informationen finden Sie unter AWS CloudTrail Logs.

Amazon EventBridge

Automatisieren Sie die Modellüberprüfung und den Bereitstellungszyklus mithilfe von MLflow Ereignissen, die von Amazon erfasst wurden EventBridge. Weitere Informationen finden Sie unter EventBridge Amazon-Veranstaltungen.

Unterstützt AWS-Regionen

Amazon SageMaker with MLflow ist generell in allen AWS Handelsregionen verfügbar, in denen Amazon SageMaker Studio verfügbar ist, mit Ausnahme der Regionen und AWS GovCloud (US) Regionen Chinas. SageMakerwith MLflow ist nur in Europa (Zürich), AWS CLI im asiatisch-pazifischen Raum (Hyderabad), im asiatisch-pazifischen Raum (Melbourne) und in Westkanada (Calgary) verfügbar. AWS-Regionen

Tracking-Server werden in einer einzigen Availability Zone innerhalb der angegebenen Region gestartet.

Funktionsweise

Ein MLflow Tracking-Server besteht aus drei Hauptkomponenten: Rechenleistung, Speicherung von Backend-Metadaten und Speicherung von Artefakten. Die Rechenleistung, die den Tracking-Server hostet, und der Backend-Metadatenspeicher werden sicher im SageMaker Dienstkonto gehostet. Der Artefaktspeicher befindet sich in einem Amazon S3 S3-Bucket in Ihrem eigenen AWS Konto.

Ein Tracking-Server hat einenARN. Sie können dies verwendenARN, um eine Verbindung MLflow SDK zu Ihrem Tracking-Server herzustellen und mit der Protokollierung Ihrer Trainingsläufe zu beginnenMLflow.

Lesen Sie weiter, um weitere Informationen zu den folgenden Schlüsselkonzepten zu erhalten:

Speicherung von Backend-Metadaten

Wenn Sie einen MLflow Tracking-Server erstellen, wird innerhalb des SageMaker Dienstkontos automatisch ein Back-End-Speicher konfiguriert und vollständig für Sie verwaltet, der verschiedene Metadaten für jeden Lauf speichert, z. B. die Lauf-ID, Start- und Endzeiten, Parameter und Messwerte.

Aufbewahrung von Artefakten

Um persistenten Speicher für Metadaten für jeden Lauf bereitzustellenMLflow, z. B. Modellgewichte, Bilder, Modelldateien und Datendateien für Ihre Experimentläufe, müssen Sie mit Amazon S3 einen Artefaktspeicher erstellen. Der Artefaktspeicher muss in Ihrem AWS Konto eingerichtet sein und Sie müssen ausdrücklich MLflow Zugriff auf Amazon S3 gewähren, um auf Ihren Artefaktspeicher zugreifen zu können. Weitere Informationen finden Sie in der MLflow Dokumentation unter Artifact Stores.

MLflowServergrößen verfolgen

Sie können die Größe Ihres Tracking-Servers optional in der Studio-Benutzeroberfläche oder mit dem AWS CLI Parameter angeben--tracking-server-size. Sie können zwischen "Small""Medium", und wählen"Large". Die Standardgröße für die Konfiguration des MLflow Trackingservers ist"Small". Sie können eine Größe wählen, die von der voraussichtlichen Nutzung des Tracking-Servers abhängt, z. B. von der Menge der protokollierten Daten, der Anzahl der Benutzer und der Nutzungshäufigkeit.

Wir empfehlen die Verwendung eines kleinen Trackingservers für Teams mit bis zu 25 Benutzern, eines mittleren Trackingservers für Teams mit bis zu 50 Benutzern und eines großen Trackingservers für Teams mit bis zu 100 Benutzern. Wir gehen davon aus, dass alle Benutzer gleichzeitig Anfragen an Ihren MLflow Tracking-Server stellen, um diese Empfehlungen abzugeben. Sie sollten die Größe des Tracking-Servers auf der Grundlage Ihres erwarteten Nutzungsmusters und der von den einzelnen Tracking-Servern unterstützten Werte TPS (Transaktionen pro Sekunde) auswählen.

Serverversionen verfolgen

Die folgenden MLflow Versionen stehen zur Verwendung mit zur Verfügung SageMaker:

AWS CloudTrail Logs

AWS CloudTrail protokolliert automatisch Aktivitäten im Zusammenhang mit Ihrem MLflow Tracking-Server. Die folgenden API Anrufe werden protokolliert CloudTrail:

Weitere Informationen zu CloudTrail finden Sie im AWS CloudTrail Benutzerhandbuch.

EventBridge Amazon-Veranstaltungen

Wird verwendet EventBridge , um Ereignisse von Anwendungen MLflow mit SageMaker Benutzeranwendungen in Ihrem Unternehmen weiterzuleiten. Die folgenden Ereignisse werden gesendet an EventBridge:

Weitere Informationen zu EventBridge finden Sie im EventBridge Amazon-Benutzerhandbuch.