Experimente zum maschinellen Lernen mit Amazon SageMaker AI mit MLflow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon SageMaker AI with MLflow ist eine Funktion von Amazon SageMaker AI, mit der Sie Ihre Machine-Learning-Experimente erstellen, verwalten, analysieren und vergleichen können.

Experimentieren mit maschinellem Lernen

Maschinelles Lernen ist ein iterativer Prozess, bei dem mit verschiedenen Kombinationen von Daten, Algorithmen und Parametern experimentiert und gleichzeitig deren Auswirkungen auf die Modellgenauigkeit beobachtet werden müssen. Der iterative Charakter von ML-Experimenten führt zu zahlreichen Modelltrainingsläufen und -versionen, was es schwierig macht, die leistungsstärksten Modelle und ihre Konfigurationen zu verfolgen. Die Komplexität der Verwaltung und des Vergleichs iterativer Trainingsläufe nimmt mit generativer künstlicher Intelligenz (generative KI) zu, bei der Experimente nicht nur die Feinabstimmung von Modellen, sondern auch die Untersuchung kreativer und vielfältiger Ergebnisse beinhalten. Forscher müssen Hyperparameter anpassen, geeignete Modellarchitekturen auswählen und verschiedene Datensätze kuratieren, um sowohl die Qualität als auch die Kreativität der generierten Inhalte zu optimieren. Die Bewertung generativer KI-Modelle erfordert sowohl quantitative als auch qualitative Metriken, was den Experimentierprozess um eine weitere Ebene der Komplexität erhöht.

Verwenden Sie MLflow Amazon SageMaker AI, um iterative ML-Experimente zu verfolgen, zu organisieren, anzuzeigen, zu analysieren und zu vergleichen, um vergleichende Erkenntnisse zu gewinnen und Ihre leistungsstärksten Modelle zu registrieren und einzusetzen.

MLflow Integrationen

Verwenden Sie MLflow sie beim Training und bei der Evaluierung von Modellen, um die besten Kandidaten für Ihren Anwendungsfall zu finden. Sie können die Modellleistung, Parameter und Metriken verschiedener Experimente in der MLflow Benutzeroberfläche vergleichen, Ihre besten Modelle in der MLflow Model Registry verfolgen, sie automatisch als SageMaker KI-Modell registrieren und registrierte Modelle auf SageMaker KI-Endpunkten bereitstellen.

Amazon SageMaker AI mit MLflow

Wird verwendet MLflow , um die Experimentierphase des Machine Learning-Lebenszyklus (ML) mit AWS Integrationen für Modellentwicklung, Verwaltung, Bereitstellung und Nachverfolgung zu verfolgen und zu verwalten.

Amazon SageMaker Studio

Erstellen und verwalten Sie Tracking-Server, führen Sie Notizbücher aus, um Experimente zu erstellen, und greifen Sie auf die MLflow Benutzeroberfläche zu, um Experimentläufe anzusehen und zu vergleichen — alles in Studio.

SageMaker Modellregistrierung

Verwalten Sie Modellversionen und Katalogmodelle für die Produktion, indem Sie Modelle automatisch von MLflow Model Registry in SageMaker Model Registry registrieren. Weitere Informationen finden Sie unter Registrieren Sie SageMaker KI-Modelle automatisch bei SageMaker Model Registry.

SageMaker KI-Inferenz

Bereiten Sie Ihre besten Modelle für den Einsatz auf einem SageMaker KI-Endpunkt vor mitModelBuilder. Weitere Informationen finden Sie unter Stellen Sie MLflow Modelle bereit mit ModelBuilder.

AWS Identity and Access Management

Konfigurieren Sie den Zugriff MLflow mithilfe der rollenbasierten Zugriffskontrolle (RBAC) mit IAM. Schreiben Sie IAM-Identitätsrichtlinien, um die zu autorisieren, MLflow APIs die von einem Client eines Tracking-Servers aufgerufen werden können. MLflow Alle MLflow REST APIs werden als IAM-Aktionen unter dem Dienstpräfix dargestellt. sagemaker-mlflow Weitere Informationen finden Sie unter Richten Sie IAM-Berechtigungen ein für MLflow.

AWS CloudTrail

Mithilfe von AWS CloudTrail View-Logins können Sie die Betriebs- und Risikoprüfungen, die Verwaltung und die Einhaltung der Vorschriften für Ihr AWS Konto aktivieren. Weitere Informationen finden Sie unter AWS CloudTrail Logs.

Amazon EventBridge

Automatisieren Sie die Modellüberprüfung und den Bereitstellungszyklus mithilfe von MLflow Ereignissen, die von Amazon erfasst wurden EventBridge. Weitere Informationen finden Sie unter EventBridge Amazon-Veranstaltungen.

Unterstützt AWS-Regionen

Amazon SageMaker AI with MLflow ist generell in allen AWS kommerziellen Regionen verfügbar, in denen Amazon SageMaker Studio verfügbar ist, mit Ausnahme der Regionen und AWS GovCloud (US) Regionen China. SageMaker KI mit MLflow ist nur AWS CLI in Europa (Zürich), Asien-Pazifik (Hyderabad), Asien-Pazifik (Melbourne) und Kanada West (Calgary) verfügbar. AWS-Regionen

Tracking-Server werden in einer einzigen Verfügbarkeitszone innerhalb der angegebenen Region gestartet.

Funktionsweise

Ein MLflow Tracking-Server besteht aus drei Hauptkomponenten: Rechenleistung, Speicherung von Backend-Metadaten und Speicherung von Artefakten. Die Rechenleistung, die den Tracking-Server hostet, und der Backend-Metadatenspeicher werden sicher im SageMaker AI-Dienstkonto gehostet. Der Artefaktspeicher befindet sich in einem Amazon S3 S3-Bucket in Ihrem eigenen AWS Konto.

Ein Tracking-Server hat einen ARN. Sie können diesen ARN verwenden, um das MLflow SDK mit Ihrem Tracking Server zu verbinden und damit zu beginnen, Ihre Trainingsläufe zu protokollieren MLflow.

Lesen Sie weiter, um weitere Informationen zu den folgenden Schlüsselkonzepten zu erhalten:

Speicherung von Backend-Metadaten

Wenn Sie einen MLflow Tracking-Server erstellen, wird innerhalb des SageMaker AI-Dienstkontos automatisch ein Backend-Speicher konfiguriert und vollständig für Sie verwaltet, der verschiedene Metadaten für jeden Lauf speichert, wie z. B. die Lauf-ID, Start- und Endzeiten, Parameter und Metriken.

Aufbewahrung von Artefakten

Um persistenten Speicher für Metadaten für jeden Lauf bereitzustellen MLflow , z. B. Modellgewichte, Bilder, Modelldateien und Datendateien für Ihre Experimentläufe, müssen Sie mit Amazon S3 einen Artefaktspeicher erstellen. Der Artefaktspeicher muss in Ihrem AWS Konto eingerichtet sein und Sie müssen ausdrücklich MLflow Zugriff auf Amazon S3 gewähren, um auf Ihren Artefaktspeicher zugreifen zu können. Weitere Informationen finden Sie in der MLflow Dokumentation unter Artifact Stores.

MLflow Servergrößen verfolgen

Sie können die Größe Ihres Tracking-Servers optional in der Studio-Benutzeroberfläche oder mit dem AWS CLI Parameter angeben--tracking-server-size. Sie können zwischen "Small""Medium", und wählen"Large". Die Standardgröße für die Konfiguration des MLflow Trackingservers ist"Small". Sie können eine Größe wählen, die von der voraussichtlichen Nutzung des Tracking-Servers abhängt, z. B. von der Menge der protokollierten Daten, der Anzahl der Benutzer und der Nutzungshäufigkeit.

Wir empfehlen die Verwendung eines kleinen Trackingservers für Teams mit bis zu 25 Benutzern, eines mittleren Trackingservers für Teams mit bis zu 50 Benutzern und eines großen Trackingservers für Teams mit bis zu 100 Benutzern. Wir gehen davon aus, dass alle Benutzer gleichzeitig Anfragen an Ihren MLflow Tracking-Server stellen, um diese Empfehlungen abzugeben. Sie sollten die Größe des Tracking-Servers auf der Grundlage Ihres erwarteten Nutzungsmusters und der von den einzelnen Tracking-Servern unterstützten TPS-Werte (Transactions Per Second) auswählen.

Serverversionen verfolgen

Die folgenden MLflow Versionen sind für die Verwendung mit SageMaker KI verfügbar:

Die neueste Version des Tracking-Servers enthält die neuesten Funktionen, Sicherheitspatches und Bugfixes. Wenn Sie einen neuen Tracking-Server erstellen, empfehlen wir, die neueste Version zu verwenden. Weitere Informationen zum Erstellen eines Trackingservers finden Sie unterMLflow Server verfolgen.

MLflow Semantische Versionierung von Trackingservern. Versionen haben das folgende Format:. major-version.minor-version.patch-version

Die neuesten Funktionen, wie neue UI-Elemente und API-Funktionen, sind in der Nebenversion enthalten.

AWS CloudTrail Logs

AWS CloudTrail protokolliert automatisch Aktivitäten im Zusammenhang mit Ihrem MLflow Tracking-Server. Die folgenden API-Aufrufe sind angemeldet CloudTrail:

Weitere Informationen zu CloudTrail finden Sie im AWS CloudTrail Benutzerhandbuch.

EventBridge Amazon-Veranstaltungen

Wird verwendet EventBridge , um Ereignisse von der Verwendung MLflow mit SageMaker KI an Verbraucheranwendungen in Ihrem Unternehmen weiterzuleiten. Die folgenden Ereignisse werden gesendet an EventBridge:

Weitere Informationen zu EventBridge finden Sie im EventBridge Amazon-Benutzerhandbuch.