Überwachung der Daten- und Modellqualität mit Amazon SageMaker Model Monitor - Amazon SageMaker KI
So funktioniert’s

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung der Daten- und Modellqualität mit Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor überwacht die Qualität von Amazon SageMaker AI-Modellen für maschinelles Lernen in der Produktion. Mit Model Monitor können Sie Folgendes einrichten:

  • Kontinuierliche Überwachung mit einem Echtzeit-Endpunkt.

  • Kontinuierliche Überwachung mit einem Batch-Transformationsjob, der regelmäßig ausgeführt wird.

  • Termingerechte Überwachung für asynchrone Batch-Transformationsaufträge.

Mit Model Monitor können Sie Warnmeldungen einrichten, die Sie benachrichtigen, wenn es Abweichungen in der Modellqualität gibt. Durch die frühzeitige und proaktive Erkennung dieser Abweichungen können Sie Korrekturmaßnahmen ergreifen. Sie können Maßnahmen wie das Umschulen von Modellen, die Prüfung vorgelagerter Systeme oder die Behebung von Qualitätsproblemen ergreifen, ohne Modelle manuell überwachen oder zusätzliche Tools erstellen zu müssen. Sie können die vorgefertigten Überwachungsfunktionen von Model Monitor nutzen, die keine Programmierung erfordern. Sie haben auch die Flexibilität, Modelle durch Codierung zu überwachen, um benutzerdefinierte Analysen bereitzustellen.

Model Monitor bietet die folgenden Arten von Überwachungen:

Themen

So funktioniert Amazon SageMaker Model Monitor

Amazon SageMaker Model Monitor überwacht automatisch Modelle mit maschinellem Lernen (ML) in der Produktion und benachrichtigt Sie, wenn Qualitätsprobleme auftreten. Model Monitor verwendet Regeln, um Abweichungen in Ihren Modellen zu erkennen, und warnt Sie, wenn sie auftreten. Die folgende Abbildung zeigt, wie dieser Prozess funktioniert, wenn Ihr Modell auf einem Echtzeit-Endpunkt bereitgestellt wird.

Der Modellüberwachungsprozess mit Amazon SageMaker Model Monitor.

Sie können Model Monitor auch verwenden, um einen Batch-Transformationsauftrag anstelle eines Echtzeit-Endpunkts zu überwachen. In diesem Fall überwacht Model Monitor die Inferenzeingaben und -ausgaben, anstatt Anfragen an einen Endpunkt zu empfangen und die Vorhersagen zu verfolgen. Die folgende Abbildung zeigt den Prozess der Überwachung eines Batch-Transformationsaufträge.

Der Modellüberwachungsprozess mit Amazon SageMaker Model Monitor.

Gehen Sie wie folgt vor, um die Modellüberwachung zu aktivieren. Diese Schritte folgen dem Pfad der Daten durch die verschiedenen Datenerfassungs-, Überwachungs- und Analyseprozesse.

  • Für einen Echtzeit-Endpunkt aktivieren Sie den Endpunkt, um Daten von eingehenden Anfragen an ein trainiertes ML-Modell und die daraus resultierenden Modellvorhersagen zu erfassen.

  • Aktivieren Sie für einen Batch-Transformationsauftrag die Datenerfassung der Eingaben und Ausgaben der Batch-Transformation.

  • Erstellen Sie eine Baseline aus dem Datensatz, der zum Trainieren des Modells verwendet wurde. Die Baseline berechnet Metriken und schlägt Einschränkungen für die Metriken vor. Echtzeit- oder Batchprognosen aus Ihrem Modell werden mit den Einschränkungen verglichen. Sie werden als Verstöße gemeldet, wenn sie außerhalb der eingeschränkten Werte liegen.

  • Erstellen Sie einen Überwachungsplan, in dem festgelegt wird, welche Daten gesammelt werden sollen, wie oft sie gesammelt werden sollen, wie sie analysiert werden sollen und welche Berichte erstellt werden sollen.

  • Sehen Sie sich die Berichte an, in denen die neuesten Daten mit den Ausgangsdaten verglichen werden. Halten Sie Ausschau nach gemeldeten Verstößen, Kennzahlen und Benachrichtigungen von Amazon CloudWatch.

Hinweise

  • Model Monitor berechnet Modellmetriken und Statistiken nur anhand von Tabellendaten. Beispielsweise kann ein Bildklassifizierungsmodell, das Bilder als Eingabe verwendet und ein auf diesem Bild basierendes Etikett ausgibt, weiterhin überwacht werden. Model Monitor wäre in der Lage, Metriken und Statistiken für die Ausgabe zu berechnen, nicht für die Eingabe.

  • Model Monitor unterstützt derzeit nur Endpunkte, die ein einzelnes Modell hosten, und unterstützt nicht die Überwachung von Endpunkten mit mehreren Modellen. Hinweise zur Verwendung von Endpunkten mit mehreren Modellen finden Sie unter Multimodell-Endpunkte .

  • Model Monitor unterstützt die Überwachung von Inferenz-Pipelines. Die Erfassung und Analyse von Daten erfolgt jedoch für die gesamte Pipeline, nicht für einzelne Container in der Pipeline.

  • Um Auswirkungen auf Inferenzanfragen zu vermeiden, stoppt Data Capture die Erfassung von Anfragen bei hoher Festplattenauslastung. Wir empfehlen, die Festplattenauslastung unter 75% zu halten, um sicherzustellen, dass die Datenerfassung auch weiterhin Anfragen erfasst.

  • Wenn Sie SageMaker Studio in einer benutzerdefinierten Amazon VPC starten, müssen Sie VPC-Endpoints erstellen, damit Model Monitor mit Amazon S3 kommunizieren kann und. CloudWatch Weitere Informationen zu VPC-Endpunkten finden Sie unter VPC-Endpunkte im Amazon Virtual Private Cloud-Benutzerhandbuch. Informationen zum Starten von SageMaker Studio in einer benutzerdefinierten VPC finden Sie unterStudio-Notebooks in einer VPC mit externen Ressourcen Connect.

Beispielnotizbücher für Model Monitor

Ein Beispielnotizbuch, das Sie durch den end-to-end Workflow mit Model Monitor mit Ihrem Echtzeit-Endpunkt führt, finden Sie unter Einführung in Amazon SageMaker Model Monitor.

Ein Beispiel-Notebook, das die Datei statistics.json für eine ausgewählte Ausführung in einem Überwachungsplan visualisiert, finden Sie unter Model Monitor-Visualisierung.

Anweisungen zum Erstellen und Zugreifen auf Jupyter-Notebook-Instances, mit denen Sie das Beispiel in SageMaker KI ausführen können, finden Sie unter. Amazon SageMaker Notebook-Instances Nachdem Sie eine Notebook-Instanz erstellt und geöffnet haben, wählen Sie die Registerkarte SageMaker KI-Beispiele, um eine Liste aller KI-Beispiele anzuzeigen. SageMaker Zum Öffnen eines Notebooks wählen Sie die Registerkarte Verwenden und dann Kopie erstellen aus.