Beispielnotizbücher für Amazon SageMaker Autopilot

Standardmäßig ermöglicht Autopilot die Bereitstellung generierter Modelle für Inferenzendpunkte in Echtzeit. In diesem Repository wird in diesem Notebook veranschaulicht, wie Autopilot-Modelle, die mit ENSEMBLING und HYPERPARAMETER OPTIMIZATION (HPO) Modi trainiert wurden, auf serverlosen Endpunkten eingesetzt werden können. Serverlose Endgeräte starten automatisch Rechenressourcen und skalieren sie je nach Datenverkehr ein- und auswärts, sodass Sie keine Instance-Typen auswählen oder Skalierungsrichtlinien verwalten müssen.

Auswahl benutzerdefinierter Funktionen

Der Autopilot überprüft Ihren Datensatz und führt eine Reihe von Kandidaten durch, um die optimale Kombination aus Datenvorverarbeitungsschritten, Algorithmen für Machine Learning und Hyperparametern zu ermitteln. Sie können die Lösung problemlos entweder auf einem Echtzeit-Endpunkt oder für die Batch-Verarbeitung bereitstellen.

In einigen Fällen ist es möglicherweise erforderlich, benutzerdefinierten Datenverarbeitungscode für Autopilot bereitzustellen. Beispielsweise könnten Ihre Datensätze eine große Anzahl unabhängiger Variablen enthalten, und Sie möchten möglicherweise zuerst einen Schritt zur benutzerdefinierten Feature-Auswahl einbauen, um irrelevante Variablen zu entfernen. Der resultierende kleinere Datensatz kann dann verwendet werden, um einen Autopilotauftrag zu starten. Letztlich sollten Sie auch sowohl den benutzerdefinierten Verarbeitungscode als auch Modelle von Autopilot für die Echtzeit- oder Batch-Verarbeitung einbeziehen.

Beispiel für eine Pipeline

Der Autopilot optimiert zwar den Prozess der Erstellung von ML-Modellen, aber MLOps Ingenieure sind weiterhin für die Erstellung, Automatisierung und Verwaltung von end-to-end ML-Workflows in der Produktion verantwortlich. SageMaker Pipelines können dabei helfen, verschiedene Schritte des ML-Lebenszyklus zu automatisieren, z. B. Datenvorverarbeitung, Modelltraining, Hyperparameter-Tuning, Modellevaluierung und Bereitstellung. Dieses Notizbuch dient als Demonstration, wie Autopilot in einen end-to-end AutoML-Schulungsworkflow von SageMaker Pipelines integriert werden kann. Um ein Autopilot-Experiment in Pipelines zu starten, müssen Sie einen Workflow zur Modellerstellung erstellen, indem Sie mithilfe von Pipelines Lambda oder Prozessiereung Steps benutzerdefinierten Integrationscode schreiben. Weitere Informationen finden Sie unter Move Amazon SageMaker Autopilot ML-Modelle mithilfe von Amazon SageMaker AI Pipelines vom Experiment zur Produktion.

Wenn Sie Autopilot im Ensembling-Modus verwenden, können Sie sich alternativ auf das Notebook-Beispiel beziehen, das zeigt, wie der native AutoML-Schritt im nativen AutoML-Schritt von SageMaker Pipeline verwendet wird. Da Autopilot als systemeigener Schritt in Pipelines unterstützt wird, können Sie Ihren Pipelines jetzt einen automatisierten Trainingsschritt (Auto MLStep) hinzufügen und ein Autopilot-Experiment im Ensembling-Modus aufrufen.

In diesem Notizbuch wird gezeigt, wie anhand des Bank Marketing Data Set vorhergesagt werden kann, ob sich ein Kunde für eine Festgeldzahlung bei einer Bank anmelden wird. Sie können Autopilot für diesen Datensatz verwenden, um die genaueste ML-Pipeline zu erhalten, indem Sie die Optionen verschiedener Kandidaten-Pipelines untersuchen. Autopilot generiert jeden Kandidaten in einem zweistufigen Verfahren. Im ersten Schritt wird das automatisierte Feature Engineering für den Datensatz durchgeführt. Der zweite Schritt trainiert und optimiert einen Algorithmus, um ein Modell zu erzeugen. Das Notebook enthält Anweisungen zum Trainieren des Modells und zum Einsatz des Modells, um eine Batch-Inferenz mit dem besten Kandidaten durchzuführen.

Dieses Notizbuch beschreibt den Einsatz von maschinellem Lernen zur automatisierten Identifizierung unzufriedener Kunden, auch bekannt als Prognose der Kundenabwanderung. Das Beispiel zeigt, wie man einen öffentlich zugänglichen Datensatz analysiert und darauf ein Feature Engineering durchführt. Als Nächstes wird gezeigt, wie ein Modell optimiert wird, indem die Pipeline mit der besten Leistung zusammen mit den optimalen Hyperparametern für den Trainingsalgorithmus ausgewählt wird. Schließlich wird gezeigt, wie das Modell auf einem gehosteten Endpunkt eingesetzt wird und wie seine Vorhersagen im Vergleich zur Ground Truth bewertet werden können. ML-Modelle liefern jedoch selten perfekte Vorhersagen. Deshalb zeigt dieses Notebook auch, wie man die relativen Kosten von Prognosefehlern bei der Ermittlung des finanziellen Ergebnisses des Einsatzes von ML einbeziehen kann.

In diesem Notizbuch wird auch der Einsatz von maschinellem Lernen zur automatisierten Identifizierung unzufriedener Kunden beschrieben, was auch als Prognose der Kundenabwanderung bezeichnet wird. In diesem Notebook wird gezeigt, wie das Modell konfiguriert wird, um die Inferenzwahrscheinlichkeit zu ermitteln, die Top-N-Modelle auszuwählen und eine Batch-Transformation an einem Hold-Out-Testset zur Auswertung durchzuführen.

Dieses Notizbuch zeigt, wie Sie benutzerdefinierten Datenverarbeitungscode integrieren und bereitstellen, wenn Sie Amazon SageMaker Autopilot verwenden. Es fügt einen Schritt zur benutzerdefinierten Funktionsauswahl hinzu, um irrelevante Variablen zu einem Autopilot-Job zu entfernen. Anschließend wird gezeigt, wie sowohl der benutzerdefinierte Verarbeitungscode als auch die vom Autopilot generierten Modelle auf einem Echtzeit-Endpunkt und alternativ für die Stapelverarbeitung bereitgestellt werden.

Mehr Notebooks

Weitere Notebooks, die andere Anwendungsfälle wie Batch-Transformation, Zeitreihenprognosen und mehr veranschaulichen, finden Sie im Stammverzeichnis.