Tutorial: Erstellen Sie einen Workflow für end-to-end maschinelles Lernen in Canvas SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Dieses Tutorial führt Sie durch einen Workflow für end-to-end maschinelles Lernen (ML) mit Amazon SageMaker Canvas. SageMaker Canvas ist eine visuelle Schnittstelle ohne Code, mit der Sie Daten aufbereiten und ML-Modelle trainieren und bereitstellen können. Für das Tutorial verwenden Sie einen Taxi-Datensatz aus New York, um ein Modell zu trainieren, das den Fahrpreis für eine bestimmte Fahrt vorhersagt. Sie erhalten praktische Erfahrung mit wichtigen ML-Aufgaben wie der Bewertung der Datenqualität und der Behebung von Datenproblemen, der Aufteilung von Daten in Trainings- und Testsätze, dem Training und der Auswertung von Modellen, dem Erstellen von Prognosen und der Bereitstellung Ihres trainierten Modells — alles innerhalb der Canvas-Anwendung. SageMaker

Einrichtung

Eine Amazon SageMaker AI-Domain ist ein zentraler Ort zur Verwaltung all Ihrer Amazon SageMaker AI-Umgebungen und -Ressourcen. Eine Domain dient als virtuelle Grenze für Ihre Arbeit im Bereich SageMaker KI und bietet Isolierung und Zugriffskontrolle für Ihre Ressourcen für maschinelles Lernen (ML).

Um mit Amazon SageMaker Canvas zu beginnen, müssen Sie oder Ihr Administrator zur SageMaker AI-Konsole navigieren und eine Amazon SageMaker AI-Domain erstellen. Eine Domain verfügt über die Speicher- und Rechenressourcen, die Sie für die Ausführung von SageMaker Canvas benötigen. Innerhalb der Domain konfigurieren Sie SageMaker Canvas für den Zugriff auf Ihre Amazon S3 S3-Buckets und die Bereitstellung von Modellen. Gehen Sie wie folgt vor, um eine Quick-Domain einzurichten und eine SageMaker Canvas-Anwendung zu erstellen.

Das vorherige Verfahren verwendete eine schnelle Domäneneinrichtung. Sie können eine erweiterte Konfiguration durchführen, um alle Aspekte der Kontokonfiguration, einschließlich Berechtigungen, Integrationen und Verschlüsselung, zu kontrollieren. Weitere Informationen zu einer benutzerdefinierten Einrichtung finden Sie unterBenutzerdefiniertes Setup für Amazon SageMaker AI verwenden.

Standardmäßig erhalten Sie bei der schnellen Domäneneinrichtung Berechtigungen zum Bereitstellen von Modellen. Wenn Sie benutzerdefinierte Berechtigungen über eine Standarddomäne eingerichtet haben und Sie manuell Berechtigungen für die Modellbereitstellung erteilen müssen, finden Sie weitere Informationen unterBerechtigungsverwaltung.

Erstellung von Schemas

Amazon SageMaker Canvas ist eine Plattform für maschinelles Lernen, die es Benutzern ermöglicht, Modelle für maschinelles Lernen ohne umfangreiche Programmierkenntnisse oder maschinelles Lernen zu erstellen, zu trainieren und einzusetzen. Eine der leistungsstarken Funktionen von Amazon SageMaker Canvas ist die Möglichkeit, große Datensätze aus verschiedenen Quellen wie Amazon S3 zu importieren und mit ihnen zu arbeiten.

In diesem Tutorial verwenden wir den Taxidatensatz von NYC, um mithilfe eines Amazon SageMaker Canvas Data Wrangler-Datenflusses den Fahrpreis für jede Fahrt vorherzusagen. Das folgende Verfahren beschreibt die Schritte zum Importieren einer modifizierten Version des NYC-Taxidatensatzes in einen Datenfluss.

Bericht 1 zu Datenqualität und Erkenntnissen (Beispiel)

Nach dem Import eines Datensatzes in Amazon SageMaker Canvas können Sie einen Datenqualitäts- und Insights-Bericht für eine Stichprobe der Daten erstellen. Verwenden Sie ihn, um wertvolle Einblicke in den Datensatz zu erhalten. Der Bericht macht Folgendes:

Es kann andere potenzielle Probleme identifizieren, die sich auf die Modellleistung auswirken können. Außerdem wird die Vorhersagekraft der einzelnen Merkmale in Bezug auf die Zielvariable bewertet, sodass Sie die relevantesten Merkmale für das Problem, das Sie zu lösen versuchen, identifizieren können.

Wir können die Erkenntnisse aus dem Bericht nutzen, um die Höhe des Fahrpreises vorherzusagen. Indem Sie die Spalte für den Flugpreis als Zielvariable angeben und Regression als Problemtyp auswählen, analysiert der Bericht, ob der Datensatz für die Vorhersage kontinuierlicher Werte wie Flugpreise geeignet ist. Aus dem Bericht sollte hervorgehen, dass Funktionen wie Jahr und Hour_of_Day eine geringe Aussagekraft für die gewählte Zielvariable haben, sodass Sie wertvolle Erkenntnisse gewinnen können.

Gehen Sie wie folgt vor, um einen Datenqualitäts- und Insights-Bericht für eine Stichprobe mit 50.000 Zeilen aus dem Datensatz zu erhalten.

Sie können den Bericht „Datenqualität und Einblicke“ anhand einer Stichprobe Ihrer Daten überprüfen. Aus dem Bericht geht hervor, dass die Funktionen „Jahr“ und „Hour_of_Day“ keine Vorhersage der Zielvariablen, dem Flugpreis, ermöglichen.

Wählen Sie oben in der Navigation den Namen des Datenflusses aus, um zu ihm zurückzukehren.

Geben Sie Jahr und Stunde des Tages ein

Wir verwenden die Erkenntnisse aus dem Bericht, um die Spalten year und hour_of_day zu löschen, um den Feature-Bereich zu optimieren und möglicherweise die Modellleistung zu verbessern.

Amazon SageMaker Canvas bietet eine benutzerfreundliche Oberfläche und Tools zur Durchführung solcher Datentransformationen.

Gehen Sie wie folgt vor, um die Spalten year und hour_of_day mit dem Data Wrangler-Tool in Amazon Canvas aus dem NYC-Taxi-Datensatz zu löschen. SageMaker

Sie können das vorherige Verfahren als Grundlage verwenden, um alle anderen Transformationen in SageMaker Canvas hinzuzufügen.

Bericht 2 zur Datenqualität und zu Erkenntnissen (vollständiger Datensatz)

Für den vorherigen Insights-Bericht haben wir eine Stichprobe des Taxi-Datensatzes in New York verwendet. Für unseren zweiten Bericht führen wir eine umfassende Analyse des gesamten Datensatzes durch, um mögliche Probleme zu identifizieren, die sich auf die Modellleistung auswirken.

Gehen Sie wie folgt vor, um einen Bericht über Datenqualität und Einblicke für einen gesamten Datensatz zu erstellen.

Das Folgende ist ein Bild aus dem Insights-Bericht:

Dabei treten die folgenden Probleme auf:

Doppelte Zeilen können zu Datenlecks führen, wenn das Modell beim Training und Testen denselben Daten ausgesetzt ist. Sie können zu übermäßig optimistischen Leistungskennzahlen führen. Durch das Entfernen doppelter Zeilen wird sichergestellt, dass das Modell auf eindeutigen Instanzen trainiert wird, wodurch das Risiko von Datenverlusten reduziert und die Generalisierbarkeit des Modells verbessert wird.

Eine schiefe Verteilung der Zielvariablen, in diesem Fall die Spalte für den Flugpreis, kann zu unausgewogenen Klassen führen, sodass das Modell tendenziell in Richtung Mehrheitsklasse tendieren kann. Dies kann zu schlechten Ergebnissen in Minderheitenklassen führen, was besonders in Szenarien problematisch ist, in denen es wichtig ist, seltene oder unterrepräsentierte Fälle genau vorherzusagen.

Lösung von Problemen mit der Datenqualität

Um diese Probleme zu lösen und den Datensatz für die Modellierung vorzubereiten, können Sie nach den folgenden Transformationen suchen und sie anwenden:

Wenn Sie sich nicht sicher sind, wie Sie eine Transformation anwenden, finden Sie weitere Informationen unter Geben Sie Jahr und Stunde des Tages ein

Indem Sie diese Probleme mit der Datenqualität beheben und geeignete Transformationen anwenden, können Sie die Eignung des Datensatzes für die Modellierung verbessern.

Überprüfung der Datenqualität und der schnellen Modellgenauigkeit

Nachdem wir die Transformationen angewendet haben, um Probleme mit der Datenqualität zu beheben, wie z. B. das Entfernen doppelter Zeilen, erstellen wir unseren endgültigen Bericht über Datenqualität und Einblicke. Anhand dieses Berichts kann überprüft werden, ob die Probleme durch die angewandten Transformationen behoben wurden und ob sich der Datensatz nun in einem für die Modellierung geeigneten Zustand befindet.

Wenn Sie sich den endgültigen Bericht „Datenqualität und Einblicke“ ansehen, sollten Sie davon ausgehen, dass keine größeren Datenqualitätsprobleme gemeldet werden. Aus dem Bericht sollte Folgendes hervorgehen:

Darüber hinaus sollte der Bericht eine schnelle Modellbewertung enthalten, die auf einem Basismodell basiert, das auf dem transformierten Datensatz trainiert wurde. Dieser Wert dient als erster Indikator für die potenzielle Genauigkeit und Leistung des Modells.

Gehen Sie wie folgt vor, um den Bericht Datenqualität und Einblicke zu erstellen.

Teilen Sie die Daten in Trainings- und Testsätze auf

Um ein Modell zu trainieren und seine Leistung zu bewerten, verwenden wir die Split-Datentransformation, um die Daten in Trainings- und Testsätze aufzuteilen.

Standardmäßig verwendet SageMaker Canvas eine randomisierte Aufteilung, aber Sie können auch die folgenden Arten von Teilungen verwenden:

Sie können den Prozentsatz für die Aufteilung ändern oder Teilungen hinzufügen.

Verwenden Sie für dieses Tutorial alle Standardeinstellungen für die Aufteilung. Sie müssen auf den Datensatz doppelklicken, um seinen Namen zu sehen. Der Trainingsdatensatz hat den Namen Dataset (Train).

Wenden Sie neben dem Ordinal-Codierungsknoten die Datentransformation Split an.

Modell des Zuges

Nachdem Sie Ihre Daten aufgeteilt haben, können Sie ein Modell trainieren. Dieses Modell lernt aus Mustern in Ihren Daten. Sie können es verwenden, um Vorhersagen zu treffen oder Erkenntnisse zu gewinnen.

SageMaker Canvas hat sowohl Schnell-Builds als auch Standard-Builds. Verwenden Sie einen Standard-Build, um das Modell mit der besten Leistung anhand Ihrer Daten zu trainieren.

Bevor Sie mit dem Training eines Modells beginnen, müssen Sie den Trainingsdatensatz zunächst als SageMaker Canvas-Datensatz exportieren.

Nachdem Sie einen Datensatz erstellt haben, können Sie ein Modell auf dem von Ihnen erstellten SageMaker Canvas-Datensatz trainieren. Für weitere Informationen zum Schulen eines Modells siehe Erstellen Sie ein benutzerdefiniertes numerisches oder kategoriales Vorhersagemodell.

Evaluieren Sie das Modell und treffen Sie Vorhersagen

Nach dem Training Ihres Modells für maschinelles Lernen ist es wichtig, dessen Leistung zu bewerten, um sicherzustellen, dass es Ihren Anforderungen entspricht und bei unsichtbaren Daten eine gute Leistung erbringt. Amazon SageMaker Canvas bietet eine benutzerfreundliche Oberfläche, mit der Sie die Genauigkeit Ihres Modells beurteilen, seine Prognosen überprüfen und Einblicke in seine Stärken und Schwächen gewinnen können. Sie können die Erkenntnisse nutzen, um fundierte Entscheidungen über den Einsatz und mögliche Verbesserungsmöglichkeiten zu treffen.

Verwenden Sie das folgende Verfahren, um ein Modell zu bewerten, bevor Sie es bereitstellen.

Sie können jetzt die Metriken zur Modellbewertung einsehen.

Nachdem Sie das Modell bewertet haben, können Sie Vorhersagen für neue Daten treffen. Wir verwenden den Testdatensatz, den wir erstellt haben.

Um den Testdatensatz für Vorhersagen zu verwenden, müssen wir ihn in einen SageMaker Canvas-Datensatz konvertieren. Der SageMaker Canvas-Datensatz hat ein Format, das das Modell interpretieren kann.

Gehen Sie wie folgt vor, um einen SageMaker Canvas-Datensatz aus dem Testdatensatz zu erstellen.

Verwenden Sie das folgende Verfahren, um Vorhersagen zu treffen. Es wird davon ausgegangen, dass Sie sich immer noch auf der Seite Analysieren befinden.

Bereitstellen eines Modells

Nachdem Sie Ihr Modell bewertet haben, können Sie es auf einem Endpunkt bereitstellen. Sie können Anfragen an den Endpunkt senden, um Vorhersagen zu erhalten.

Verwenden Sie das folgende Verfahren, um ein Modell bereitzustellen. Es wird davon ausgegangen, dass Sie sich immer noch auf der Seite Predict befinden.

Bereinigen

Sie haben das Tutorial erfolgreich abgeschlossen. Um zusätzliche Gebühren zu vermeiden, löschen Sie die Ressourcen, die Sie nicht verwenden.

Gehen Sie wie folgt vor, um den von Ihnen erstellten Endpunkt zu löschen. Es wird davon ausgegangen, dass Sie sich immer noch auf der Bereitstellungsseite befinden.

Löschen Sie nach dem Löschen der Bereitstellung die Datensätze, die Sie in SageMaker Canvas erstellt haben. Gehen Sie wie folgt vor, um die Datensätze zu löschen.

Um zusätzliche Gebühren zu vermeiden, müssen Sie sich von SageMaker Canvas abmelden. Weitere Informationen finden Sie unter Von Amazon SageMaker Canvas abmelden.