Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Datenvorbereitung beim maschinellen Lernen bezieht sich auf den Prozess des Sammelns, Vorverarbeitens und Organisierens von Rohdaten, um sie für die Analyse und Modellierung geeignet zu machen. Dieser Schritt stellt sicher, dass die Daten in einem Format vorliegen, aus dem Algorithmen für maschinelles Lernen effektiv lernen können. Zu den Aufgaben der Datenvorbereitung können der Umgang mit fehlenden Werten, das Entfernen von Ausreißern, das Skalieren von Merkmalen, die Kodierung kategorialer Variablen, die Bewertung potenzieller Verzerrungen und die Ergreifung von Maßnahmen zu ihrer Minderung, die Aufteilung der Daten in Trainings- und Testsätze, Kennzeichnung und andere notwendige Transformationen gehören, um die Qualität und Verwendbarkeit der Daten für nachfolgende maschinelle Lernaufgaben zu optimieren.
Wählen Sie eine Funktion
Es gibt drei Hauptanwendungsfälle für die Datenaufbereitung mit Amazon SageMaker AI. Wählen Sie den Anwendungsfall aus, der Ihren Anforderungen entspricht, und lesen Sie dann die entsprechende empfohlene Funktion.
Anwendungsfälle
Im Folgenden sind die wichtigsten Anwendungsfälle bei der Datenvorbereitung für Machine Learning aufgeführt.
-
Anwendungsfall 1: Für diejenigen, die eine visuelle Oberfläche bevorzugen, bietet SageMaker KI Möglichkeiten, Funktionen für das Modelltraining in einer point-and-click Umgebung zu erkunden, vorzubereiten und zu entwickeln.
-
Anwendungsfall 2: Für Benutzer, die mit dem Programmieren vertraut sind und mehr Flexibilität und Kontrolle über die Datenvorbereitung wünschen, integriert SageMaker KI Tools für Erkundung, Transformationen und Feature-Engineering in ihre Codierungsumgebungen.
-
Anwendungsfall 3: Für Benutzer, die sich auf skalierbare Datenaufbereitung konzentrieren, bietet SageMaker KI serverlose Funktionen, die das Hadoop/Spark-Ökosystem für die verteilte Verarbeitung großer Datenmengen nutzen.
Empfohlene Features
In der folgenden Tabelle werden die wichtigsten Überlegungen und Kompromisse für die SageMaker KI-Funktionen im Zusammenhang mit den einzelnen Anwendungsfällen der Datenvorbereitung für maschinelles Lernen beschrieben. Identifizieren Sie zunächst den Anwendungsfall, der Ihren Anforderungen entspricht, und navigieren Sie zu der empfohlenen SageMaker KI-Funktion.
| Deskriptor | Anwendungsfall 1 | Anwendungsfall 2 | Anwendungsfall 3 |
|---|---|---|---|
| SageMaker KI-Funktion | Data Wrangler in Amazon Canvas SageMaker | Datenaufbereitung mit SQL in Studio | Daten mit EMR Serverless vorbereitenAnwendungen in Studio |
| Beschreibung | SageMaker Canvas ist eine visuelle Low-Code-Umgebung zum Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen in SageMaker KI. Das integrierte Data Wrangler-Tool ermöglicht es Benutzern, Datensätze durch Interaktionen zu kombinieren, zu transformieren und zu bereinigen. point-and-click | Mit der SQL-Erweiterung in Studio können Benutzer eine Verbindung zu Amazon Redshift, Snowflake, Athena und Amazon S3 herstellen, um Ad-hoc-SQL-Abfragen zu erstellen und eine Vorschau der Ergebnisse in Notizbüchern anzuzeigen. JupyterLab Die Ausgabe dieser Abfragen kann wie folgt manipuliert werden Python and Pandas für zusätzliche Verarbeitung, Visualisierung und Umwandlung in Formate, die für die Modellentwicklung mit maschinellem Lernen verwendet werden können. | Die Integration zwischen EMR Serverless und Amazon SageMaker Studio bietet eine skalierbare serverlose Umgebung für die groß angelegte Datenvorbereitung für maschinelles Lernen mithilfe von Open-Source-Frameworks wie Apache Spark und Apache Hive. Benutzer können von ihren Studio-Notebooks aus direkt auf serverlose EMR-Anwendungen und -Daten zugreifen, um ihre Datenvorbereitungsaufgaben in großem Umfang durchzuführen. |
| Optimiert für | Verwenden Sie eine visuelle Oberfläche, in der Sie:
Optimiert für tabellarische Datenaufgaben wie den Umgang mit fehlenden Werten, die Kodierung kategorialer Variablen und die Anwendung von Datentransformationen. |
Für Benutzer, deren Daten sich in Amazon Redshift, Snowflake, Athena oder Amazon S3 befinden und die exploratives SQL kombinieren möchten und Python für die Datenanalyse und -aufbereitung ohne Lernaufwand Spark. | Für Benutzer, die ein serverloses Erlebnis mit automatischer Ressourcenbereitstellung und Terminierung für die Skalierung kurzzeitiger oder intermittierender interaktiver Workloads rund um Apache Spark bevorzugen und gleichzeitig die Vorteile der maschinellen Lernfunktionen von SageMaker KI nutzen. |
| Überlegungen |
|
|
|
| Empfohlene Umgebung | Erste Schritte mit der Verwendung von SageMaker Canvas | Starten Sie Studio | Starten Sie Studio |
Zusätzliche Optionen
SageMaker KI bietet die folgenden zusätzlichen Optionen zur Vorbereitung Ihrer Daten für die Verwendung in Modellen für maschinelles Lernen.
-
Datenaufbereitung mit Amazon EMR: Für lang andauernde, rechenintensive und umfangreiche Datenverarbeitungsaufgaben sollten Sie die Verwendung von Amazon EMR-Clustern von Studio in Betracht ziehen. SageMaker Amazon EMR-Cluster sind für massive Parallelisierung konzipiert und können auf Hunderte oder Tausende von Knoten skaliert werden, sodass sie sich gut für Big-Data-Workloads eignen, die Frameworks wie Apache Spark, Hadoop, Hive und Presto erfordern. Durch die Integration von Amazon EMR mit SageMaker Studio können Sie die Skalierbarkeit und Leistung von Amazon EMR nutzen und gleichzeitig Ihre gesamten ML-Experimente, Modellschulungen und -bereitstellungen in der SageMaker Studio-Umgebung zentralisieren und verwalten.
-
Bereiten Sie Daten mithilfe interaktiver Glue-Sitzungen vor: Sie können die auf Apache Spark basierende serverlose Engine von AWS Glue interaktiven Sitzungen aus verwenden, um Daten aus mehreren Quellen in Studio zu aggregieren, zu transformieren und aufzubereiten. SageMaker
-
Identifizieren Sie Verzerrungen in Trainingsdaten mithilfe von Amazon SageMaker Clarif-Verarbeitungsjobs: SageMaker Clarify analysiert Ihre Daten und erkennt potenzielle Verzerrungen in mehreren Facetten. Sie können beispielsweise die Clarif-API in Studio verwenden, um zu erkennen, ob Ihre Trainingsdaten unausgewogene Repräsentationen oder Kennzeichnungsfehler zwischen Gruppen wie Geschlecht, Rasse oder Alter enthalten. Clarify kann Ihnen helfen, diese Verzerrungen zu identifizieren, bevor Sie ein Modell trainieren, um zu verhindern, dass sich Verzerrungen in den Vorhersagen des Modells ausbreiten.
-
Funktionen erstellen, speichern und teilen: Amazon SageMaker Feature Store optimiert die Entdeckung und Wiederverwendung kuratierter Funktionen für maschinelles Lernen. Es bietet ein zentrales Repository zum Speichern von Funktionsdaten, die für das Modelltraining durchsucht und abgerufen werden können. Das Speichern von Features in einem standardisierten Format ermöglicht die Wiederverwendung in ML-Projekten. Der Feature Store verwaltet den gesamten Lebenszyklus von Funktionen, einschließlich der Nachverfolgung der Herkunft, Statistiken und Prüfpfade für skalierbares und kontrolliertes Feature-Engineering mit maschinellem Lernen.
-
Kennzeichnen Sie Daten mit human-in-the-loop: Sie können SageMaker Ground Truth verwenden, um die Datenkennzeichnungsworkflows Ihrer Trainingsdatensätze zu verwalten.
-
Verwenden Sie die SageMaker Verarbeitungs-API: Nachdem Sie eine explorative Datenanalyse durchgeführt und Ihre Schritte zur Datentransformation erstellt haben, können Sie Ihren Transformationscode mithilfe von SageMaker KI-Verarbeitungsjobs produzieren und Ihren Vorbereitungsablauf mithilfe von Model Building Pipelines automatisieren. SageMaker
