Empfehlungen für die Auswahl des richtigen Tools zur Datenaufbereitung in SageMaker - Amazon SageMaker
Wählen Sie eine Funktion

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Empfehlungen für die Auswahl des richtigen Tools zur Datenaufbereitung in SageMaker

Datenvorbereitung beim maschinellen Lernen bezieht sich auf den Prozess des Sammelns, Vorverarbeitens und Organisierens von Rohdaten, um sie für die Analyse und Modellierung geeignet zu machen. Dieser Schritt stellt sicher, dass die Daten in einem Format vorliegen, aus dem Algorithmen für maschinelles Lernen effektiv lernen können. Zu den Aufgaben der Datenvorbereitung können der Umgang mit fehlenden Werten, das Entfernen von Ausreißern, die Skalierung von Merkmalen, die Kodierung kategorialer Variablen, die Bewertung potenzieller Verzerrungen und die Ergreifung von Maßnahmen zu ihrer Minderung, die Aufteilung der Daten in Trainings- und Testsätze, die Kennzeichnung und andere notwendige Transformationen gehören, um die Qualität und Verwendbarkeit der Daten für nachfolgende maschinelle Lernaufgaben zu optimieren.

Wählen Sie eine Funktion

Es gibt drei Hauptanwendungsfälle für die Datenaufbereitung mit Amazon SageMaker. Wählen Sie den Anwendungsfall aus, der Ihren Anforderungen entspricht, und lesen Sie dann die entsprechende empfohlene Funktion.

Anwendungsfälle

Im Folgenden sind die wichtigsten Anwendungsfälle bei der Datenvorbereitung für Machine Learning aufgeführt.

  • Anwendungsfall 1: Für Benutzer, die eine visuelle Oberfläche bevorzugen, SageMaker bietet es Möglichkeiten, Funktionen für das Modelltraining in einer point-and-click Umgebung zu erkunden, vorzubereiten und zu entwickeln.

  • Anwendungsfall 2: Für Benutzer, die mit Programmieren vertraut sind und mehr Flexibilität und Kontrolle bei der Datenvorbereitung wünschen, SageMaker integriert es Tools in seine Codierungsumgebungen für Erkundung, Transformationen und Feature-Engineering.

  • Anwendungsfall 3: Für Benutzer, die sich auf skalierbare Datenaufbereitung konzentrieren, SageMaker bietet es serverlose Funktionen, die das Hadoop/Spark-Ökosystem für die verteilte Verarbeitung großer Datenmengen nutzen.

In der folgenden Tabelle werden die wichtigsten Überlegungen und Kompromisse für die SageMaker Funktionen im Zusammenhang mit den einzelnen Anwendungsfällen der Datenvorbereitung für maschinelles Lernen aufgeführt. Identifizieren Sie zunächst den Anwendungsfall, der Ihren Anforderungen entspricht, und navigieren Sie zu der empfohlenen Funktion. SageMaker

Anwendungsfall 1 Anwendungsfall 2 Anwendungsfall 3
SageMaker Funktion Data Wrangler in Amazon Canvas SageMaker Bereiten Sie Daten mit in Studio vor SQL Bereiten Sie Daten mit EMR Serverless vorAnwendungen in Studio
Beschreibung SageMaker Canvas ist eine visuelle Low-Code-Umgebung zum Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen in SageMaker. Das integrierte Data Wrangler-Tool ermöglicht es Benutzern, Datensätze durch Interaktionen zu kombinieren, zu transformieren und zu bereinigen. point-and-click Mit der SQL Erweiterung in Studio können Benutzer eine Verbindung zu Amazon Redshift, Snowflake, Athena und Amazon S3 herstellen, um SQL Ad-hoc-Abfragen zu erstellen und eine Vorschau der Ergebnisse in Notizbüchern anzuzeigen. JupyterLab Die Ausgabe dieser Abfragen kann wie folgt manipuliert werden Python and Pandas für zusätzliche Verarbeitung, Visualisierung und Umwandlung in Formate, die für die Modellentwicklung mit maschinellem Lernen verwendet werden können. Die Integration zwischen EMR Serverless und Amazon SageMaker Studio bietet eine skalierbare serverlose Umgebung für die groß angelegte Datenvorbereitung für maschinelles Lernen mithilfe von Open-Source-Frameworks wie Apache Spark und Apache Hive. Benutzer können von ihren Studio-Notebooks aus direkt auf EMR serverlose Anwendungen und Daten zugreifen, um ihre Datenvorbereitungsaufgaben in großem Umfang durchzuführen.
Optimiert für Verwenden Sie eine visuelle Oberfläche, in der Sie:

Optimiert für tabellarische Datenaufgaben wie den Umgang mit fehlenden Werten, die Kodierung kategorialer Variablen und die Anwendung von Datentransformationen.

 Für Benutzer, deren Daten sich in Amazon Redshift, Snowflake, Athena oder Amazon S3 befinden und die explorative und SQL Python für die Datenanalyse und -aufbereitung, ohne dass sie lernen müssen Spark. Für Benutzer, die ein serverloses Erlebnis mit automatischer Ressourcenbereitstellung und Terminierung für die Skalierung kurzzeitiger oder intermittierender interaktiver Workloads rund um Apache Spark bevorzugen und gleichzeitig die maschinellen Lernfunktionen von Apache Spark nutzen möchten. SageMaker
Überlegungen

  • Es ist möglicherweise nicht die optimale Wahl, wenn Ihr Team bereits über Kenntnisse in Python, Spark oder anderen Sprachen verfügt.

  • Es ist möglicherweise nicht die beste Lösung, wenn Sie volle Flexibilität benötigen, um Transformationen anzupassen, um komplexe Geschäftslogik hinzuzufügen, oder wenn Sie die volle Kontrolle über Ihre Datenverarbeitungsumgebung benötigen.

  • Diese Funktion ist nur für strukturierte Daten konzipiert, die sich in Amazon Redshift, Snowflake, Athena oder Amazon S3 befinden.

  • Wenn die Größe Ihrer Abfrageergebnisse Ihren SageMaker Instance-Speicher übersteigt, finden Sie im folgenden Notizbuch eine Anleitung zu den ersten Schritten mit Athena, um Ihre Daten für die Aufnahme durch einen Algorithmus vorzubereiten. SageMaker

  • Die Lernkurve für Benutzer, die mit EMR serverlosen Anwendungen und Spark-basierten Tools nicht vertraut sind, kann eine Herausforderung sein.

  • Diese Funktion eignet sich besser für interaktive Datenvorbereitungsaufgaben und ist möglicherweise nicht so effizient wie EMR Amazon-Cluster für umfangreiche, lang andauernde oder komplexe Datenverarbeitungsanforderungen mit riesigen Datenmengen, umfassender Integration mit anderen Diensten, benutzerdefinierten Anwendungen oder diversen verteilten Datenverarbeitungs-Frameworks, die über Apache Spark hinausgehen.

  • Serverloses Computing kann zwar für kurzlebige Aufgaben kostengünstig sein, es ist jedoch wichtig, die Kosten sorgfältig zu überwachen und zu verwalten, insbesondere bei lang andauernden oder ressourcenintensiven Workloads.
Empfohlene Umgebung Erste Schritte mit der Verwendung von SageMaker Canvas Starten Sie Studio Starten Sie Studio

Zusätzliche Optionen

SageMaker bietet die folgenden zusätzlichen Optionen zur Vorbereitung Ihrer Daten für die Verwendung in Modellen für maschinelles Lernen.