Transformieren Sie Daten

Amazon SageMaker Data Wrangler bietet zahlreiche ML-Datentransformationen, um die Bereinigung und Bereitstellung Ihrer Daten zu optimieren. Mithilfe der interaktiven Datenaufbereitungstools in Data Wrangler können Sie Datensätze beliebiger Größe mit einer Vielzahl von Stichprobenverfahren beproben und innerhalb weniger Minuten mit der Erkundung Ihrer Daten beginnen. Nachdem Sie Ihre Datentransformationen für die Stichprobendaten abgeschlossen haben, können Sie den Datenfluss skalieren, um diese Transformationen auf den gesamten Datensatz anzuwenden.

Wenn Sie eine Transformation hinzufügen, wird der Datenablauf um einen Schritt erweitert. Jede Transformation, die Sie hinzufügen, ändert Ihren Datensatz und erzeugt einen neuen Datenrahmen. Alle nachfolgenden Transformationen gelten für den resultierenden Datenrahmen.

Data Wrangler enthält integrierte Transformationen, mit denen Sie ohne Code Spalten transformieren können. Wenn Sie wissen, wie Sie Ihre Daten aufbereiten möchten, aber nicht wissen, wie Sie damit beginnen sollen oder welche Transformationen Sie verwenden sollen, können Sie die Chat-Funktion zur Datenvorbereitung verwenden, um mit Data Wrangler im Gespräch zu interagieren und Transformationen in natürlicher Sprache anzuwenden. Weitere Informationen finden Sie unter Chatten Sie zur Datenvorbereitung.

Sie können auch benutzerdefinierte Transformationen mit PySpark Python (benutzerdefinierte Funktion), Pandas und hinzufügen. PySpark SQL Manche Transformationen erfolgen vor Ort, während andere in Ihrem Datensatz eine neue Ausgabespalte erstellen.

Sie können Transformationen auf mehrere Spalten gleichzeitig anwenden. Sie können z. B. mehrere Spalten in einem einzigen Schritt löschen.

Sie können die Transformationen „Numerisch verarbeiten“ und „Fehlende Transformation verarbeiten“ nur auf eine einzelne Spalte anwenden.

Auf dieser Seite erfahren Sie mehr über die integrierten und benutzerdefinierten Transformationen, die von Data Wrangler angeboten werden.

Datensätze verknüpfen

Sie können Datensätze direkt in Ihrem Datenfluss verbinden. Wenn Sie zwei Datensätze verknüpfen, wird der daraus resultierende verknüpfte Datensatz in Ihrem Datenablauf angezeigt. Die folgenden Join-Typen werden von Data Wrangler unterstützt.

Gehen Sie wie folgt vor, um zwei Datensätze zu verbinden. Sie sollten bereits zwei Datenquellen in Ihren Datenfluss importiert haben.

Sie sollten jetzt sehen, dass Ihrem Datenfluss ein Join-Knoten hinzugefügt wurde.

Datensätze verketten

Beim Verketten werden zwei Datensätze kombiniert, indem die Zeilen von einem Datensatz an einen anderen angehängt werden.

Gehen Sie wie folgt vor, um zwei Datensätze zu verketten. Sie sollten bereits zwei Datenquellen in Ihren Datenfluss importiert haben.

Sie sollten nun sehen, dass Ihrem Datenfluss ein verketteter Knoten hinzugefügt wurde.

Daten ausgleichen

Sie können die Daten für Datensätze mit einer unterrepräsentierten Kategorie ausgleichen. Wenn Sie einen Datensatz ausgleichen, können Sie bessere Modelle für die binäre Klassifikation erstellen.

Sie können die Operation Daten ausgleichen verwenden, um Ihre Daten mit einem der folgenden Operatoren auszugleichen:

Sie können alle Transformationen für Datensätze verwenden, die sowohl numerische als auch nichtnumerische Funktionen enthalten. SMOTEinterpoliert Werte mithilfe von benachbarten Stichproben. Data Wrangler verwendet die R-Quadrat-Entfernung, um die Nachbarschaft für die Interpolation der zusätzlichen Stichproben zu bestimmen. Data Wrangler verwendet nur numerische Features, um die Entfernungen zwischen den Stichproben in der unterrepräsentierten Gruppe zu berechnen.

Für zwei reale Stichproben in der unterrepräsentierten Gruppe interpoliert Data Wrangler die numerischen Funktionen anhand eines gewichteten Durchschnitts. Es weist den Stichproben im Bereich [0, 1] nach dem Zufallsprinzip Gewichtungen zu. Bei numerischen Funktionen interpoliert Data Wrangler Stichproben anhand eines gewichteten Durchschnitts der Stichproben. Den Stichproben A und B könnte Data Wrangler nach dem Zufallsprinzip eine Gewichtung von 0,7 A und 0,3 B zuweisen. Die interpolierte Stichprobe hat einen Wert von 0,7 A + 0,3 B.

Data Wrangler interpoliert nichtnumerische Features, indem es eines der beiden interpolierten realen Stichproben kopiert. Es kopiert die Stichproben mit einer Wahrscheinlichkeit, die es jeder Stichprobe nach dem Zufallsprinzip zuweist. Für die Stichproben A und B kann A die Wahrscheinlichkeiten 0,8 und B 0,2 zugewiesen werden. Für die so zugewiesenen Wahrscheinlichkeiten kopiert es A in 80% der Fälle.

Benutzerdefinierte Transformationen

In der Gruppe Benutzerdefinierte Transformationen können Sie Python (benutzerdefinierte Funktion), PySpark Pandas oder PySpark (SQL) verwenden, um benutzerdefinierte Transformationen zu definieren. Bei allen drei Optionen verwenden Sie die Variable, df um auf den Datenrahmen zuzugreifen, auf den Sie die Transformation anwenden möchten. Um Ihren benutzerdefinierten Code auf Ihren Datenrahmen anzuwenden, weisen Sie den Datenrahmen mit den Transformationen zu, die Sie an der Variablen df vorgenommen haben. Wenn Sie Python (benutzerdefinierte Funktionen) nicht verwenden, brauchen Sie keine Rückgabeanweisung zu verwenden. Wählen Sie Vorschau aus, damit eine Vorschau des Ergebnisses der benutzerdefinierten Transformation angezeigt wird. Wählen Sie Hinzufügen aus, um die benutzerdefinierte Transformation zu Ihrer Liste der Vorherigen Schritte hinzuzufügen.

Sie können die beliebten Bibliotheken mit einer import Anweisung im Code-Block für die benutzerdefinierte Transformation importieren, z. B. den folgenden:

df.rename(columns={"A column": "A_column", "B column": "B_column"})

Wenn Sie Druckanweisungen in den Code-Block aufnehmen, wird das Ergebnis angezeigt, wenn Sie Vorschau auswählen. Sie können die Größe des Transformationsfeldes für benutzerdefinierten Code ändern. Durch die Größenänderung des Bedienfeldes steht mehr Platz zum Schreiben von Code zur Verfügung.

Die folgenden Abschnitte bieten zusätzlichen Kontext und Beispiele zum Schreiben von benutzerdefiniertem Transformationscode.

Python (benutzerdefinierte Funktion)

Die Python-Funktion gibt Ihnen die Möglichkeit, benutzerdefinierte Transformationen zu schreiben, ohne Apache Spark oder Pandas kennen zu müssen. Data Wrangler ist so optimiert, dass Sie Ihren benutzerdefinierten Code schnell ausführen können. Mit benutzerdefiniertem Python-Code und einem Apache Spark-Plugin erhalten Sie eine ähnliche Leistung.

Um den Python-Code-Block (benutzerdefinierte Funktion) zu verwenden, geben Sie Folgendes an:

Der Pandas-Modus ist leistungsfähiger. Der Python-Modus erleichtert Ihnen das Schreiben von Transformationen mithilfe reiner Python-Funktionen.

PySpark

Im folgenden Beispiel werden Datum und Uhrzeit aus einem Zeitstempel extrahiert.

from pyspark.sql.functions import from_unixtime, to_date, date_format
df = df.withColumn('DATE_TIME', from_unixtime('TIMESTAMP'))
df = df.withColumn( 'EVENT_DATE', to_date('DATE_TIME')).withColumn(
'EVENT_TIME', date_format('DATE_TIME', 'HH:mm:ss'))

pandas

Das folgende Beispiel gibt einen Überblick über den Datenrahmen, zu dem Sie Transformationen hinzufügen.

df.info()

PySpark (SQL)

Das folgende Beispiel erstellt einen neuen Datenrahmen mit vier Spalten: Name, Fare, pclass, überlebt.

SELECT name, fare, pclass, survived FROM df

Wenn Sie nicht wissen, wie man es benutzt PySpark, können Sie benutzerdefinierte Codefragmente verwenden, um Ihnen den Einstieg zu erleichtern.

Data Wrangler verfügt über eine durchsuchbare Sammlung von Codeausschnitten. Sie können Codeausschnitte verwenden, um Aufgaben wie das Löschen von Spalten, das Gruppieren nach Spalten oder das Modellieren auszuführen.

Um einen Codeausschnitt zu verwenden, wählen Sie Beispielschnitte durchsuchen und geben Sie in der Suchleiste eine Abfrage an. Der Text, den Sie in der Abfrage angeben, muss nicht exakt mit dem Namen des Codeausschnitts übereinstimmen.

Das folgende Beispiel zeigt den Codeausschnitt Doppelte Zeilen löschen, mit dem Zeilen mit ähnlichen Daten in Ihrem Datensatz gelöscht werden können. Sie können den Codeausschnitt finden, indem Sie nach einem der folgenden Suchbegriffe suchen:

Das folgende Snippet enthält Kommentare, die Ihnen helfen sollen, die Änderungen zu verstehen, die Sie vornehmen müssen. Für die meisten Snippets müssen Sie die Spaltennamen Ihres Datensatzes im Code angeben.

# Specify the subset of columns
# all rows having identical values in these columns will be dropped

subset = ["col1", "col2", "col3"]
df = df.dropDuplicates(subset)  

# to drop the full-duplicate rows run
# df = df.dropDuplicates()            
                        
        

Um ein Snippet zu verwenden, kopieren Sie seinen Inhalt und fügen Sie ihn in das benutzerdefinierte Transformationsfeld ein. Sie können mehrere Codeausschnitte kopieren und sie in das benutzerdefinierte Transformationsfeld einfügen.

Benutzerdefinierte Formel

Verwenden Sie die benutzerdefinierte Formel, um mithilfe eines SQL Spark-Ausdrucks eine neue Spalte zu definieren, um Daten im aktuellen Datenrahmen abzufragen. Die Abfrage muss die Konventionen der SQL Spark-Ausdrücke verwenden.

df.rename(columns={"A column": "A_column", "B column": "B_column"})

Sie können diese Transformation verwenden, um Operationen an Spalten durchzuführen und die Spalten anhand ihres Namens zu referenzieren. Angenommen, der aktuelle Datenrahmen enthält Spalten mit den Namen col_a und col_b. Dann können Sie die folgende Operation verwenden, um eine Ausgabespalte zu erstellen, die das Produkt dieser beiden Spalten mit dem folgenden Code ist:

col_a * col_b

Andere übliche Operationen sind folgende, vorausgesetzt, ein Datenrahmen enthält col_a und col_b Spalten:

Weitere Informationen finden Sie in der Spark-Dokumentation zur Datenauswahl.

Die Dimensionalität innerhalb eines Datensatzes reduzieren

Reduzieren Sie die Dimensionalität Ihrer Daten, indem Sie die Hauptkomponentenanalyse () PCA verwenden. Die Dimensionalität Ihres Datensatzes entspricht der Anzahl der Features. Wenn Sie die Dimensionsreduktion in Data Wrangler verwenden, erhalten Sie einen neuen Satz von Funktionen, die als Komponenten bezeichnet werden. Jede Komponente berücksichtigt eine gewisse Variabilität in den Daten.

Die erste Komponente macht die größte Variation in den Daten aus. Die zweite Komponente ist für die zweitgrößte Variation in den Daten verantwortlich usw.

Sie können die Dimensionsreduzierung verwenden, um die Größe der Datensätze zu reduzieren, die Sie zum Trainieren von Modellen verwenden. Anstatt die Funktionen in Ihrem Datensatz zu verwenden, können Sie die Hauptkomponenten verwenden.

Zu diesem Zweck PCA erstellt Data Wrangler Achsen für Ihre Daten. Eine Achse ist eine affine Kombination von Spalten in Ihrem Datensatz. Die erste Hauptkomponente ist der Wert auf der Achse, die die größte Varianz aufweist. Die zweite Hauptkomponente ist der Wert auf der Achse mit der zweitgrößten Varianz. Die n-te Hauptkomponente ist der Wert auf der Achse, der die n-t-größte Varianz aufweist.

Sie können die Anzahl der Hauptkomponenten konfigurieren, die Data Wrangler zurückgibt. Sie können entweder direkt die Anzahl der Hauptkomponenten oder den Schwellenwert der Varianz in Prozent angeben. Jede Hauptkomponente erklärt ein gewisses Maß an Varianz in den Daten. Sie haben z. B. vielleicht eine Hauptkomponente mit einem Wert von 0,5. Die Komponente würde 50% der Streuung in den Daten erklären. Wenn Sie einen prozentualen Schwellenwert für die Varianz angeben, gibt Data Wrangler die kleinste Anzahl von Komponenten zurück, die dem von Ihnen angegebenen Prozentsatz entsprechen.

Im Folgenden finden Sie Beispiele für Hauptkomponenten mit dem Betrag der Varianz, den sie in den Daten erklären.

Wenn Sie einen Schwellenwert für die Varianz in Prozent von 94 oder 95 angeben, gibt Data Wrangler Komponente 1 und Komponente 2 zurück. Wenn Sie einen Schwellenwert für die Varianz in Prozent von 96 angeben, gibt Data Wrangler alle drei Hauptkomponenten zurück.

Sie können das folgende Verfahren verwenden, um es mit PCA Ihrem Datensatz auszuführen.

Kategorisch codieren

Kategorische Daten bestehen normalerweise aus einer endlichen Anzahl von Kategorien, wobei jede Kategorie durch eine Zeichenfolge dargestellt wird. Wenn Sie z. B. eine Tabelle mit Kundendaten haben, ist eine Spalte, die angibt, in welchem Land eine Person lebt, kategorisch. Die Kategorien wären Afghanistan, Albanien, Algerien usw. Kategorische Daten können nominal oder ordinal sein. Ordinale Kategorien haben eine inhärente Reihenfolge, nominale Kategorien nicht. Der höchste erreichte Bildungsabschluss (Gymnasium, Bachelor, Master usw.) ist ein Beispiel für ordinale Kategorien.

Beim Kodieren von kategorischen Daten wird für Kategorien eine numerische Darstellung erstellt. Wenn Ihre Kategorien z. B. Hund und Katze sind, können Sie diese Informationen in zwei Vektoren kodieren, [1,0] für Hund und [0,1] für Katze.

Wenn Sie ordinale Kategorien kodieren, müssen Sie ggf. die natürliche Reihenfolge der Kategorien in Ihre Codierung übersetzen. Sie können z. B. den höchsten Bildungsabschluss mit der folgenden Abbildung darstellen: {"High school": 1, "Bachelors": 2, "Masters":3}.

Verwenden Sie die kategorische Codierung, um kategorische Daten, die im Zeichenfolgenformat vorliegen, in Arrays von ganzen Zahlen zu kodieren.

Die kategorischen Encoder von Data Wrangler erstellen Codierungen für alle Kategorien, die zum Zeitpunkt der Definition des Schrittes in einer Spalte vorhanden waren. Wenn zu einer Spalte beim Start eines Data Wrangler-Auftrags zur Verarbeitung Ihres Datensatzes zum Zeitpunkt t neue Kategorien hinzugefügt wurden und diese Spalte zum Zeitpunkt t -1 die Eingabe für eine kategorische Codierungstransformation von Data Wrangler war, werden diese neuen Kategorien im Data Wrangler-Auftrag als fehlend betrachtet. Die Option, die Sie für Ungültige Verarbeitungsstrategie auswählen, wird auf diese fehlenden Werte angewendet. Beispiele dafür, wann es dazu kommen kann, sind:

In diesen Situationen werden diese neuen Kategorien im Data Wrangler-Auftrag als fehlende Werte betrachtet.

Sie können zwischen einer ordinalen und einer One-Hot-Codierung wählen und diese konfigurieren. In den folgenden Abschnitten erfahren Sie mehr über diese Optionen.

Beide Transformationen erstellen eine neue Spalte mit dem Namen Name deer Ausgabespalte. Sie geben das Ausgabeformat dieser Spalte mit dem Ausgabestil an:

Ordinale Codierung

Wählen Sie Ordinale Codierung aus, um Kategorien in eine Ganzzahl zwischen 0 und der Gesamtzahl der Kategorien in der ausgewählten Eingabespalte zu kodieren.

Ungültige Handhabungsstrategie: Wählen Sie eine Methode zum Umgang mit ungültigen oder fehlenden Werte aus.

One-Hot-Codierung

Wählen Sie One-Hot-Codierung aus, damit Transform die One-Hot-Codierung verwendet. Konfigurieren Sie diese Transformation wie folgt:

Ähnlichkeitscodierung

Verwenden Sie die Ähnlichkeitscodierung, wenn folgendes vorliegt:

Der Ähnlichkeits-Encoder erstellt für Spalten mit kategorischen Daten Einbettungen. Eine Einbettung ist eine Zuordnung diskreter Objekte, wie z. B. Wörter, auf Vektoren von realen Zahlen. Sie codiert Zeichenfolgen, die Vektoren mit ähnlichen Werten ähneln. Zum Beispiel erstellt sie sehr ähnliche Codierungen für „California“ und „Calfornia“.

Data Wrangler konvertiert jede Kategorie in Ihrem Datensatz mithilfe eines 3-Gramm-Tokenizers in einen Satz Token. Er konvertiert die Token mithilfe der Min-Hash-Codierung in eine Einbettung.

Die von Data Wrangler erstellten Ähnlichkeitscodierungen:

Aus den o.g. Gründen ist die Ähnlichkeitscodierung vielseitiger als die One-Hot-Codierung.

Gehen Sie wie folgt vor, um die Ähnlichkeitscodierungstransformation zu Ihrem Datensatz hinzuzufügen.

Text funktionalisieren

Verwenden Sie die Transformationsgruppe Text funktionalisieren, um Spalten mit Zeichenfolgen zu untersuchen und diese Spalten mithilfe von Texteinbettung zu funktionalisieren.

Diese Feature-Gruppe beinhaltet zwei Funktionen: Zeichenstatistik und Vektorisieren. In den folgenden Abschnitten erfahren Sie mehr über diese Transformationen. Für beide Optionen muss die Eingabespalte Textdaten (vom Typ Zeichenfolge) enthalten.

Zeichenstatistik

Mit Hilfe der Zeichenstatistik können Sie für jede Zeile in einer Spalte, die Textdaten enthält, Statistiken erzeugen.

Diese Transformation berechnet die folgenden Verhältnisse und Anzahlen für jede Zeile und erstellt eine neue Spalte, in der das Ergebnis angegeben wird. Die neue Spalte wird mit dem Namen der Eingabespalte als Präfix und einem Suffix benannt, das für das Verhältnis oder die Anzahl spezifisch ist.

Vektorisieren

Beim Einbetten von Text werden Wörter oder Wortgruppen aus einem Vokabular Vektoren aus realen Zahlen zugeordnet. Verwenden Sie die Data Wrangler-Transformation zur Texteinbettung, um Textdaten zu tokenisieren und in Vektoren mit umgekehrter Dokumentenfrequenz (TF-) umzuwandeln. IDF

Wenn TF- für eine Spalte mit Textdaten berechnet IDF wird, wird jedes Wort in jedem Satz in eine reelle Zahl umgewandelt, die seiner semantischen Bedeutung entspricht. Höhere Zahlen werden weniger häufigen Wörtern zugeordnet, die tendenziell bedeutsamer sind.

Wenn Sie einen Transformationsschritt „Vektorisieren“ definieren, verwendet Data Wrangler die Daten in Ihrem Datensatz, um die Methoden Count-Vectorizer und TF- zu definieren. IDF Bei der Ausführung eines Data Wrangler-Auftrags werden dieselben Methoden verwendet.

Diese Transformation konfigurieren Sie wie folgt:

Zeitreihen transformieren

In Data Wrangler können Sie Zeitreihendaten transformieren. Die Werte in einem Zeitreihendatensatz sind für eine spezfische Zeit indexiert. Bei einem Datensatz, der die Anzahl der Kunden in einem Geschäft für jede Stunde des Tages anzeigt, handelt es sich z. B. um einen Zeitreihendatensatz. Die folgende Tabelle zeigt ein Beispiel für einen Zeitreihendatensatz.

Stündliche Anzahl von Kunden in einem Geschäft

In der obigen Tabelle enthält die Spalte Anzahl der Kunden die Zeitreihendaten. Die Zeitreihendaten werden anhand der stündlichen Daten in der Spalte Zeit (Stunde) indexiert.

Sie müssen ggf. eine Reihe von Transformationen an Ihren Daten vornehmen, um diese in ein Format zu bringen, das Sie für Ihre Analyse verwenden können. Verwenden Sie die Transformationsgruppe Zeitreihen, um Ihre Zeitreihendaten zu transformieren. Weitere Informationen zu den Transformationen, die Sie vornehmen können, finden Sie in den folgenden Abschnitten.

Gruppierung nach Zeitreihe

Sie können den Vorgang „Gruppieren nach“ verwenden, um Zeitreihendaten für bestimmte Werte in einer Spalte zu gruppieren.

Sie haben z. B. die folgende Tabelle, in der der durchschnittliche tägliche Stromverbrauch in einem Haushalt erfasst wird.

Durchschnittlicher täglicher Stromverbrauch im Haushalt

Wenn Sie nach ID gruppieren wollen, erhalten Sie die folgende Tabelle.

Stromverbrauch gruppiert nach Haushalts-ID

Jeder Eintrag in der Zeitreihenfolge ist nach dem jeweiligen Zeitstempel sortiert. Das erste Element der Reihenfolge entspricht dem ersten Zeitstempel der Serie. Für household_0, ist 30 der erste Wert der Serie „Stromverbrauch“. Der Wert von 30 entspricht dem ersten Zeitstempel von 1/1/2020.

Sie können den Anfangs- und den Endzeitstempel einschließen. Die folgende Tabelle zeigt, wie diese Informationen erscheinen.

Stromverbrauch gruppiert nach Haushalts-ID

Um nach einer Zeitreihenspalte zu gruppieren, können Sie wie folgt vorgehen.

Nehmen Sie erneut Proben aus den Zeitreihendaten

Zeitreihendaten enthalten normalerweise Beobachtungen, die nicht in regelmäßigen Abständen erfolgen. Ein Datensatz kann z. B. Beobachtungen enthalten, die stündlich, und andere, die alle zwei Stunden aufgezeichnet werden.

Viele Analysen, z. B. Prognosealgorithmen, erfordern, dass die Beobachtungen in regelmäßigen Abständen erfolgen. Durch die erneute Probenahme können Sie für die Beobachtungen in Ihrem Datensatz regelmäßige Intervalle festlegen.

Sie können für eine Zeitreihe entweder ein mehr oder weniger Proben nehmen. Wenn Sie weniger Proben nehmen, wird das Intervall zwischen den Beobachtungen im Datensatz vergrößert. Wenn Sie z. B. Beobachtungen, die entweder stündlich oder alle zwei Stunden erfolgen, seltener machen, erfolgt jede Beobachtung in Ihrem Datensatz alle zwei Stunden. Die stündlichen Beobachtungen werden mithilfe einer Aggregationsmethode wie dem Mittelwert oder dem Median zu einem einzigen Wert aggregiert.

Wenn Sie mehr Proben nehmen, wird das Intervall zwischen den Beobachtungen im Datensatz verkleinert. Wenn Sie z. B. Beobachtungen, die alle zwei Stunden erfolgen, jetzt stündlich machen, können Sie mit Hilfe einer Interpolationsmethode stündliche Beobachtungen aus den Beobachtungen abzuleiten, die alle zwei Stunden erfolgt sind. Informationen zu Interpolationsmethoden finden Sie unter Pandas. DataFrame.interpolieren.

Sie können sowohl bei numerischen als auch bei nicht-numerischen Daten die Anzahl der Proben ändern.

Mit Hilfe des Vorgangs Probenahme ändern können Sie die Häufigkeit der Probenahme für Ihre Zeitreihendaten ändern. Wenn Ihr Datensatz mehrere Zeitreihen enthält, standardisiert Data Wrangler das Zeitintervall für jede Zeitreihe.

Die folgende Tabelle zeigt ein Beispiel für Zeitreihendaten, bei denen die Häufigkeit der Probenahme unter Verwendung des Mittelwertes als Aggregationsmethode verringert wurde. Die Daten werden heruntergerechnet von alle zwei Stunden auf jede Stunde.

Stündliche Temperaturwerte im Tagesverlauf vor der Senkung der Messhäufigkeit

Die Temperaturwerte wurden auf alle zwei Stunden heruntergerechnet

Gehen Sie wie folgt vor, um die Häufigkeit der Probenahme bei Zeitreihendaten zu ändern.

Fehlende Zeitreihendaten behandeln

Wenn in Ihrem Datensatz Werte fehlen, können Sie eine der folgenden Maßnahmen ergreifen:

Beim Imputieren eines fehlenden Wertes müssen die Daten entweder durch Angabe eines Wertes oder mit einer Methode zum Schlussfolgern ersetzt werden. Sie können die folgenden Methoden verwenden, um die fehlenden Werte zu imputieren:

Einige der Imputationsmethoden können ggf. nicht alle fehlenden Werte in Ihrem Datensatz imputieren. Eine Vorwärtsauffüllung kann z. B. keinen fehlenden Wert imputieren, der am Anfang der Zeitreihe erscheint. Sie können die Werte imputieren, indem Sie entweder eine Vorwärtsauffüllung oder eine Rückwärtsauffüllung verwenden.

Fehlende Werte können Sie entweder innerhalb einer Zelle oder innerhalb einer Spalte imputieren.

Das folgende Beispiel zeigt, wie Werte innerhalb einer Zelle imputiert werden.

Stromverbrauch mit fehlenden Werten

Stromverbrauch mit Werten, die nach einem Forward-Fill-Verfahren unterstellt wurden

Das folgende Beispiel zeigt, wie Werte innerhalb einer Spalte unterstellt werden.

Durchschnittlicher täglicher Stromverbrauch im Haushalt mit fehlenden Werten

Durchschnittlicher täglicher Stromverbrauch im Haushalt mit Werten, die anhand eines Forward-Fill-Verfahrens unterstellt werden

Gehen Sie wie folgt vor, um fehlende Werte zu handhaben.

Überprüfen Sie den Zeitstempel Ihrer Zeitreihendaten

Sie haben ggf. ungültige Zeitstempeldaten. Mit der Funktion Zeitstempel überprüfen können Sie feststellen, ob die Zeitstempel in Ihrem Datensatz gültig sind. Ihr Zeitstempel kann aus einem oder mehreren der folgenden Gründe ungültig sein:

Wenn Ihr Datensatz ungültige Zeitstempel enthält, können Sie Ihre Analyse nicht erfolgreich durchführen. Mit Data Wrangler können Sie ungültige Zeitstempel identifizieren und herausfinden, wo Sie Ihre Daten bereinigen müssen.

Die Validierung von Zeitreihen erfolgt auf eine der beiden folgenden Weisen:

Sie können Data Wrangler so konfigurieren, dass eine der folgenden Maßnahmen ausgeführt wird, wenn in Ihrem Datensatz Werte fehlen:

Sie können die Zeitstempel für Spalten überprüfen, die entweder den Typ timestamp oder string haben. Wenn die Spalte vom Typ string ist, konvertiert Data Wrangler den Typ der Spalte in timestamp und nimmt die Validierung vor.

Gehen Sie wie folgt vor, um die Zeitstempel in Ihrem Datensatz zu überprüfen.

Länge der Zeitreihe standardisieren

Wenn Sie Zeitreihendaten als Arrays abspeichern, können Sie jede Zeitreihe auf dieselbe Länge standardisieren. Wenn Sie die Länge des Zeitreihenarrays standardisieren, können Sie die Daten ggf. leichter analysieren.

Sie können Ihre Zeitreihen für Datentransformationen standardisieren, bei denen die Länge Ihrer Daten festgelegt werden muss.

Bei vielen ML-Algorithmen müssen Sie Ihre Zeitreihendaten abflachen, bevor Sie sie verwenden. Beim Abflachen von Zeitreihendaten wird jeder Wert der Zeitreihe in einer eigenen Spalte in einem Datensatz abgetrennt. Die Anzahl der Spalten in einem Datensatz kann sich nicht ändern. Daher muss die Länge der Zeitreihen standardisiert werden, wenn Sie jedes Array auf eine Reihe von Funktionen abflachen.

Jede Zeitreihe wird auf die Länge festgelegt, die Sie als Quantil oder Perzentil des Zeitreihensatzes angeben. Sie können z. B. drei Sequenzen mit folgenden Längen verwenden:

Sie können die Länge aller Sequenzen als die Länge der Sequenz mit der Länge des 50. Perzentils festlegen.

Bei Zeitreihen-Arrays, die kürzer sind als die von Ihnen angegebene Länge, wurden fehlende Werte hinzugefügt. Das Folgende ist ein Beispielformat für die Standardisierung der Zeitreihe auf eine größere Länge: [2, 4, 5, NaN, NaN, NaN].

Sie können verschiedene Ansätze verwenden, um mit den fehlenden Werten umzugehen. Informationen zu diesen Ansätzen finden Sie unter Fehlende Zeitreihendaten behandeln.

Die Zeitreihen-Arrays, die länger sind als die von Ihnen angegebene Länge, werden gekürzt.

Gehen Sie wie folgt vor, um die Länge der Zeitreihen zu standardisieren.

Funktionen aus Ihren Zeitreihendaten extrahieren

Wenn Sie einen Klassifikations- oder Regressionsalgorithmus für Ihre Zeitreihendaten ausführen, empfehlen wir, Funktionen aus der Zeitreihe zu extrahieren, bevor Sie den Algorithmus ausführen. Funktionen zu extrahieren kann die Leistung Ihres Algorithmus verbessern.

Verwenden Sie die folgenden Optionen, um auszuwählen, wie Sie Funktionen aus Ihren Daten extrahieren möchten:

Gehen Sie wie folgt vor, um aus Ihren Zeitreihendaten Funktionen zu extrahieren.

Verwenden Sie verzögerte Funktionen aus Ihren Zeitreihendaten

In vielen Anwendungsfällen können Sie das zukünftige Verhalten Ihrer Zeitreihe am besten anhand ihres jüngsten Verhaltens vorhersagen.

Verzögerte Funktionen werden meist wie folgt verwendet:

Einen DateTime-Bereich in Ihrer Zeitreihe erstellen

Sie haben ggf. Zeitreihendaten ohne Zeitstempel. Wenn Sie wissen, dass die Beobachtungen in regelmäßigen Abständen gemacht wurden, können Sie Zeitstempel für die Zeitreihen in einer separaten Spalte generieren. Um Zeitstempel zu generieren, geben Sie den Wert für den Anfangszeitstempel und die Häufigkeit der Zeitstempel an.

Sie haben z. B. die folgenden Zeitreihendaten für die Anzahl der Kunden in einem Restaurant.

Zeitreihendaten zur Anzahl der Kunden in einem Restaurant

Wenn Sie wissen, dass das Restaurant um 17:00 Uhr geöffnet hat und dass die Beobachtungen stündlich vorgenommen werden, können Sie eine Spalte für die Zeitstempel hinzufügen, die den Zeitreihendaten entspricht. Die Spalte für die Zeitstempel sehen Sie in der folgenden Tabelle.

Zeitreihendaten zur Anzahl der Kunden in einem Restaurant

Gehen Sie wie folgt vor, um einen Datetime-Bereich zu Ihren Daten hinzuzufügen.

Verwenden Sie in Ihrer Zeitreihe ein rollendes Fenster

Sie können Funktionen über einen Zeitraum extrahieren. Wir hängen z. B. für die Zeit t und eine Länge des Zeitfensters von 3 und für die Zeile, die den t-ten Zeitstempel angibt, die Merkmale an, die zu den Zeitpunkten t – 3, t -2 und t – 1 aus der Zeitreihe extrahiert wurden. Informationen zum Extrahieren von Funktionen finden Sie unter Funktionen aus Ihren Zeitreihendaten extrahieren.

Gehen Sie wie folgt vor, um Funktionen über einen Zeitraum zu extrahieren.

Datetime funktionalisieren

Mit Hilfe von Datum/Uhrzeit funktionalisieren können Sie eine Vektoreinbettung erstellen, die ein Datetime-Feld darstellt. Um diese Transformation anwenden zu können, müssen Ihre Datetime-Daten eines der folgenden Formate haben:

Sie können wählen, ob Sie das Datetime-Format ableiten und ein Datetime-Format angeben möchten. Wenn Sie ein Datetime-Format angeben, müssen Sie die in der Python-Dokumentation beschriebenen Codes verwenden. Die Optionen, die Sie für diese beiden Konfigurationen auswählen, haben Auswirkungen auf die Geschwindigkeit des Vorgangs und auf dessen Endergebnisse.

Wenn Sie diese Transformation verwenden, geben Sie eine Eingabespalte an, die Datetime-Daten in einem der oben aufgeführten Formate enthält. Die Transformation erstellt eine Ausgabespalte mit dem Namen Ausgabespaltenname. Das Format der Ausgabespalte hängt von Ihrer Konfiguration ab. Folgende Formate werden verwendet:

Darüber hinaus müssen Sie einen Einbettungsmodus wählen. Für lineare Modelle und tiefe Netzwerke empfehlen wir, zyklisch zu wählen. Für Baumalgorithmen empfehlen wir die Option ordinal.

Format-Zeichenfolge

Die Transformationen für Zeichenfolge formatieren enthalten Standardoperationen zur Formatierung von Zeichenfolgen. Mit Hilfe dieser Operationen können Sie z. B. Sonderzeichen entfernen, die Länge der Zeichenfolgen normalisieren und die Groß- und Kleinschreibung von Zeichenfolgen aktualisieren.

Diese Feature-Gruppe enthält die folgenden Transformationen. Alle Transformationen geben Kopien der Zeichenfolgen in der Eingabespalte zurück und fügen das Ergebnis zu einer neuen Ausgabespalte hinzu.

Ausreißer behandeln

Machine-Learning-Modelle sind empfindlich für die Verteilung und den Bereich Ihrer Feature-Werte. Ausreißer oder seltene Werte können sich negativ auf die Modellgenauigkeit auswirken und zu längeren Trainingszeiten führen. Mit Hilfe dieser Feature-Gruppe können Sie Ausreißer in Ihrem Datensatz erkennen und aktualisieren.

Wenn Sie den Transformationsschritt Ausreißer behandeln definieren, werden die Statistiken, die zur Erkennung von Ausreißern verwendet werden, bei der Definition dieses Schritts anhand der in Data Wrangler verfügbaren Daten generiert. Dieselben Statistiken werden verwendet, wenn ein Data Wrangler-Auftrag ausgeführt wird.

In den folgenden Abschnitten erfahren Sie mehr über die Transformationen, die diese Gruppe enthält. Sie geben einen Ausgabenamen an. Dann erzeugt jede dieser Transformationen eine Ausgabespalte mit den resultierenden Daten.

Numerische Ausreißer mit robuster Standardabweichung

Diese Transformation erkennt und behebt Ausreißer in numerischen Features mithilfe von Statistiken, die gegenüber Ausreißern robust sind.

Sie müssen ein oberes Quantil und ein unteres Quantil für die Statistiken definieren, die zur Berechnung von Ausreißern verwendet werden. Sie müssen auch die Anzahl der Standardabweichungen angeben, um die ein Wert vom Mittelwert abweichen muss, um als Ausreißer betrachtet zu werden. Wenn Sie z. B. für Standardabweichungen 3 angeben, muss ein Wert um mehr als 3 Standardabweichungen vom Mittelwert abweichen, um als Ausreißer betrachtet zu werden.

Die Fix-Methode ist die Methode, mit der Ausreißer behandelt werden, wenn sie erkannt werden. Sie können aus den folgenden Optionen auswählen:

Numerische Ausreißer mit Standardabweichung

Diese Transformation erkennt und behebt Ausreißer in numerischen Funktionen anhand des Mittelwertes und der Standardabweichung.

Sie geben die Anzahl der Standardabweichungen an, um die ein Wert vom Mittelwert abweichen muss, um als Ausreißer betrachtet zu werden. Wenn Sie z. B. für Standardabweichungen 3 angeben, muss ein Wert um mehr als 3 Standardabweichungen vom Mittelwert abweichen, um als Ausreißer betrachtet zu werden.

Die Fix-Methode ist die Methode, mit der Ausreißer behandelt werden, wenn sie erkannt werden. Sie können aus den folgenden Optionen auswählen:

Numerische Ausreißer anhand von Quantilen

Mit Hilfe dieser Transformation können Sie Ausreißer in numerischen Features mithilfe von Quantilen erkennen und korrigieren. Sie können ein oberes Quantil und ein unteres Quantil definieren. Alle Werte, die über dem oberen Quantil oder unter dem unteren Quantil liegen, gelten als Ausreißer.

Die Fix-Methode ist die Methode, mit der Ausreißer behandelt werden, wenn sie erkannt werden. Sie können aus den folgenden Optionen auswählen:

Numerische Ausreißer (Min./Max.)

Diese Transformation erkennt und behebt Ausreißer in numerischen Funktionen anhand oberer und unterer Schwellenwerte. Verwenden Sie diese Methode, wenn Sie Schwellenwerte kennen, die Ausreißer kennzeichnen.

Sie geben einen oberen Schwellenwert und einen unteren Schwellenwert an. Wenn Werte diese Schwellenwerte über- bzw. unterschreiten, werden sie als Ausreißer betrachtet.

Die Fix-Methode ist die Methode, mit der Ausreißer behandelt werden, wenn sie erkannt werden. Sie können aus den folgenden Optionen auswählen:

Seltene ersetzen

Wenn Sie die Transformation Seltene ersetzen verwenden, geben Sie einen Schwellenwert an, und Data Wrangler findet dann alle Werte, die diesem Schwellenwert entsprechen, und ersetzt sie durch eine von Ihnen angegebene Zeichenfolge. Mit Hilfe dieser Transformation können Sie z. B. alle Ausreißer in einer Spalte in eine Kategorie „Sonstige“ einzuteilen.

Fehlende Werte behandeln

Fehlende Werte treten in Datensätzen für Machine Learning häufig auf. Manchmal können fehlende Daten durch einen berechneten Wert ersetzt werden, z. B. einen Durchschnittswert oder einen kategorisch häufigen Wert. Fehlende Werte können Sie mithilfe der Transformationsgruppe Fehlende Werte behandeln bearbeiten. Diese Gruppe enthält die folgenden Transformationen.

Fehlende auffüllen

Verwenden Sie die Transformation Fehlende auffüllen, um fehlende Werte durch einen von Ihnen definierten Füllwert zu ersetzen.

Fehlende imputieren

Mit Hilfe der Transformation Fehlende imputieren können Sie eine neue Spalte erstellen, die imputierte Werte enthält, bei denen fehlende Werte in kategorischen und numerischen Eingabedaten gefunden wurden. Die Konfiguration ist abhängig von Ihrem Datentyp.

Wählen Sie eine Strategie zum Imputieren numerischer Daten aus, mit deren Hilfe der neue zu imputierende Wert bestimmt wird. Sie können wählen, ob Sie den Mittelwert oder den Median über die in Ihrem Datensatz vorhandenen Werte imputieren wollen. Data Wrangler imputiert anhand des berechneten die fehlenden Werte.

Bei kategorischen Daten imputiert Data Wrangler fehlende Werte anhand des häufigsten Wertes in der Spalte. Um eine benutzerdefinierte Zeichenfolge zu imputieren, verwenden Sie stattdessen die Transformation Fehlende auffüllen.

Indikator für fehlende hinzufügen

Mit Hilfe der Transformation Indikator für fehlende hinzufügen können Sie eine neue Indikatorspalte erstellen, die einen booleschen "false" enthält, wenn eine Zeile einen Wert enthält, und "true", wenn eine Zeile einen fehlenden Wert enthält.

Fehlende Löschen

Mit Hilfe der die Option Fehlende löschen können Sie Zeilen aus der Eingabespalte löschen, die fehlende Werte enthalten.

Spalten verwalten

Mit Hilfe der folgenden Transformation können Sie Spalten in Ihrem Datensatz schnell aktualisieren und verwalten:

Zeilen verwalten

Mit Hilfe dieser Transformationsgruppe können Sie schnell Sortier- und Mischvorgänge für Zeilen durchzuführen. Diese Gruppe enthält:

Vektoren verwalten

Mit Hilfe dieser Transformationsgruppe können Sie Vektorspalten kombinieren oder abflachen. Diese Gruppe enthält die folgenden Transformationen.

Numerisch verarbeiten

Mit Hilfe der Feature-Gruppe Numerisch verarbeiten können Sie numerische Daten verarbeiten. Jeder Skalar in dieser Gruppe wird mithilfe der Spark-Bibliothek definiert. Die folgenden Skalare werden unterstützt:

Sampling

Wenn Sie Ihre Daten importiert haben, können Sie mit Hilfe der Transformation Probenahme eine oder mehrere Stichproben daraus nehmen. Wenn Sie den Sampling-Transformator verwenden, nimmt Data Wrangler Stichproben aus Ihrem ursprünglichen Datensatz.

Sie können eine der folgenden Probenahmemethoden wählen:

Sie können eine randomisierte Stichprobe stratifizieren, damit sie die ursprüngliche Verteilung des Datensatzes wiedergibt.

Sie bereiten ggf. Daten für mehrere Anwendungsfälle vor. Für jeden Anwendungsfall können Sie eine andere Probe nehmen und einen anderen Satz von Transformationen anwenden.

Das folgende Verfahren beschreibt den Prozess der Erstellung einer Zufallsstichprobe.

Das folgende Verfahren beschreibt den Prozess der Erstellung einer geschichteten Stichprobe.

Suchen und Bearbeiten

In diesem Abschnitt können Sie in Zeichenfolgen nach bestimmten Mustern suchen und diese bearbeiten. Sie können z. B. Zeichenfolgen in Sätzen oder Dokumenten suchen und aktualisieren, Zeichenfolgen nach Trennzeichen aufteilen und das Vorkommen bestimmter Zeichenfolgen finden.

Die folgenden Transformationen werden unter Suchen und Bearbeiten unterstützt. Alle Transformationen geben in der Eingabespalte Kopien der Zeichenfolgen zurück und fügen das Ergebnis zu einer neuen Ausgabespalte hinzu.

Daten aufteilen

Mit Hilfe der Transformation Daten aufteilen können Sie Ihren Datensatz in zwei oder drei Datensätze aufteilen. Sie können Ihren Datensatz z. B. in einen Datensatz aufteilen, der zum Trainieren Ihres Modells und einen, der zum Testen verwendet wird. Sie können den Anteil des Datensatzes bestimmen, der in jeden Teil einfließen soll. Wenn Sie z. B. einen Datensatz in zwei Datensätze aufteilen, kann der Trainingsdatensatz 80 % der Daten enthalten, während der Testdatensatz 20 % enthält.

Wenn Sie Ihre Daten in drei Datensätze aufteilen, können Sie Trainings-, Validierungs- und Testdatensätze erstellen. Sie können sehen, wie gut das Modell im Testdatensatz abschneidet, indem Sie die Zielspalte löschen.

Ihr Anwendungsfall bestimmt, wie viel vom ursprünglichen Datensatz jeder Ihrer Datensätze erhält und nach welcher Methode Sie die Daten aufteilen. Sie möchten z. B. vielleicht eine stratifizierte Aufteilung verwenden, damit die Verteilung der Beobachtungen in der Zielspalte über alle Datensätze hinweg identisch ist. Zur Aufteilung können Sie die folgenden Transformationen verwenden:

Wenn Sie die Daten aufgeteilt haben, können Sie auf jeden Datensatz weitere Transformationen anwenden. Für die meisten Anwendungsfälle ist dies nicht erforderlich.

Data Wrangler berechnet die Anteile der Aufteilungen im Hinblick auf ihre Leistung. Sie können einen Fehlerschwellenwert wählen, um die Genauigkeit der Aufteilungen festzulegen. Niedrigere Fehlerschwellenwerte geben die Anteile genauer wieder, die Sie für die Aufteilungen angeben. Wenn Sie einen höheren Fehlerschwellenwert festlegen, erzielen Sie eine bessere Leistung, aber eine geringere Genauigkeit.

Setzen Sie den Fehlerschwellenwert auf 0, um perfekt aufgeteilte Daten zu erhalten. Sie können einen Schwellenwert zwischen 0 und 1 angeben, um die Leistung zu verbessern. Wenn Sie einen Wert größer als 1 angeben, interpretiert Data Wrangler diesen Wert als 1.

Wenn Ihr Datensatz 10.000 Zeilen enthält und Sie eine 80/20-Aufteilung mit einem Fehler von 0,001 angeben, erhalten Sie Beobachtungen, die annähernd einem der folgenden Ergebnisse entsprechen:

Die Anzahl der Beobachtungen für den Testsatz im obigen Beispiel liegt im Intervall zwischen 8010 und 7990.

Data Wrangler verwendet standardmäßig einen zufälligen Anfangswert, damit die Aufteilungen reproduzierbar sind. Sie können für den Anfangswert einen anderen Wert angeben, um eine andere reproduzierbare Aufteilung zu erzeugen.

Wert als Typ parsen

Verwenden Sie diese Transformation, um eine Spalte in einen neuen Typ umzuwandeln. Die unterstützten Data Wrangler-Datentypen sind:

Zeichenfolge validieren

Mit Hilfe der Transformation Zeichenfolge überprüfen können Sie eine neue Spalte erstellen, die angibt, dass eine Zeile mit Textdaten eine bestimmte Bedingung erfüllt. Sie können z. B. mit Hilfe einer Transformation vom Typ Zeichenfolge überprüfen überprüfen, ob eine Zeichenfolge nur Kleinbuchstaben enthält. Unter Zeichenfolge überprüfen werden die folgenden Transformationen unterstützt.

In dieser Transformationsgruppe sind die folgenden Transformationen enthalten. Wenn eine Transformation einen booleschen Wert ausgibt, wird True mit einer dargestellt 1 und False mit einer 0.

Unverschachtelte Daten JSON

Wenn Sie eine CSV-Datei haben, enthält Ihr Datensatz möglicherweise Werte, bei denen es sich um Zeichenketten handeltJSON. In ähnlicher Weise haben Sie möglicherweise Daten in Spalten einer Parquet-Datei oder eines JSON Dokuments verschachtelt.

Verwenden Sie den Operator Strukturierte abflachen, um die Schlüssel der ersten Ebene in separate Spalten aufzuteilen. Ein Schlüssel der ersten Ebene ist ein Schlüssel, der nicht in einem Wert verschachtelt ist.

Beispielsweise könnten Sie über einen Datensatz verfügen, der eine Personenspalte mit demografischen Informationen zu jeder Person enthält, die als JSON Zeichenfolgen gespeichert sind. Eine JSON Zeichenfolge könnte wie folgt aussehen.

 "{"seq": 1,"name": {"first": "Nathaniel","last": "Ferguson"},"age": 59,"city": "Posbotno","state": "WV"}"
            

Der Operator Strukturierte abflachen konvertiert die folgenden Schlüssel der ersten Ebene in zusätzliche Spalten in Ihrem Datensatz:

Data Wrangler platziert die Werte der Schlüssel als Werte unter den Spalten. Im Folgenden werden die Spaltennamen und Werte von angezeigtJSON.

seq, name,                                    age, city, state
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV
            

Für jeden Wert in Ihrem DatensatzJSON, der den strukturierten Operator „Reduzieren“ enthält, erstellt er Spalten für die Schlüssel der ersten Ebene. Um Spalten für verschachtelte Schlüssel zu erstellen, rufen Sie den Operator erneut auf. Im obigen Beispiel werden durch Aufrufen des Operators die folgenden Spalten erstellt:

Das folgende Beispiel zeigt die Datenmenge, die erhalten wird, wenn der Operation erneut aufgerufen wird.

seq, name,                                    age, city, state, name_first, name_last
1, {"first": "Nathaniel","last": "Ferguson"}, 59, Posbotno, WV, Nathaniel, Ferguson
            

Wählen Sie Schlüssel, nach denen abgeflacht werden soll, um die Schlüssel der ersten Ebene, die extrahiert werden sollen, als separate Spalten anzugeben. Wenn Sie keine Schlüssel angeben, extrahiert Data Wrangler standardmäßig alle Schlüssel.

Array explodieren

Verwenden Sie Array explodieren, um die Werte des Arrays in separate Ausgabezeilen zu erweitern. Die Operation kann z. B. jeden Wert im Array [[1, 2, 3,], [4, 5, 6], [7, 8, 9]] nehmen und eine neue Spalte mit den folgenden Zeilen erstellen:

                [1, 2, 3]
                [4, 5, 6]
                [7, 8, 9]
            

Data Wrangler nennt die neue Spalte input_column_name_flatten.

Sie können die Operation Array explodieren mehrmals aufrufen, um die verschachtelten Werte des Arrays auf separate Ausgabespalten zu verteilen. Das folgende Beispiel zeigt das Ergebnis, wenn der Operation für einen Datensatz mit verschachteltem Array mehrfach aufgerufen wird.

Die Werte eines verschachtelten Arrays werden auf separate Spalten aufgeteilt

Bilddaten transformieren

Mit Data Wrangler können Sie die Bilder importieren und transformieren, die Sie für Ihre Machine Learning (ML)-Pipelines verwenden. Wenn Sie Ihre Bilddaten vorbereitet haben, können Sie sie aus Ihrem Data Wrangler-Flow in Ihre ML-Pipeline exportieren.

Mit Hilfe der hier bereitgestellten Informationen können Sie sich mit dem Import und der Transformation von Bilddaten in Data Wrangler vertraut machen. Data Wrangler verwendet OpenCV, um Bilder zu importieren. Weitere Informationen zu den unterstützten Bildformaten finden Sie unter Bilddateien lesen und schreiben.

Nachdem Sie sich mit den Konzepten der Transformation Ihrer Bilddaten vertraut gemacht haben, lesen Sie das folgende Tutorial: Bilddaten mit Amazon SageMaker Data Wrangler vorbereiten.

Die folgenden Branchen und Anwendungsfälle sind Beispiele, bei denen die Anwendung von Machine Learning auf transformierte Bilddaten nützlich sein kann:

Wenn Sie in Data Wrangler mit Bilddaten arbeiten, durchlaufen Sie den folgenden Prozess:

Gehen Sie wie folgt vor, um Ihre Bilddaten zu importieren.

Data Wrangler verwendet die Open-Source-Bibliothek imgaug für seine integrierten Bildtransformationen. Sie können die folgenden integrierten Transformationen verwenden:

Gehen Sie wie folgt vor, um Ihre Bilder zu transformieren, ohne Code schreiben zu müssen.

Sie können nicht nur die von Data Wrangler bereitgestellten Transformationen verwenden, sondern auch Ihre eigenen benutzerdefinierten Codeausschnitte verwenden. Weitere Informationen zur Verwendung von benutzerdefinierten Codeausschnitten finden Sie unter Benutzerdefinierte Transformationen. Sie können die OpenCV- und imgaug-Bibliotheken in Ihren Codeausschnitten importieren und die damit verknüpften Transformationen verwenden. Das folgende Beispiel zeigt einen Codeausschnitt, der Kanten in Bildern erkennt.

# A table with your image data is stored in the `df` variable
import cv2
import numpy as np
from pyspark.sql.functions import column

from sagemaker_dataprep.compute.operators.transforms.image.constants import DEFAULT_IMAGE_COLUMN, IMAGE_COLUMN_TYPE
from sagemaker_dataprep.compute.operators.transforms.image.decorators import BasicImageOperationDecorator, PandasUDFOperationDecorator


@BasicImageOperationDecorator
def my_transform(image: np.ndarray) -> np.ndarray:
  # To use the code snippet on your image data, modify the following lines within the function
    HYST_THRLD_1, HYST_THRLD_2 = 100, 200
    edges = cv2.Canny(image,HYST_THRLD_1,HYST_THRLD_2)
    return edges
    

@PandasUDFOperationDecorator(IMAGE_COLUMN_TYPE)
def custom_image_udf(image_row):
    return my_transform(image_row)
    

df = df.withColumn(DEFAULT_IMAGE_COLUMN, custom_image_udf(column(DEFAULT_IMAGE_COLUMN)))
        

Wenn Sie in Ihrem Data Wrangler-Ablauf Transformationen anwenden, wendet Data Wrangler diese nur auf eine Stichprobe der Bilder in Ihrem Datensatz an. Um die Bedienung der Anwendung für Sie zu optimieren, wendet Data Wrangler die Transformationen nicht auf alle Ihre Bilder an.

Daten filtern

Verwenden Sie Data Wrangler, um die Daten in Ihren Spalten zu filtern. Wenn Sie die Daten in einer Spalte filtern, geben Sie die folgenden Felder an:

Sie können nach den folgenden Bedingungen filtern:

Für eine Spalte mit den Kategorien male und female können Sie alle male Werte herausfiltern. Sie können auch nach allen female Werten filtern. Da die Spalte nur male und female Werte enthält, gibt der Filter eine Spalte zurück, die nur female Werte enthält.

Sie können auch mehrere Filter hinzufügen. Die Filter können auf mehrere Spalten oder auf dieselbe Spalte angewendet werden. Wenn Sie z. B. eine Spalte erstellen, die nur Werte innerhalb eines bestimmten Bereichs enthält, fügen Sie zwei verschiedene Filter hinzu. Ein Filter gibt an, dass die Spalte Werte enthalten muss, die größer als der von Ihnen angegebene Wert sind. Der andere Filter gibt an, dass die Spalte Werte enthalten muss, die kleiner als der von Ihnen angegebene Wert sind.

Gehen Sie wie folgt vor, um die Filtertransformation zu Ihren Daten hinzuzufügen.