Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Führen Sie eine explorative Datenanalyse durch () EDA

Data Wrangler enthält integrierte Analysen, mit denen Sie mit wenigen Klicks Visualisierungen und Datenanalysen erstellen können. Sie können auch benutzerdefinierte Analysen mit Ihrem eigenen Code erstellen.

Sie fügen einem Datenrahmen eine Analyse hinzu, indem Sie einen Schritt in Ihrem Datenfluss auswählen und dann Analyse hinzufügen auswählen. Um auf eine von Ihnen erstellte Analyse zuzugreifen, wählen Sie den Schritt aus, der die Analyse enthält, und wählen Sie die Analyse aus.

Analysen werden anhand einer Stichprobe von bis zu 200.000 Zeilen Ihres Datensatzes generiert, und Sie können die Stichprobengröße konfigurieren. Weitere Informationen zum Ändern der Stichprobengröße Ihres Datenflusses finden Sie unterBearbeiten Sie die Konfiguration der Datenflussstichprobe.

Sie können die folgende Analyse zu einem Datenrahmen hinzufügen:

In den folgenden Abschnitten erfahren Sie mehr über diese Optionen.

Verschaffen Sie sich Einblicke in Daten und Datenqualität

Verwenden Sie den Datenqualitäts- und Insights-Bericht, um eine Analyse der Daten durchzuführen, die Sie in Data Wrangler importiert haben. Wir empfehlen, dass Sie den Bericht erstellen, nachdem Sie Ihren Datensatz importiert haben. Sie können den Bericht verwenden, um Ihre Daten zu bereinigen und zu verarbeiten. Er gibt Ihnen Informationen wie die Anzahl der fehlenden Werte und die Anzahl der Ausreißer. Wenn Sie Probleme mit Ihren Daten haben, wie z. B. undichte Zielstellen oder Ungleichgewichte, können Sie mithilfe des Insights-Berichts auf diese Probleme aufmerksam gemacht werden.

Gehen Sie wie folgt vor, um einen Datenqualitäts- und Insights-Bericht zu erstellen. Es wird davon ausgegangen, dass Sie bereits einen Datensatz in Ihren Data Wrangler-Flow importiert haben.

Die folgenden Themen zeigen die Abschnitte des Berichts:

Sie können den Bericht entweder herunterladen oder online ansehen. Um den Bericht herunterzuladen, wählen Sie die Download-Schaltfläche in der oberen rechten Ecke des Bildschirms.

Übersicht

Der Insights-Bericht enthält eine kurze Zusammenfassung der Daten, die allgemeine Informationen wie fehlende Werte, ungültige Werte, Merkmalstypen, Anzahl von Ausreißern und mehr enthält. Er kann auch Warnungen mit hohem Schweregrad enthalten, die auf wahrscheinliche Probleme mit den Daten hinweisen. Wir empfehlen Ihnen, die Warnungen zu überprüfen.

Zielspalte

Wenn Sie den Datenqualitäts- und Insights-Bericht erstellen, bietet Ihnen Data Wrangler die Möglichkeit, eine Zielspalte auszuwählen. Eine Zielspalte ist eine Spalte, die Sie voraussagen möchten. Wenn Sie eine Zielspalte auswählen, erstellt Data Wrangler automatisch eine Zielspaltenanalyse. Außerdem werden die Merkmale in der Reihenfolge ihrer Voraussagekraft eingestuft. Wenn Sie eine Zielspalte auswählen, müssen Sie angeben, ob Sie versuchen, ein Regressions- oder ein Klassifizierungsproblem zu lösen.

Zur Klassifizierung zeigt Data Wrangler eine Tabelle und ein Histogramm der gängigsten Klassen. Eine Klasse ist eine Kategorie. Sie enthält auch Beobachtungen oder Zeilen mit einem fehlenden oder ungültigen Zielwert.

Für die Regression zeigt Data Wrangler ein Histogramm aller Werte in der Zielspalte. Sie enthält auch Beobachtungen oder Zeilen mit einem fehlenden, ungültigen oder einem Ausreißer-Zielwert.

Quick-Modell

Das Quick-Modell bietet eine Schätzung der erwarteten vorausgesagten Qualität eines Modells, das Sie anhand Ihrer Daten trainieren.

Data Wrangler teilt Ihren Datensatz in Trainings- und Validierungsbereiche auf. Es verwendet 80 % der Stichproben für das Training und 20 % der Werte für die Validierung. Zur Klassifizierung wird die Stichprobe stratifiziert und aufgeteilt. Bei einer stratifizierten Aufteilung hat jede Datenpartition das gleiche Verhältnis von Beschriftungen. Bei Klassifikationsproblemen ist es wichtig, dass das gleiche Verhältnis der Beschriftungen zwischen den Kategorien Training und Klassifikationsbereiche eingehalten wird. Data Wrangler trainiert das XGBoost Modell mit den Standard-Hyperparametern. Es stoppt die Validierungsdaten frühzeitig und führt nur eine minimale Vorverarbeitung der Merkmale durch.

Bei Klassifikationsmodellen gibt Data Wrangler sowohl eine Modellzusammenfassung als auch eine Konfusionsmatrix zurück.

Weitere Informationen zu den Informationen, die die Zusammenfassung des Klassifikationsmodells zurückgibt, finden Sie unter. Definitionen

Eine Konfusionsmatrix enthält die folgenden Informationen:

Die wahre Beschriftung stellt eine tatsächliche Beobachtung in Ihren Daten dar. Wenn Sie beispielsweise ein Modell zur Erkennung betrügerischer Transaktionen verwenden, steht das True Label für eine Transaktion, die tatsächlich betrügerisch oder nicht betrügerisch ist. Das vorausgesagte Beschriftung steht für die Beschriftung, das Ihr Modell den Daten zuweist.

Anhand der Konfusionsmatrix können Sie ermitteln, wie gut das Modell das Vorliegen oder Nichtvorliegen einer Bedingung voraussagt. Wenn Sie betrügerische Transaktionen voraussagen, können Sie die Konfusionsmatrix verwenden, um sich ein Bild von der Sensibilität und Spezifität des Modells zu machen. Die Sensibilität bezieht sich auf die Fähigkeit des Modells, betrügerische Transaktionen zu erkennen. Die Spezifität bezieht sich auf die Fähigkeit des Modells, zu verhindern, dass nicht betrügerische Transaktionen als betrügerisch erkannt werden.

Übersicht der Funktionen

Wenn Sie eine Zielspalte angeben, ordnet Data Wrangler die Funktionen nach ihrer Voraussagekraft. Die Aussagekraft der Daten wird anhand der Daten gemessen, nachdem sie zu 80% in Trainingseinheiten und zu 20% in Validierungsstufen aufgeteilt wurden. Data Wrangler passt ein Modell für jedes Merkmal separat im Trainingsbereich an. Es wendet nur eine minimale Merkmalsvorverarbeitung an und misst die Voraussageleistung anhand der Validierungsdaten.

Es normalisiert die Werte auf den Bereich [0,1]. Höhere Voraussagewerte weisen auf Spalten hin, die für die Voraussage des Ziels allein nützlicher sind. Niedrigere Werte weisen auf Spalten hin, die keine Voraussage für die Zielspalte bieten.

Es ist ungewöhnlich, dass eine Spalte, die für sich genommen nicht prädiktiv ist, prädiktiv ist, wenn sie zusammen mit anderen Spalten verwendet wird. Sie können die Voraussagewerte getrost verwenden, um zu bestimmen, ob eine Funktion in Ihrem Datensatz prädiktiv ist.

Ein niedriger Wert weist normalerweise darauf hin, dass die Funktion überflüssig ist. Ein Wert von 1 impliziert perfekte Voraussagefähigkeiten, was häufig auf undichte Zielstellen hindeutet. Undichte Zielstellen treten normalerweise auf, wenn der Datensatz eine Spalte enthält, die zum Voraussagezeitpunkt nicht verfügbar ist. Es könnte sich beispielsweise um ein Duplikat der Zielspalte handeln.

Beispiele

Data Wrangler liefert Informationen darüber, ob Ihre Stichproben anomal sind oder ob Ihr Datensatz Duplikate enthält.

Data Wrangler erkennt anomale Proben mithilfe des Isolation-Forest-Algorithmus. Der Isolation Forest ordnet jeder Stichprobe (Zeile) des Datensatzes einen Anomaliewert zu. Niedrige Anomaliewerte deuten auf anomale Proben hin. Hohe Werte stehen im Zusammenhang mit Proben, die nicht anomale Werte aufweisen. Proben mit einem negativen Anomaliewert gelten in der Regel als anomal und Proben mit einem positiven Anomaliewert gelten als nicht anomal.

Wenn Sie sich eine Probe ansehen, die möglicherweise anomal ist, empfehlen wir Ihnen, auf ungewöhnliche Werte zu achten. Beispielsweise könnten Sie ungewöhnliche Werte haben, die auf Fehler bei der Erfassung und Verarbeitung der Daten zurückzuführen sind. Im Folgenden finden Sie ein Beispiel für die anomalsten Stichproben gemäß der Implementierung des Isolation-Forest-Algorithmus durch Data Wrangler. Wir empfehlen, bei der Untersuchung der anomalen Stichproben Fachwissen und Geschäftslogik zu verwenden.

Data Wrangler erkennt doppelte Zeilen und berechnet das Verhältnis doppelter Zeilen in Ihren Daten. Einige Datenquellen könnten gültige Duplikate enthalten. Andere Datenquellen könnten Duplikate enthalten, die auf Probleme bei der Datensammlung hinweisen. Doppelte Stichproben, die aus einer fehlerhaften Datensammlung resultieren, könnten Machine-Learning-Prozesse beeinträchtigen, die auf der Aufteilung der Daten in unabhängige Trainings- und Validierungsbereiche beruhen.

Im Folgenden sind Elemente des Insights-Berichts aufgeführt, die durch doppelte Stichproben beeinträchtigt werden können:

Mithilfe der Transformation Drop-Duplikat unter Zeilen verwalten können Sie doppelte Stichproben aus dem Datensatz entfernen. Data Wrangler zeigt Ihnen die am häufigsten duplizierten Zeilen.

Definitionen

Im Folgenden finden Sie Definitionen für die Fachbegriffe, die im Data Insights-Bericht verwendet werden.

Feature types

Im Folgenden finden Sie die Definitionen für die einzelnen Funktionstypen:

• Numerisch – Numerische Werte können entweder Gleitkommazahlen oder ganze Zahlen sein, z. B. Alter oder Einkommen. Bei Machine-Learning-Modellen wird davon ausgegangen, dass numerische Werte geordnet sind und eine Entfernung zwischen ihnen definiert ist. Zum Beispiel ist 3 näher an 4 als an 10 und 3 < 4 < 10.

• Kategorisch — Die Spalteneinträge gehören zu einer Gruppe von Einzelwerten, die normalerweise viel kleiner sind als die Anzahl der Einträge in der Spalte. Eine Spalte mit der Länge 100 könnte beispielsweise die eindeutigen Werte Dog, Cat und Mouse enthalten. Die Werte können numerisch, Text oder eine Kombination aus beidem sein. Horse, House, 8, Love und 3.1 wären alle gültige Werte und könnten in derselben kategorischen Spalte gefunden werden. Beim Machine-Learning-Modell wird im Gegensatz zu numerischen Features nicht von der Reihenfolge oder Entfernung der Werte kategorischer Features ausgegangen, selbst wenn es sich bei allen Werten um Zahlen handelt.

• Binär – Binäre Funktionen sind ein besonderer kategorischer Featuretyp, bei dem die Kardinalität der Menge von eindeutigen Werten 2 ist.

• Text – Eine Textspalte enthält viele nicht numerische eindeutige Werte. In extremen Fällen sind alle Elemente der Spalte eindeutig. Im Extremfall sind keine zwei Einträge identisch.

• DateTime – Eine DateTime-Spalte enthält Informationen über das Datum oder die Uhrzeit. Es kann sowohl Informationen zum Datum als auch zur Uhrzeit enthalten.

Feature statistics

Im Folgenden finden Sie die Definitionen für die einzelnen Funktionsstatistiken:

• Vorhersagekraft – Die Voraussagestärke gibt an, wie nützlich die Spalte für die Voraussage des Ziels ist.

• Ausreißer (in numerischen Spalten) — Data Wrangler erkennt Ausreißer anhand von zwei Statistiken, die robust gegenüber Ausreißern sind: Median und robuste Standardabweichung (). RSTD RSTDwird abgeleitet, indem die Merkmalswerte auf den Bereich [5 Perzentil, 95 Perzentil] zugeschnitten und die Standardabweichung des beschnittenen Vektors berechnet wird. Alle Werte, die größer als Median + 5 * RSTD oder kleiner als Median — 5 * sind, gelten als Ausreißer. RSTD

• Schief (in numerischen Spalten) – Die Schiefe misst die Symmetrie der Verteilung und ist definiert als das dritte Moment der Verteilung geteilt durch die dritte Potenz der Standardabweichung. Die Schiefe der Normalverteilung oder einer anderen symmetrischen Verteilung ist Null. Positive Werte bedeuten, dass das rechte Ende der Verteilung länger ist als das linke Ende. Positive Werte bedeuten, dass das rechte Ende der Verteilung länger ist als das linke Ende. Als Faustregel gilt, dass eine Verteilung als schief betrachtet wird, wenn der absolute Wert der Schräglage größer als 3 ist.

• Kurtosis (in numerischen Spalten) – Die Kurtosis nach Pearson gibt an, wie schwer das Ende der Verteilung ist. Sie ist definiert als der vierte Moment der Verteilung geteilt durch das Quadrat des zweiten Moments. Die Kurtosis der Normalverteilung ist 3. Kurtosis-Werte unter 3 bedeuten, dass sich die Verteilung um den Mittelwert herum konzentriert und die Randbereiche schwächer sind als die Randbereiche der Normalverteilung. Kurtosis-Werte über 3 deuten auf stärkere Randbereiche oder Ausreißer hin.

• Fehlende Werte – Nullähnliche Objekte, leere Zeichenketten und Zeichenketten, die nur aus Leerzeichen bestehen, werden als fehlend betrachtet.

• Gültige Werte für numerische Features oder Regressionsziele – Alle Werte, die Sie in endliche Gleitkommazahlen umwandeln können, sind gültig. Fehlende Werte sind nicht gültig.

• Gültige Werte für kategorische, binäre oder Textmerkmale oder für Klassifizierungsziele – Alle Werte, die nicht fehlen, sind gültig.

• DateTime-Funktionen – Alle Werte, die Sie in ein DateTime-Objekt umwandeln können, sind gültig. Fehlende Werte sind nicht gültig.

• Ungültige Werte – Werte, die entweder fehlen oder die Sie nicht richtig umwandeln können. In einer numerischen Spalte können Sie beispielsweise die Zeichenfolge "six" oder einen Nullwert nicht umwandeln.

Quick model metrics for regression

Im Folgenden finden Sie die Definitionen für die Quick-Modellmetriken:

• R2 (oder Bestimmtheitskoeffizient) – R2 ist der Anteil der Variation im Zielwert, der vom Modell vorausgesagt wird. R2 liegt im Bereich von [-infty, 1]. 1 ist der Wert des Modells, das den Sollwert perfekt voraussagt, und 0 ist der Wert des trivialen Modells, das immer den Zielmittelwert voraussagt.

• MSEoder mittlerer quadratischer Fehler — MSE liegt im Bereich [0, infty]. 0 ist der Wert des Modells, das das Ziel perfekt vorhersagt.

• MAEoder mittlerer absoluter Fehler — MAE liegt im Bereich [0, infty], wobei 0 der Wert des Modells ist, das das Ziel perfekt vorhersagt.

• RMSEoder quadratischer Mittelwert — RMSE liegt im Bereich [0, infty], wobei 0 der Wert des Modells ist, das das Ziel perfekt vorhersagt.

• Maximaler Fehler – Der maximale Absolutwert des Fehlers im Datensatz. Der maximale Fehler liegt im Bereich [0, infty]. 0 ist der Wert des Modells, das das Ziel perfekt voraussagt.

• Mittlerer absoluter Fehler – Der mittlere absolute Fehler liegt im Bereich [0, infty], wobei 0 der Wert des Modells ist, das das Ziel perfekt voraussagt.

Quick model metrics for classification

Im Folgenden finden Sie die Definitionen für die Quick-Modellmetriken:

• Genauigkeit – Genauigkeit ist das Verhältnis der Stichproben, die genau vorausgesagt wurden. Die Genauigkeit liegt im Bereich [0, 1]. 0 ist der Wert des Modells, das alle Stichproben falsch voraussagt, und 1 ist der Wert des perfekten Modells.

• Ausgewogene Genauigkeit – Ausgewogene Genauigkeit ist das Verhältnis der Stichproben, die genau vorausgesagt werden, wenn die Klassengewichtungen angepasst werden, um die Daten auszugleichen. Allen Klassen wird unabhängig von ihrer Häufigkeit die gleiche Bedeutung beigemessen. Die ausgewogene Genauigkeit liegt im Bereich [0, 1]. 0 ist der Wert des Modells, das alle Stichproben falsch voraussagt, und 1 ist der Wert des perfekten Modells.

• AUC(binäre Klassifizierung) — Dies ist der Bereich unter der Betriebskennlinie des Empfängers. AUCliegt im Bereich [0, 1], in dem ein Zufallsmodell eine Punktzahl von 0,5 und das perfekte Modell eine Punktzahl von 1 zurückgibt.

• AUC(OVR) — Bei der Klassifizierung nach mehreren Klassen ist dies der Bereich unter der Betriebskennlinie des Empfängers, der für jedes Etikett separat berechnet wird, wobei ein Wert im Vergleich zum Rest verwendet wird. Data Wrangler gibt den Durchschnitt der Flächen an. AUCliegt im Bereich [0, 1], in dem ein Zufallsmodell einen Wert von 0,5 und das perfekte Modell einen Wert von 1 zurückgibt.

• Präzision – Die Präzision ist für eine bestimmte Klasse definiert. Präzision ist der Anteil der wirklich positiven Ergebnisse aller Instances, die das Modell als diese Klasse klassifiziert hat. Die Präzision liegt im Bereich [0, 1]. 1 ist der Wert des Modells, das keine falsch positiven Ergebnisse für die Klasse aufweist. Für die binäre Klassifikation gibt Data Wrangler die Präzision der positiven Klasse an.

• Erinnerungswert – Der Erinnerungswert ist für eine bestimmte Klasse definiert. Der Erinnerungswert ist der Bruchteil der relevanten Klassen-Instances, die erfolgreich abgerufen wurden. Erinnerungswert liegt im Bereich [0, 1]. 1 ist der Wert des Modells, das alle Instances der Klasse korrekt klassifiziert. Für die binäre Klassifikation gibt Data Wrangler den Erinnerungswert der positiven Klasse an.

• F1 – F1 ist für eine bestimmte Klasse definiert. Sie ist das harmonische Mittel zwischen Präzision und Erinnerungswert. F1 liegt im Bereich [0, 1]. 1 ist der Wert des perfekten Modells. Für die binäre Klassifikation gibt Data Wrangler den F1-Wert für Klassen mit positiven Werten an.

Textual patterns

Muster beschreiben das Textformat einer Zeichenfolge in einem leicht lesbaren Format. Es folgen Beispiele für Textmuster:

• „{digits:4-7}“ beschreibt eine Folge von Ziffern mit einer Länge zwischen 4 und 7.

• „{alnum:5}“ beschreibt eine alphanumerische Zeichenfolge mit einer Länge von genau 5.

Data Wrangler leitet die Muster ab, indem es Stichproben von nicht leeren Zeichenketten aus Ihren Daten betrachtet. Es kann viele der häufig verwendeten Muster beschreiben. Das als Prozentsatz ausgedrückte Vertrauen gibt an, wie viele der Daten schätzungsweise mit dem Muster übereinstimmen. Anhand des Textmusters können Sie erkennen, welche Zeilen in Ihren Daten Sie korrigieren oder löschen müssen.

Im Folgenden werden die Muster beschrieben, die Data Wrangler erkennen kann:

Muster	Textformat
{alnum}	Alphanumerische Zeichenfolge
{any}	Beliebige Zeichenfolge aus Wörtern
{digits}	Eine Ziffernfolge
{lower}	Ein kleingeschriebenes Wort
{mixed}	Ein Wort mit gemischter Groß- und Kleinschreibung
{name}	Ein Wort, das mit einem Großbuchstaben beginnt
{upper}	Ein Wort in Großbuchstaben
{whitespace}	Leerzeichen

Ein Wortzeichen ist entweder ein Unterstrich oder ein Zeichen, das in einem Wort in einer beliebigen Sprache vorkommen kann. Beispielsweise bestehen die Zeichenketten 'Hello_word' und 'écoute' beide aus Wortzeichen. „H“ und „é“ sind beide Beispiele für Wortzeichen.

Bericht über Verzerrungen

SageMaker Canvas stellt den Bias-Bericht in Data Wrangler bereit, mit dem Sie potenzielle Verzerrungen in Ihren Daten aufdecken können. Der Bericht über systematische Abweichungen analysiert die Beziehung zwischen der Zielspalte (Bezeichnung) und einer Spalte, von der Sie glauben, dass sie eine Verzerrung enthalten könnte (Facettenvariable). Wenn Sie beispielsweise versuchen, die Kundenkonversion vorherzusagen, kann die Facettenvariable das Alter des Kunden sein. Anhand des Bias-Berichts können Sie feststellen, ob Ihre Daten auf eine bestimmte Altersgruppe ausgerichtet sind oder nicht.

Gehen Sie wie folgt vor, um in Canvas einen Bericht über Verzerrungen zu erstellen:

Nach der Generierung bietet Ihnen der Bericht einen Überblick über die ausgewählten Bias-Metriken. Sie können den Bias-Bericht jederzeit auf der Registerkarte Analysen Ihres Datenflusses einsehen.

Histogramm

Verwenden Sie Histogramme, um die Anzahl der Feature-Werte für ein bestimmtes Feature zu ermitteln. Mit der Option Farbe nach können Sie die Beziehungen zwischen Features überprüfen.

Sie können die Funktion Facette nach verwenden, um Histogramme einer Spalte für jeden Wert in einer anderen Spalte zu erstellen.

Streudiagramm

Verwenden Sie die Streudiagramm, um die Beziehung zwischen Features zu untersuchen. Um ein Streudiagramm zu erstellen, wählen Sie ein Feature aus, das auf der X-Achse und Y-Achse dargestellt werden soll. Bei beiden Spalten muss es sich um numerische Spalten handeln.

Sie können Streudiaramme anhand einer zusätzlichen Spalte einfärben.

Darüber hinaus können Sie Streudiagramme nach Merkmalen facettieren.

Zusammenfassung der Tabelle

Verwenden Sie die Analyse mit der Tabellenzusammenfassung, um Ihre Daten schnell zusammenzufassen.

Für Spalten mit numerischen Daten, einschließlich Logarithmus- und Float-Daten, gibt eine Tabellenzusammenfassung die Anzahl der Einträge (Anzahl), Minimum (min), Maximum (max), Mittelwert und Standardabweichung (stddev) für jede Spalte an.

Für Spalten mit nicht numerischen Daten, einschließlich Spalten mit String-, Boolean- oder Datums-/Uhrzeitdaten, gibt eine Tabellenzusammenfassung die Anzahl der Einträge (Anzahl), den seltensten Wert (min) und den häufigsten Wert (max.) an.

Quick-Modell

Verwenden Sie die Schnellmodell-Visualisierung, um Ihre Daten schnell auszuwerten und Wichtigkeitswerte für jedes Feature zu erstellen. Ein Wert für die Wichtigkeit eines Merkmals gibt an, wie nützlich ein Feature bei der Vorhersage einer Zielbezeichnung ist. Der Wert für die Wichtigkeit eines Merkmals liegt zwischen [0, 1] und eine höhere Zahl gibt an, dass das Merkmal für den gesamten Datensatz wichtiger ist. Oben im Schnellmodelldiagramm befindet sich eine Modellbewertung. Ein Klassifizierungsproblem zeigt einen F1-Wert. Ein Regressionsproblem hat einen mittleren quadratischen Fehler (MSE).

Wenn Sie ein Schnellmodelldiagramm erstellen, wählen Sie einen Datensatz aus, den Sie auswerten möchten, und eine Zielbezeichnung, mit der die Bedeutung der Merkmale verglichen werden soll. Data Wrangler führt Folgendes aus:

Leckage anvisieren

Eine Zielleckage tritt auf, wenn ein Trainingsdatensatz für Machine Learning Daten enthält, die stark mit der Zielbeschriftung korrelieren, aber in realen Daten nicht verfügbar sind. Beispielsweise können Sie eine Spalte in Ihrem Datensatz haben, die als Proxy für die Spalte dient, die Sie mit Ihrem Modell vorhersagen möchten.

Wenn Sie die Zielleckageanalyse verwenden, geben Sie Folgendes an:

Für die Klassifizierung verwendet die Analyse der Zielleckage die Fläche unter der Betriebseigenschaft des Empfängers, d. h. AUC die ROC Kurve für jede Spalte, bis hin zur maximalen Anzahl von Merkmalen. Für die Regression wird ein Bestimmtheitskoeffizient oder eine R2-Metrik verwendet.

Die AUC ROC -Kurve bietet eine prädiktive Metrik, die anhand einer Stichprobe von bis zu etwa 1000 Zeilen für jede Spalte mithilfe einer Kreuzvalidierung einzeln berechnet wird. Ein Wert von 1 weist auf perfekte Vorhersagefähigkeiten hin, was häufig auf eine Zielleckage hindeutet. Ein Wert von 0,5 oder weniger bedeutet, dass die Informationen in der Spalte für sich genommen keine nützlichen Informationen für die Vorhersage des Ziels liefern konnten. Es kann zwar vorkommen, dass eine Spalte für sich genommen nicht aussagekräftig ist, aber bei der Vorhersage des Ziels nützlich ist, wenn sie zusammen mit anderen Merkmalen verwendet wird, könnte ein niedriger Wert darauf hindeuten, dass das Merkmal überflüssig ist.

Multikollinearität

Multikollinearität ist ein Umstand, bei dem zwei oder mehr Prädiktorvariablen miteinander in Beziehung stehen. Die Prädiktorvariablen sind die Features in Ihrem Datensatz, die Sie zur Vorhersage einer Zielvariablen verwenden. Wenn Sie über Multikollinearität verfügen, können die Prädiktorvariablen nicht nur die Zielvariable vorhersagen, sondern sich auch gegenseitig vorhersagen.

Sie können den Varianzinflationsfaktor (VIF), die Hauptkomponentenanalyse (PCA) oder die Lasso-Merkmalsauswahl als Messgrößen für die Multikollinearität in Ihren Daten verwenden. Weitere Informationen finden Sie unter den folgenden Topics.

Variance Inflation Factor (VIF)

Der Varianzinflationsfaktor (VIF) ist ein Maß für die Kollinearität zwischen Variablenpaaren. Data Wrangler gibt eine VIF Punktzahl als Maß dafür zurück, wie eng die Variablen miteinander verwandt sind. Ein VIF Wert ist eine positive Zahl, die größer oder gleich 1 ist.

Ein Wert von 1 bedeutet, dass die Variable nicht mit den anderen Variablen korreliert. Werte über 1 weisen auf eine höhere Korrelation hin.

Theoretisch können Sie eine VIF Punktzahl mit dem Wert unendlich haben. Data Wrangler kürzt Highscores auf 50. Wenn Sie eine VIF Punktzahl von mehr als 50 haben, setzt Data Wrangler die Punktzahl auf 50.

Sie können die folgenden Richtlinien verwenden, um Ihre VIF Ergebnisse zu interpretieren:

• Eine VIF Punktzahl von weniger als oder gleich 5 bedeutet, dass die Variablen mäßig mit den anderen Variablen korrelieren.

• Ein VIF Wert größer oder gleich 5 bedeutet, dass die Variablen stark mit den anderen Variablen korreliert sind.

Principle Component Analysis (PCA)

Die Hauptkomponentenanalyse (PCA) misst die Varianz der Daten entlang verschiedener Richtungen im Merkmalsraum. Der Feature-Raum besteht aus allen Prädiktorvariablen, die Sie zur Vorhersage der Zielvariablen in Ihrem Datensatz verwenden.

Wenn Sie beispielsweise vorhersagen möchten, wer auf der RMSTitanic überlebt hat, nachdem sie auf einen Eisberg gestoßen ist, kann Ihr Feature-Bereich das Alter, das Geschlecht und den von ihnen bezahlten Fahrpreis der Passagiere enthalten.

PCAGeneriert aus dem Feature-Bereich eine geordnete Varianzliste. Diese Varianzen werden auch als singuläre Werte bezeichnet. Die Werte in der Varianzliste sind größer oder gleich 0. Wir können sie verwenden, um zu bestimmen, wie viel Multikollinearität in unseren Daten enthalten ist.

Wenn die Zahlen ungefähr einheitlich sind, weisen die Daten nur sehr wenige Fälle von Multikollinearität auf. Wenn es eine große Variabilität zwischen den Werten gibt, haben wir viele Fälle von Multikollinearität. Bevor der Vorgang durchgeführt wirdPCA, normalisiert Data Wrangler jedes Merkmal so, dass es einen Mittelwert von 0 und eine Standardabweichung von 1 hat.

Anmerkung

PCAkann unter diesen Umständen auch als Singular Value Decomposition () bezeichnet werden. SVD

Lasso feature selection

Die Lasso-Feature-Auswahl verwendet die L1-Regularisierungstechnik, um nur die prädiktivsten Feature in Ihren Datensatz aufzunehmen.

Sowohl für die Klassifikation als auch für die Regression generiert die Regularisierungstechnik einen Koeffizienten für jedes Feature. Der absolute Wert des Koeffizienten liefert eine Wichtigkeitsbewertung für das Feature. Ein höherer Wichtigkeitswert bedeutet, dass er die Zielvariable besser vorhersagt. Eine gängige Methode zur Feature-Auswahl besteht darin, alle Merkmale zu verwenden, deren Lassokoeffizient ungleich Null ist.

Erkennen Sie Anomalien in Zeitreihendaten

Sie können die Visualisierung zur Erkennung von Anomalien verwenden, um Ausreißer in Ihren Zeitreihendaten zu erkennen. Um zu verstehen, was eine Anomalie ausmacht, müssen Sie verstehen, dass wir die Zeitreihe in einen prognostizierten Term und einen Fehlerterm zerlegen. Wir behandeln die Saisonalität und den Trend der Zeitreihe als den vorhergesagten Term. Wir behandeln die Residuen als Fehlerterm.

Für den Fehlerterm geben Sie einen Schwellenwert als Anzahl der Standardabweichungen an, bei denen das Residuum vom Mittelwert abweichen kann, sodass es als Anomalie betrachtet wird. Sie können beispielsweise einen Schwellenwert mit 3 Standardabweichungen festlegen. Jedes Residuum, das mehr als 3 Standardabweichungen vom Mittelwert entfernt ist, ist eine Anomalie.

Sie können das folgende Verfahren verwenden, um eine Analyse zur Erkennung von Anomalien durchzuführen.

Zerlegung saisonaler Trends in Zeitreihendaten

Mithilfe der Visualisierung der saisonalen Trendzerlegung können Sie feststellen, ob Ihre Zeitreihendaten saisonabhängig sind. Wir verwenden die Methode STL (Saisonale Trendzerlegung unter Verwendung vonLOESS), um die Zerlegung durchzuführen. Wir zerlegen die Zeitreihe in ihre Saison-, Trend- und Restkomponenten. Der Trend spiegelt den langfristigen Verlauf der Reihe wider. Die saisonale Komponente ist ein Signal, das sich in einem bestimmten Zeitraum wiederholt. Nachdem Sie den Trend und die saisonalen Komponenten aus der Zeitreihe entfernt haben, haben Sie das Residuum.

Sie können das folgende Verfahren verwenden, um eine saisonale Trendanalyse der Zerlegung durchzuführen.

Erstellen Sie benutzerdefinierte Visualisierungen

Sie können Ihrem Data Wrangler-Flow eine Analyse hinzufügen, um eine benutzerdefinierte Visualisierung zu erstellen. Ihr Datensatz mit allen Transformationen, die Sie angewendet haben, ist als Pandas verfügbar. DataFrame Data Wrangler verwendet die df Variable, um den Datenrahmen zu speichern. Sie greifen auf den Datenrahmen zu, indem Sie die Variable aufrufen.

Sie müssen die Ausgabevariable, chart, angeben um ein Altair-Ausgabediagramm zu speichern. Sie können beispielsweise den folgenden Codeblock verwenden, um mithilfe des Titanic-Datensatzes ein benutzerdefiniertes Histogramm zu erstellen.

import altair as alt
df = df.iloc[:30]
df = df.rename(columns={"Age": "value"})
df = df.assign(count=df.groupby('value').value.transform('count'))
df = df[["value", "count"]]
base = alt.Chart(df)
bar = base.mark_bar().encode(x=alt.X('value', bin=True, axis=None), y=alt.Y('count'))
rule = base.mark_rule(color='red').encode(
    x='mean(value):Q',
    size=alt.value(5))
chart = bar + rule

Wenn Sie nicht wissen, wie das Altair-Visualisierungspaket in Python verwendet wird, können Sie benutzerdefinierte Codefragmente verwenden, um Ihnen den Einstieg zu erleichtern.

Data Wrangler verfügt über eine durchsuchbare Sammlung von Visualisierungsschnipseln. Um ein Visualisierungs-Snippet zu verwenden, wählen Sie Beispiel-Snippets suchen und geben Sie eine Abfrage in der Suchleiste an.

Im folgenden Beispiel wird der Codeausschnitt Binnendifferenzierte Streudiagramme verwendet. Es zeichnet ein Histogramm für zwei Dimensionen.

Die Codefragmente enthalten Kommentare, die Ihnen helfen sollen, die Änderungen zu verstehen, die Sie am Code vornehmen müssen. Normalerweise müssen Sie die Spaltennamen Ihres Datensatzes im Code angeben.

import altair as alt

# Specify the number of top rows for plotting
rows_number = 1000
df = df.head(rows_number)  
# You can also choose bottom rows or randomly sampled rows
# df = df.tail(rows_number)
# df = df.sample(rows_number)


chart = (
    alt.Chart(df)
    .mark_circle()
    .encode(
        # Specify the column names for binning and number of bins for X and Y axis
        x=alt.X("col1:Q", bin=alt.Bin(maxbins=20)),
        y=alt.Y("col2:Q", bin=alt.Bin(maxbins=20)),
        size="count()",
    )
)

# :Q specifies that label column has quantitative type.
# For more details on Altair typing refer to
# https://altair-viz.github.io/user_guide/encoding.html#encoding-data-types