Visuelle ETL Jobs erstellen mit AWS Glue Studio - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Visuelle ETL Jobs erstellen mit AWS Glue Studio

Ein AWS Glue-Auftrag kapselt ein Skript ein, das eine Verbindung zu den Quelldaten herstellt, verarbeitet es und schreibt es dann in Ihr Datenziel. In der Regel werden bei einem Job Skripten zum Extrahieren, Transformieren und Laden (ETL) ausgeführt. Aufträge können Skripte ausführen, die für Apache Spark und Ray-Laufzeitumgebungen entwickelt wurden. Aufträge können auch allgemeine Python-Skripts (Python-Shell-Aufträge) ausführen. AWS Glue-Auslöser können Aufträge basierend auf einem Zeitplan oder Ereignis oder On-Demand starten. Sie können Auftragsausführungen überwachen, um mehr über Laufzeitmetriken wie Bearbeitungsstatus, Dauer und Startzeit zu erfahren.

Sie können von AWS Glue generierte Skripts verwenden oder eigene Skripts bereitstellen. Mit einem Quellschema und einer Zielposition oder einem Schema kann der AWS Glue Studio Codegenerator automatisch ein Apache Spark API (PySpark) -Skript erstellen. Sie können dieses Skript als Ausgangspunkt verwenden und es bearbeiten, um Ihre Ziele zu erreichen.

AWS Glue kann Ausgabedateien in mehreren Datenformaten schreiben. Jeder Auftragstyp unterstützt möglicherweise unterschiedliche Ausgabeformate. Für einige Datenformate können gängige Komprimierungsformate geschrieben werden.

Anmelden in der AWS Glue-Konsole

Ein Job in AWS Glue besteht aus der Geschäftslogik, die Extraktions-, Transformations- und Load (ETL) -Aufgaben ausführt. Sie können Jobs im ETLBereich der AWS Glue Konsole erstellen.

Um bestehende Jobs anzusehen, melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Konsole unter https://console.aws.amazon.com/glue/. Wählen Sie anschließend die Registerkarte Jobs (Aufträge) in AWS Glue aus. Die Aufträge-Liste zeigt den Speicherort des Skripts, das mit jedem Auftrag verknüpft ist, den Zeitpunkt der letzten Auftragsänderung und die Textmarkenoption des aktuellen Auftrags an.

Während Sie einen neuen Job erstellen oder nachdem Sie Ihren Job gespeichert haben, können Sie Can verwenden, AWS Glue Studio um Ihre ETL Jobs zu ändern. Dazu bearbeiten Sie die Knoten im visuellen Editor bzw. das Auftragsskript im Entwicklermodus. Sie können im Visual Editor auch Knoten hinzufügen und entfernen, um kompliziertere ETL Jobs zu erstellen.

Nächste Schritte zum Erstellen eines Auftrags in AWS Glue Studio

Sie verwenden den visuellen Auftragseditor, um Knoten für Ihren Auftrag zu konfigurieren. Jeder Knoten stellt eine Aktion dar, z. B. das Lesen von Daten vom Quellspeicherort oder das Anwenden einer Transformation auf die Daten. Jeder Knoten, den Sie Ihrem Auftrag hinzufügen, verfügt über Eigenschaften, die Informationen zum Datenspeicherort oder zur Transformation bereitstellen.

Die nächsten Schritte zum Erstellen und Verwalten Ihrer Jobs sind: