Visuelle ETL Jobs erstellen mit AWS Glue Studio - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Visuelle ETL Jobs erstellen mit AWS Glue Studio

Importieren in &S3; AWS Glue Job kapselt ein Skript, das eine Verbindung zu Ihren Quelldaten herstellt, sie verarbeitet und sie dann in Ihr Datenziel schreibt. Normalerweise führt ein Auftrag Skripts für Extract, Transform und Load (ETL) aus. Aufträge können Skripte ausführen, die für Apache Spark und Ray-Laufzeitumgebungen entwickelt wurden. Jobs können auch allgemeine Python-Skripte (Python-Shell-Jobs) ausführen. AWS Glue Trigger können Jobs auf der Grundlage eines Zeitplans oder Ereignisses oder bei Bedarf starten. Sie können Auftragsausführungen überwachen, um mehr über Laufzeitmetriken wie Bearbeitungsstatus, Dauer und Startzeit zu erfahren.

Sie können Skripts verwenden, die AWS Glue generiert oder eigene Skripts bereitstellen. Mit einem Quellschema und einer Zielposition oder einem Schema AWS Glue Studio Der Codegenerator kann automatisch ein Apache Spark API (PySpark) -Skript erstellen. Sie können dieses Skript als Ausgangspunkt verwenden und es bearbeiten, um Ihre Ziele zu erreichen.

AWS Glue kann Ausgabedateien in mehreren Datenformaten schreiben. Jeder Auftragstyp unterstützt möglicherweise unterschiedliche Ausgabeformate. Für einige Datenformate können gängige Komprimierungsformate geschrieben werden.

Anmeldung in AWS Glue Konsole

Ein Job in AWS Glue besteht aus der Geschäftslogik, die Extraktions-, Transformations- und Load (ETL) -Aufgaben ausführt. Sie können Jobs im ETLAbschnitt des AWS Glue console.

Um Ihre vorhandenen Aufträge anzuzeigen, melden Sie sich bei an AWS Management Console und öffnen Sie AWS Glue Konsole unter https://console.aws.amazon.com/glue/. Wählen Sie dann die Registerkarte Jobs in AWS Glue. In der Auftragsliste werden der Speicherort des Skripts, das jedem Auftrag zugeordnet ist, das Datum der letzten Änderung und die Lesezeichenoption für den aktuellen Auftrag angezeigt.

Beim Erstellen eines neuen Auftrags bzw. nachdem Sie Ihren Auftrag gespeichert haben, können Sie mit AWS Glue Studio um Ihre ETL Jobs zu ändern. Dazu bearbeiten Sie die Knoten im visuellen Editor bzw. das Auftragsskript im Entwicklermodus. Sie können auch Knoten im visuellen Editor hinzufügen und komplexere ETL Aufträge erstellen.

Nächste Schritte zum Erstellen eines Auftrags in AWS Glue Studio

Sie verwenden den visuellen Auftragseditor, um Knoten für Ihren Auftrag zu konfigurieren. Jeder Knoten stellt eine Aktion dar, z. B. das Lesen von Daten vom Quellspeicherort oder das Anwenden einer Transformation auf die Daten. Jeder Knoten, den Sie Ihrem Auftrag hinzufügen, verfügt über Eigenschaften, die Informationen zum Datenspeicherort oder zur Transformation bereitstellen.

Die nächsten Schritte zum Erstellen und Verwalten Ihrer Jobs sind: