Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Python-Beispiele für Managed Service für Apache Flink
Die folgenden Beispiele zeigen, wie in Python geschriebene Anwendungen erstellt werden.
Anmerkung
Die meisten Beispiele sind so konzipiert, dass sie sowohl lokal, auf Ihrem Entwicklungscomputer und dem Computer Ihrer Wahl, als auch auf Amazon Managed Service für Apache Flink ausgeführt werden können. IDE Sie demonstrieren den einfachen Mechanismus, mit dem Sie Anwendungsparameter übergeben können, und zeigen, wie Sie die Abhängigkeit richtig einstellen, um die Anwendung in beiden Umgebungen ohne Änderungen auszuführen.
Abhängigkeiten von Projekten
Die meisten PyFlink Beispiele erfordern eine oder mehrere Abhängigkeiten in Form von JAR Dateien, zum Beispiel für Flink-Stecker. Diese Abhängigkeiten müssen dann zusammen mit der Anwendung verpackt werden, wenn sie auf Amazon Managed Service für Apache Flink bereitgestellt werden.
Die folgenden Beispiele enthalten bereits die Tools, mit denen Sie die Anwendung lokal ausführen können, um sie zu entwickeln und zu testen und die erforderlichen Abhängigkeiten korrekt zu verpacken. Dieses Tooling erfordert die Verwendung von Java JDK11 und Apache Maven. Die spezifischen Anweisungen README finden Sie in den einzelnen Beispielen.
Beispiele
Dieses Beispiel demonstriert die grundlegende Struktur einer PyFlink Anwendung mithilfe von SQL eingebettetem Pyton-Code. Dieses Projekt bietet auch ein Grundgerüst für jede PyFlink Anwendung, die JAR Abhängigkeiten wie Konnektoren enthält. Dieser README Abschnitt enthält detaillierte Anleitungen dazu, wie Sie Ihre Python-Anwendung lokal für die Entwicklung ausführen können. Das Beispiel zeigt auch, wie Sie eine einzelne JAR Abhängigkeit, in diesem Beispiel den SQL Kinesis-Connector, in Ihre PyFlink Anwendung aufnehmen können.
Codebeispiel: GettingStarted
Dieses Beispiel zeigt, wie Sie Ihrer PyFlink Anwendung auf allgemeinste Weise Python-Abhängigkeiten hinzufügen können. Diese Methode funktioniert für einfache Abhängigkeiten wie Boto3 oder komplexe Abhängigkeiten, die C-Bibliotheken enthalten, wie z. PyArrow
Codebeispiel: PythonDependencies
Dieses Beispiel demonstriert vier Typen der Fensteraggregation, die in eine Python-Anwendung SQL eingebettet sind.
-
Sliding Window basierend auf der Verarbeitungszeit
-
Schiebefenster basierend auf der Ereigniszeit
-
Taumelndes Fenster basierend auf der Verarbeitungszeit
-
Tumbling Window basiert auf der Uhrzeit des Ereignisses
Dieses Beispiel zeigt, wie Sie Ihre Ausgabe mithilfe einer SQL eingebetteten Python-Anwendung als JSON Dateien in Amazon S3 schreiben. Sie müssen Checkpointing aktivieren, damit die S3-Senke Dateien auf Amazon S3 schreiben und rotieren kann.
Dieses Beispiel zeigt, wie Sie eine benutzerdefinierte Funktion definieren, sie in Python implementieren und sie in SQL Code verwenden, der in einer Python-Anwendung ausgeführt wird.
Codebeispiel: UDF
Dieses Beispiel zeigt, wie Daten mithilfe SQL von an Amazon Data Firehose gesendet werden.
Code-Beispiel: FirehoseSink
