Java-Beispiele für Managed Service für Apache Flink - Managed Service für Apache Flink

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Java-Beispiele für Managed Service für Apache Flink

Die folgenden Beispiele zeigen, wie in Java geschriebene Anwendungen erstellt werden.

Anmerkung

Die meisten Beispiele sind so konzipiert, dass sie sowohl lokal, auf Ihrem Entwicklungscomputer und dem Computer Ihrer Wahl, als auch auf Amazon Managed Service für Apache Flink ausgeführt werden können. IDE Sie demonstrieren die Mechanismen, mit denen Sie Anwendungsparameter übergeben können, und zeigen, wie Sie die Abhängigkeit richtig einstellen, um die Anwendung in beiden Umgebungen ohne Änderungen auszuführen.

Dieses Beispiel zeigt, wie Sie Benutzerdefiniert für Ihren Datensatz oder Ihr Statusobjekt definieren, um zu verhindern, dass die Serialisierung TypeInfo auf die weniger effiziente Kryo-Serialisierung zurückfällt. Dies ist beispielsweise erforderlich, wenn Ihre Objekte ein oder enthalten. List Map Weitere Informationen finden Sie unter Datentypen und Serialisierung in der Apache Flink-Dokumentation. Das Beispiel zeigt auch, wie Sie testen können, ob die Serialisierung Ihres Objekts auf die weniger effiziente Kryo-Serialisierung zurückfällt.

Code-Beispiel: CustomTypeInfo

Dieses Beispiel zeigt eine einfache Anwendung, die mit dem aus einem Kinesis-Datenstream liest und in einen anderen Kinesis-Datenstream schreibt. DataStream API Das Beispiel zeigt, wie Sie die Datei mit den richtigen Abhängigkeiten einrichten, das Uber- JAR erstellen und dann die Konfigurationsparameter analysieren, sodass Sie die Anwendung sowohl lokal als auch in Ihrem IDE Amazon Managed Service für Apache Flink ausführen können.

Codebeispiel: GettingStarted

Dieses Beispiel zeigt eine einfache Anwendung, die das Table API und verwendetSQL. Es zeigt, wie das DataStream API mit der Table API oder SQL in dieselbe Java-Anwendung integriert wird. Es zeigt auch, wie der DataGen Konnektor verwendet wird, um zufällige Testdaten aus der Flink-Anwendung selbst heraus zu generieren, ohne dass ein externer Datengenerator erforderlich ist.

Vollständiges Beispiel: GettingStartedTable

Dieses Beispiel zeigt, wie man die DataStream API s verwendet, FileSink um JSON Dateien in einen S3-Bucket zu schreiben.

Codebeispiel: S3Sink

Dieses Beispiel zeigt, wie eine Quelle konfiguriert wird, die einen Kinesis-Datenstream nutzt, entweder mit dem Standard-Consumer oderEFO, und wie eine Senke für den Kinesis-Datenstream eingerichtet wird.

Codebeispiel: KinesisConnectors

Dieses Beispiel zeigt, wie Daten an Amazon Data Firehose (früher bekannt als Kinesis Data Firehose) gesendet werden.

Codebeispiel: KinesisFirehoseSink

Dieses Beispiel demonstriert die Verwendung des Prometheus-Sink-Connectors zum Schreiben von Zeitreihendaten in Prometheus.

Codebeispiel: PrometheusSink

In diesem Beispiel werden vier Typen der Fensteraggregation in der demonstriert. DataStream API

  1. Verschiebbares Fenster basierend auf der Verarbeitungszeit

  2. Schiebefenster basierend auf der Ereigniszeit

  3. Taumelndes Fenster basierend auf der Verarbeitungszeit

  4. Tumbling Window basiert auf der Uhrzeit des Ereignisses

Codebeispiel: Windowing

Dieses Beispiel zeigt, wie Sie Ihrer Flink-Anwendung benutzerdefinierte Metriken hinzufügen und sie an CloudWatch Metriken senden.

Code-Beispiel: CustomMetrics

Dieses Beispiel zeigt, wie Sie Kafka-Konfigurationsanbieter verwenden können, um einen benutzerdefinierten Keystore und Truststore mit Zertifikaten für die M-Authentifizierung für den Kafka-Konnektor einzurichten. TLS Mit dieser Technik können Sie die erforderlichen benutzerdefinierten Zertifikate aus Amazon S3 und die Secrets laden, AWS Secrets Manager sobald die Anwendung gestartet wird.

Codebeispiel: Kafka-M -Keystore TLS - ConfigProviders

Dieses Beispiel zeigt, wie Sie Kafka Configuration Providers verwenden können, um Anmeldeinformationen von Amazon S3 abzurufen AWS Secrets Manager und den Truststore von Amazon S3 herunterzuladen, um die SASL SCRAM /Authentifizierung auf einem Kafka-Connector einzurichten. Mit dieser Technik können Sie die erforderlichen benutzerdefinierten Zertifikate aus Amazon S3 und die Secrets laden, AWS Secrets Manager sobald die Anwendung gestartet wird.

Codebeispiel: Kafka- - SASL_SSL ConfigProviders

Dieses Beispiel zeigt, wie Sie Kafka-Konfigurationsanbieter in TabelleAPI/verwenden können, SQL um einen benutzerdefinierten Keystore und Truststore mit Zertifikaten für die M-Authentifizierung für den Kafka-Konnektor einzurichten. TLS Mit dieser Technik können Sie die erforderlichen benutzerdefinierten Zertifikate aus Amazon S3 und die Secrets laden, AWS Secrets Manager sobald die Anwendung gestartet wird.

Codebeispiel: Kafka-M -Keystore-Sql TLS - ConfigProviders

Dieses Beispiel zeigt, wie Side Outputs in Apache Flink genutzt werden können, um einen Stream nach bestimmten Attributen aufzuteilen. Dieses Muster ist besonders nützlich, wenn versucht wird, das Konzept von Dead Letter Queues (DLQ) in Streaming-Anwendungen zu implementieren.

Codebeispiel: SideOutputs

Dieses Beispiel zeigt, wie Apache Flink Async I/O verwendet wird, um einen externen Endpunkt blockierungsfrei aufzurufen, wobei bei behebbaren Fehlern Wiederholungen durchgeführt werden.

Codebeispiel: AsyncIO