Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Bewährte Methoden für die Hudi-Konfiguration
Um Hudi-Konnektoren auf Managed Service für Apache Flink auszuführen, empfehlen wir die folgenden Konfigurationsänderungen.
Deaktivieren von hoodie.embed.timeline.server
Der Hudi-Konnektor auf Flink richtet einen eingebetteten Timeline (TM) -Server auf dem Flink Jobmanager (JM) ein, um Metadaten zwischenzuspeichern und so die Leistung bei hoher Jobparallelität zu verbessern. Wir empfehlen, diesen eingebetteten Server im Managed Service für Apache Flink zu deaktivieren, da wir die Nicht-Flink-Kommunikation zwischen JM und TM deaktivieren.
Wenn dieser Server aktiviert ist, versucht Hudi Writes zunächst, eine Verbindung zum eingebetteten Server auf JM herzustellen, und greift dann auf das Lesen von Metadaten aus Amazon S3 zurück. Das bedeutet, dass bei Hudi ein Verbindungs-Timeout auftritt, das Hudi-Schreibvorgänge verzögert und die Leistung von Managed Service for Apache Flink beeinträchtigt.
