Apache Flink-Einstellungen - Managed Service für Apache Flink
Apache Flink-KonfigurationBundesstaatliches BackendCheckpointingSavepointingHaufengrößenPuffer-Entlastung

Amazon Managed Service für Apache Flink war zuvor als Amazon Kinesis Data Analytics für Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Apache Flink-Einstellungen

Managed Service für Apache Flink ist eine Implementierung des Apache-Flink-Frameworks. Managed Service für Apache Flink verwendet die in diesem Abschnitt beschriebenen Standardwerte. Einige dieser Werte können vom Managed Service für Apache Flink-Anwendungen im Code festgelegt werden, andere können nicht geändert werden.

Verwenden Sie die Links in diesem Abschnitt, um mehr über die Apache Flink-Einstellungen zu erfahren und zu erfahren, welche Einstellungen geändert werden können.

Dieses Thema enthält die folgenden Abschnitte:

Managed Service für Apache Flink bietet eine Standard-Flink-Konfiguration, die aus von Apache Flink empfohlenen Werten für die meisten Eigenschaften und einigen wenigen, die auf gängigen Anwendungsprofilen basieren, besteht. Weitere Informationen zur Flink-Konfiguration finden Sie unter Konfiguration. Die vom Service bereitgestellte Standardkonfiguration funktioniert für die meisten Anwendungen. Um jedoch die Flink-Konfigurationseigenschaften zu optimieren, um die Leistung bestimmter Anwendungen mit hoher Parallelität, hoher Speicher- und Statusauslastung zu verbessern oder neue Debugging-Funktionen in Apache Flink zu aktivieren, können Sie bestimmte Eigenschaften ändern, indem Sie eine Support-Anfrage stellen. Weitere Informationen finden Sie unter AWS Support-Center. Sie können die aktuelle Konfiguration für Ihre Anwendung mithilfe des Apache-Flink-Dashboards überprüfen.

Bundesstaatliches Backend

Managed Service für Apache Flink speichert transiente Daten in einem Zustands-Backend. Managed Service für Apache Flink verwendet das ocksDBStateR-Backend. Der Aufruf von setStateBackend, um ein anderes Backend festzulegen, hat keine Auswirkung.

Wir aktivieren die folgenden Features im Zustands-Backend:

  • Inkrementelle Zustands-Backend-Snapshots

  • Asynchrone Zustands-Backend-Snapshots

  • Lokale Wiederherstellung von Checkpoints

Weitere Informationen zu State-Backends finden Sie unter State Backends in der Apache Flink-Dokumentation.

Checkpointing

Managed Service für Apache Flink verwendet eine Checkpoint-Standardkonfiguration mit den folgenden Werten. Einige dieser Werte können mit geändert werden. CheckpointConfiguration Sie CheckpointConfiguration.ConfigurationType müssen CUSTOM für Managed Service for Apache Flink auf einstellen, um modifizierte Checkpoint-Werte zu verwenden.

Einstellung Kann angepasst werden? Wie Standardwert
CheckpointingEnabled Anpassbar

Create Application

Update Application

AWS CloudFormation

 True
CheckpointInterval Anpassbar

Create Application

Update Application

AWS CloudFormation

 60000
MinPauseBetweenCheckpoints Anpassbar

Create Application

Update Application

AWS CloudFormation

 5000
Nicht ausgerichtete Checkpoints Anpassbar Support-Fall False
Anzahl gleichzeitiger Checkpoints Nicht anpassbar N/A 1
Checkpointing-Modus Nicht anpassbar N/A Genau einmal
Checkpoint-Aufbewahrungsrichtlinie Nicht anpassbar N/A Bei Fehlschlag
Checkpoint-Timeout Nicht anpassbar N/A 60 Minuten
Maximale Anzahl aufbewahrter Checkpoints Nicht anpassbar N/A 1
Checkpoint- und Savepoint-Speicherort Nicht anpassbar N/A Wir speichern dauerhafte Checkpoint- und Savepoint-Daten in einem serviceeigenen S3-Bucket.

Savepointing

Bei der Wiederherstellung von einem Savepoint aus versucht der Wiederaufnahmevorgang standardmäßig, den gesamten Zustand des Savepoints dem Programm zuzuordnen, mit dem Sie die Wiederherstellung durchführen. Wenn Sie einen Operator gelöscht haben, schlägt die Wiederherstellung von einem Savepoint, der Daten enthält, die dem fehlenden Operator entsprechen, standardmäßig fehl. Sie können den Vorgang erfolgreich durchführen lassen, indem Sie den AllowNonRestoredStateParameter der Anwendung FlinkRunConfigurationauf true setzen. Dadurch können beim Wiederaufnahmevorgang Zustandsdaten übersprungen werden, die dem neuen Programm nicht zugeordnet werden können.

Weitere Informationen finden Sie unter Nicht wiederhergestellten Status zulassen in der Dokumentation zu Apache Flink.

Haufengrößen

Managed Service for Apache Flink weist jeweils KPU 3 GiB JVM Heap zu und reserviert 1 GiB für native Code-Zuweisungen. Informationen zur Erhöhung der Anwendungskapazität finden Sie unter Implementieren Sie die Anwendungsskalierung in Managed Service für Apache Flink.

Weitere Informationen zu JVM Heap-Größen finden Sie unter Konfiguration in der Apache Flink-Dokumentation.

Puffer-Entlastung

Die Puffer-Entlastung kann Anwendungen mit hohem Gegendruck helfen. Wenn in Ihrer Anwendung fehlgeschlagene Checkpoints/Savepoints auftreten, kann es hilfreich sein, dieses Feature zu aktivieren. Reichen Sie dazu einen Support-Fall ein.

Weitere Informationen finden Sie unter Die Puffer-Entlastung in der Apache-Flink-Dokumentation.