View a markdown version of this page

Checkpoint-Fehler für Apache-Beam-Anwendung - Managed Service für Apache Flink
SymptomUrsacheLösung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Checkpoint-Fehler für Apache-Beam-Anwendung

Wenn Ihre Beam-Anwendung so konfiguriert ist, dass das Herunterfahren auf 0 ms SourcesAfterIdleMs eingestellt ist, können Checkpoints möglicherweise nicht ausgelöst werden, da sich die Aufgaben im Status „ABGESCHLOSSEN“ befinden. In diesem Abschnitt werden Symptome und Lösungen für diesen Zustand beschrieben.

Symptom

Rufen Sie die CloudWatch Anwendungsprotokolle Ihres Managed Service for Apache Flink auf und überprüfen Sie, ob die folgende Protokollmeldung protokolliert wurde. Die folgende Protokollmeldung weist darauf hin, dass der Checkpoint nicht ausgelöst werden konnte, da einige Aufgaben abgeschlossen wurden. 


                {
                "locationInformation": "org.apache.flink.runtime.checkpoint.CheckpointCoordinator.onTriggerFailure(CheckpointCoordinator.java:888)",
                "logger": "org.apache.flink.runtime.checkpoint.CheckpointCoordinator",
                "message": "Failed to trigger checkpoint for job your job ID since some tasks of job your job ID has been finished, abort the checkpoint Failure reason: Not all required tasks are currently running.",
                "threadName": "Checkpoint Timer",
                "applicationARN": your application ARN,
                "applicationVersionId": "5",
                "messageSchemaVersion": "1",
                "messageType": "INFO"
                }

Dies kann auch im Flink-Dashboard gefunden werden, wo einige Aufgaben den Zustand „ABGESCHLOSSEN“ erreicht haben und Checkpointing nicht mehr möglich ist.

Aufgaben im Zustand „ABGESCHLOSSEN“

Ursache

shutdown SourcesAfterIdleMs ist eine Beam-Konfigurationsvariable, die Quellen herunterfährt, die für die konfigurierte Zeit von Millisekunden inaktiv waren. Sobald eine Quelle heruntergefahren wurde, ist Checkpointing nicht mehr möglich. Dies könnte zu einem Checkpoint-Fehler führen.

Eine der Ursachen dafür, dass Aufgaben in den Status „FINISHED“ übergehen, ist, dass Shutdown auf 0 ms gesetzt SourcesAfterIdleMs ist, was bedeutet, dass Aufgaben, die sich im Leerlauf befinden, sofort heruntergefahren werden.

Lösung

Um zu verhindern, dass Aufgaben sofort in den Status „FERTIG“ wechseln, setzen Sie shutdown SourcesAfterIdleMs auf Long.MAX _VALUE. Es gibt zwei Methoden dafür:

  • Option 1: Wenn Ihre Beam-Konfiguration auf der Konfigurationsseite Ihrer Managed Service for Apache Flink-Anwendung festgelegt ist, können Sie ein neues Schlüssel-Wertepaar hinzufügen, um Shutdown wie folgt festzulegen: SourcesAfteridleMs

    Setzen Sie shutdown auf _VALUE SourcesAfterIdleMs Long.MAX

  • Option 2: Wenn Ihre Beam-Konfiguration in Ihrer JAR-Datei festgelegt ist, können Sie Shutdown SourcesAfterIdleMs wie folgt einstellen:

    
                        FlinkPipelineOptions options = PipelineOptionsFactory.create().as(FlinkPipelineOptions.class); // Initialize Beam Options object

                        options.setShutdownSourcesAfterIdleMs(Long.MAX_VALUE); // set shutdownSourcesAfterIdleMs to Long.MAX_VALUE
                        options.setRunner(FlinkRunner.class);

                        Pipeline p = Pipeline.create(options); // attach specified options to Beam pipeline