Paramètres d'Apache Flink - Service géré pour Apache Flink
Configuration d'Apache FlinkBackend d'ÉtatPoint de contrôlePoint de sauvegardeTailles des tasDégonflement de la mémoire tampon

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Paramètres d'Apache Flink

Le service géré pour Apache Flink est une implémentation de l’environnement Apache Flink. Le service géré pour Apache Flink utilise les valeurs par défaut décrites dans cette section. Certaines de ces valeurs peuvent être définies par le service géré pour les applications Apache Flink dans le code, tandis que d'autres ne peuvent pas être modifiées.

Utilisez les liens de cette section pour en savoir plus sur les paramètres d'Apache Flink et sur ceux qui sont modifiables.

Cette rubrique contient les sections suivantes :

Le service géré pour Apache Flink fournit une configuration Flink par défaut composée de valeurs recommandées par Apache Flink pour la plupart des propriétés et de quelques-unes basées sur des profils d’application courants. Pour plus d’informations sur la configuration de Flink, consultez Configuration. La configuration par défaut fournie par le service fonctionne pour la plupart des applications. Toutefois, pour modifier les propriétés de configuration de Flink afin d'améliorer les performances de certaines applications présentant un parallélisme élevé, une utilisation élevée de la mémoire et de l'état, ou pour activer de nouvelles fonctionnalités de débogage dans Apache Flink, vous pouvez modifier certaines propriétés en demandant un dossier d'assistance. Pour plus d'informations, consultez Centre de support AWS. Vous pouvez vérifier la configuration actuelle de votre application à l’aide du tableau de bord Apache Flink.

Backend d'État

Le service géré pour Apache Flink stocke les données transitoires dans un backend d’état. Le service géré pour Apache Flink utilise le ocksDBStatebackend R. L’appel setStateBackend pour définir un backend différent n’a aucun effet.

Nous activons les fonctionnalités suivantes sur le backend d’état :

  • Instantanés du backend d’état incrémentiel

  • Instantanés du backend d’état asynchrone

  • Restauration locale des points de contrôle

Pour plus d'informations sur les backends d'état, consultez la section Backends d'état dans la documentation d'Apache Flink.

Point de contrôle

Le service géré pour Apache Flink utilise une configuration de point de contrôle par défaut avec les valeurs suivantes. Certaines de ces valeurs peuvent être modifiées à l'aide de CheckpointConfiguration. Vous devez définir cette option CheckpointConfiguration.ConfigurationType CUSTOM pour que Managed Service for Apache Flink utilise des valeurs de point de contrôle modifiées.

Paramètre Peut être modifié ? Comment ? Valeur par défaut
CheckpointingEnabled Adaptabilité

Créer une application

Mettre à jour une application

AWS CloudFormation

 True
CheckpointInterval Adaptabilité

Créer une application

Mettre à jour une application

AWS CloudFormation

 60000
MinPauseBetweenCheckpoints Adaptabilité

Créer une application

Mettre à jour une application

AWS CloudFormation

 5000
Points de contrôle non alignés Adaptabilité Cas de support False
Nombre de points de contrôle simultanés Non modifiable N/A 1
Mode de point de contrôle Non modifiable N/A Exactement une fois
Politique de rétention des points de contrôle Non modifiable N/A En échec
Délai d’expiration du point de contrôle Non modifiable N/A 60 minutes
Nombre maximal de points de contrôle conservés Non modifiable N/A 1
Emplacement du point de contrôle et du point de sauvegarde Non modifiable N/A Nous stockons des données de point de contrôle et de point de sauvegarde durables dans un compartiment S3 appartenant au service.

Point de sauvegarde

Par défaut, lors de la restauration à partir d’un point de sauvegarde, l’opération de reprise essaie de faire correspondre l’ensemble de l’état du point de sauvegarde au programme avec lequel vous effectuez la restauration. Si vous supprimez un opérateur, par défaut, la restauration à partir d’un point de sauvegarde contenant des données correspondant à l’opérateur manquant échouera. Vous pouvez autoriser le succès de l'opération en réglant le AllowNonRestoredStateparamètre de l'application FlinkRunConfigurationsurtrue. Cela permettra à l’opération de reprise d’ignorer l’état qui ne peut pas être mis en correspondance avec le nouveau programme.

Pour plus d’informations, consultez Allowing Non-Restored State dans la documentation Apache Flink.

Tailles des tas

Le service géré pour Apache Flink alloue 3 KPU GiB de JVM tas et réserve 1 GiB pour les allocations de code natif. Pour obtenir des informations sur l’augmentation de la capacité de votre application, consultez Implémenter le dimensionnement des applications dans le service géré pour Apache Flink.

Pour plus d'informations sur les tailles de JVM tas, consultez la section Configuration dans la documentation d'Apache Flink.

Dégonflement de la mémoire tampon

Le dégonflement de la mémoire tampon peut aider les applications soumises à une contre-pression élevée. Si les points de contrôle ou de sauvegarde de votre application échouent, il peut être utile d’activer cette fonctionnalité. Pour ce faire, demandez un dossier de support.

Pour plus d’informations, consultez The Buffer Debloating Mechanism dans la documentation Apache Flink.