Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utiliser le dimensionnement automatique dans Managed Service pour Apache Flink
Le service géré pour Apache Flink adapte de manière élastique le parallélisme de votre application pour s’adapter au débit de données de votre source et à la complexité de votre opérateur dans la plupart des scénarios. La mise à l’échelle automatique est activée par défaut. Le service géré pour Apache Flink surveille l'utilisation des ressources (CPU) de votre application et adapte de manière élastique le parallélisme de votre application à la hausse ou à la baisse en conséquence :
Votre application augmente (augmente le parallélisme) si le maximum CloudWatch métrique
containerCPUUtilizationest supérieur à 75 % ou plus pendant 15 minutes. Cela signifie que l'ScaleUpaction est lancée lorsqu'il existe 15 points de données consécutifs avec une période d'une minute égale ou supérieure à 75 %. UneScaleUpaction double la valeurCurrentParallelismde votre application.ParallelismPerKPUn'est pas modifié. En conséquence, le nombre de personnes allouées double KPUs également.Votre application diminue (diminue le parallélisme) lorsque votre CPU utilisation reste inférieure à 10 % pendant six heures. Cela signifie que l'
ScaleDownaction est lancée lorsqu'il existe 360 points de données consécutifs avec une période d'une minute inférieure à 10 %. UneScaleDownaction réduit de moitié (arrondi vers le haut) le parallélisme de l'application.ParallelismPerKPUn'est pas modifié, et le nombre de personnes allouées est KPUs également réduit de moitié (arrondi au chiffre supérieur).
Note
Une période maximale de containerCPUUtilization plus d'une minute peut être référencée pour trouver la corrélation avec un point de données utilisé pour l'action Scaling, mais il n'est pas nécessaire de refléter le moment exact où l'action est initialisée.
Le service géré pour Apache Flink ne réduira pas la valeur CurrentParallelism de votre application à un niveau inférieur au paramètre Parallelism de votre application.
Lorsque le service géré pour Apache Flink met à l’échelle votre application, elle passe à l’état AUTOSCALING. Vous pouvez vérifier l'état actuel de votre candidature à l'aide ListApplicationsdes actions DescribeApplicationou. Pendant que le service fait évoluer votre application, la seule API action valide que vous pouvez utiliser est StopApplicationde définir le Force paramètre surtrue.
Vous pouvez utiliser la propriété AutoScalingEnabled (partie de FlinkApplicationConfiguration) pour activer ou désactiver le comportement de l’autoscaling. Votre AWS compte est débité pour KPUs les prestations du service géré pour Apache Flink, qui dépendent de votre application parallelism et de vos parallelismPerKPU paramètres. Un pic d’activité augmente les coûts de votre service géré pour Apache Flink.
Pour obtenir des informations sur la tarification, consultez Tarification du service géré pour Apache Flink
Notez les informations suivantes à propos de la mise à l’échelle de l’application :
La mise à l’échelle automatique est activée par défaut.
La mise à l’échelle ne s’applique pas aux blocs-notes Studio. Toutefois, si vous déployez un bloc-notes Studio en tant qu’application à état durable, la mise à l’échelle s’appliquera à l’application déployée.
La limite par défaut de votre application est de 64KPUs. Pour de plus amples informations, veuillez consulter Service géré pour Apache Flink et quota de blocs-notes Studio.
Lorsque la mise à l’échelle automatique met à jour le parallélisme des applications, celles-ci subissent des interruptions. Pour éviter ces interruptions, procédez comme suit :
Désactiver la mise à l’échelle automatique
Configurez
parallelismet utilisez l'UpdateApplicationactionparallelismPerKPUde votre application. Pour plus d'informations sur la définition des paramètres de parallélisme de votre application, consultez. Mettez à jour le parallélisme de votre applicationSurveillez régulièrement l’utilisation des ressources de votre application pour vérifier qu’elle dispose des paramètres de parallélisme adaptés à sa charge de travail. Pour obtenir des informations sur la surveillance de l’allocation des ressources, consultez Métriques et dimensions dans le service géré pour Apache Flink.
Implémenter un autoscaling personnalisé
Si vous souhaitez un contrôle plus précis de la mise à l'échelle automatique ou si vous souhaitez utiliser d'autres mesures de déclenchementcontainerCPUUtilization, vous pouvez utiliser cet exemple :
-
Cet exemple montre comment dimensionner votre application Managed Service for Apache Flink à l'aide d'une CloudWatch métrique différente de celle de l'application Apache Flink, y compris les métriques d'Amazon MSK et d'Amazon Kinesis Data Streams, utilisées comme sources ou récepteurs.
Pour plus d'informations, consultez la section Surveillance améliorée et dimensionnement automatique pour Apache Flink
Implémenter l'autoscaling planifié
Si votre charge de travail suit un profil prévisible au fil du temps, vous préférerez peut-être dimensionner votre application Apache Flink de manière préventive. Cela permet de faire évoluer votre application à une heure planifiée, par opposition à une mise à l'échelle réactive basée sur une métrique. Pour configurer la mise à l'échelle à la hausse ou à la baisse à des heures fixes de la journée, vous pouvez utiliser cet exemple :
