Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Service géré de connexion pour Apache Flink

La journalisation est importante pour permettre aux applications de production de comprendre les erreurs et les défaillances. Cependant, le sous-système de journalisation doit collecter et transférer les entrées du journal vers les CloudWatch journaux. Bien qu'une certaine journalisation soit acceptable et souhaitable, une journalisation prolongée peut surcharger le service et entraîner un retard de l'application Flink. Enregistrer les exceptions et les avertissements est certainement une bonne idée. Mais vous ne pouvez pas générer de message journal pour chaque message traité par l’application Flink. Flink est optimisé pour une latence élevée et une faible latence, ce qui n’est pas le cas du sous-système de journalisation. S'il est vraiment nécessaire de générer une sortie de journal pour chaque message traité, utilisez un récepteur supplémentaire DataStream dans l'application Flink et un récepteur approprié pour envoyer les données à Amazon S3 ou CloudWatch. N’utilisez pas le système de journalisation Java à cette fin. De plus, le paramètreDebug Monitoring Log Level du service géré pour Apache Flink génère un trafic important, ce qui peut créer une contre-pression. Vous ne devez l’utiliser que lorsque vous étudiez activement les problèmes liés à l’application.

Journaux de requêtes avec CloudWatch Logs Insights

CloudWatch Logs Insights est un puissant service permettant d'interroger les journaux à grande échelle. Les clients doivent tirer parti de ses capacités pour effectuer rapidement des recherches dans les journaux afin d’identifier et de limiter les erreurs lors d’événements opérationnels.

La requête suivante recherche les exceptions dans tous les journaux du gestionnaire de tâches et les classe en fonction de l’heure à laquelle elles se sont produites.

fields @timestamp, @message
| filter isPresent(throwableInformation.0) or isPresent(throwableInformation) or @message like /(Error|Exception)/
| sort @timestamp desc

Pour d’autres requêtes utiles, consultez la section Exemples de requêtes.