Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillez le service Amazon Kinesis Data Streams avec Amazon CloudWatch
Amazon Kinesis Data Streams et CloudWatch Amazon sont intégrés afin que vous puissiez collecter, consulter et CloudWatch analyser les métriques de vos flux de données Kinesis. Par exemple, pour suivre l'utilisation de la partition, vous pouvez surveiller les métriques IncomingBytes et OutgoingBytes, et les comparer au nombre de partitions dans le flux.
Les métriques de stream et les métriques au niveau des partitions que vous configurez sont automatiquement collectées et transmises à CloudWatch chaque minute. Les métriques sont archivées pendant deux semaines ; après cette période, les données sont supprimées.
Le tableau suivant décrit la surveillance de base au niveau des flux et la surveillance avancée au niveau des partitions pour les flux de données Kinesis.
| Type | Description |
|---|---|
|
Basique (au niveau du flux) |
Les données au niveau des flux sont envoyées automatiquement et gratuitement toutes les minutes. |
|
Avancée (au niveau des partitions) |
Les données au niveau des flux sont envoyées toutes les minutes avec un coût additionnel. Pour obtenir ce niveau de données, vous devez l'activer spécifiquement pour le flux à l'aide de l'EnableEnhancedMonitoringopération. Pour plus d'informations sur les tarifs, consultez la page CloudWatch produit Amazon |
Dimensions et statistiques d'Amazon Kinesis Data Streams
Kinesis Data Streams envoie des métriques CloudWatch à deux niveaux : le niveau du flux et, éventuellement, le niveau de la partition. Les métriques au niveau des cours d'eau concernent les cas d'utilisation de surveillance les plus courants dans des conditions normales. Les métriques au niveau des partitions concernent des tâches de surveillance spécifiques, généralement liées au dépannage, et sont activées à l'aide de l'EnableEnhancedMonitoringopération.
Pour obtenir une explication des statistiques collectées à partir des CloudWatch métriques, consultez la section CloudWatch Statistiques du guide de CloudWatch l'utilisateur Amazon.
Rubriques
Indicateurs de base au niveau du stream
L'espace de noms AWS/Kinesis inclut les métriques au niveau des flux suivantes.
Kinesis Data Streams envoie ces mesures CloudWatch au niveau du flux à chaque minute. Ces métriques sont toujours disponibles.
| Métrique | Description |
|---|---|
GetRecords.Bytes |
Nombre d'octets extraits du flux Kinesis mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets dans une même opération Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
GetRecords.IteratorAge |
Cette métrique n'est plus utilisée. Utilisez |
GetRecords.IteratorAgeMilliseconds |
L'âge du dernier enregistrement parmi tous les appels Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
GetRecords.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
GetRecords.Records |
Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans une même opération Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
GetRecords.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
IncomingBytes |
Nombre d'octets placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
IncomingRecords |
Nombre d'enregistrements placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecord.Bytes |
Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecord.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
PutRecord.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
PutRecords.Bytes |
Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecords.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
PutRecords.Records |
Cette métrique est obsolète. Utilisez Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
PutRecords.TotalRecords |
Nombre total d'enregistrements envoyés à une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.SuccessfulRecords |
Nombre d'enregistrements réussis dans une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.FailedRecords |
Nombre d'enregistrements rejetés à cause de défaillances internes d'une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.ThrottledRecords |
Nombre d'enregistrements rejetés à cause de limitations dans une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ReadProvisionedThroughputExceeded |
Nombre d'appels Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
SubscribeToShard.RateExceeded |
Cette métrique est émise lorsqu'une nouvelle tentative d'abonnement échoue, car il existe déjà un abonnement actif par le même consommateur ou car vous dépassez le nombre d'appels par seconde autorisés pour cette opération. Dimensions : StreamName, ConsumerName |
SubscribeToShard.Success |
Cette métrique indique si l' SubscribeToShardabonnement a été établi avec succès. L'abonnement n'est actif que pendant 5 minutes maximum. Par conséquent, cette métrique est émise au moins une fois toutes les 5 minutes. Dimensions : StreamName, ConsumerName |
SubscribeToShardEvent.Bytes |
Nombre d'octets reçus de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les octets publiés dans un seul événement pour la période déterminée. Nom de la métrique au niveau des partitions : Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
SubscribeToShardEvent.MillisBehindLatest |
Le nombre de millisecondes pendant lesquelles les enregistrements lus se situent à partir de la fin du flux, indiquant à quel point le consommateur est en retard sur l'heure actuelle. Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
SubscribeToShardEvent.Records |
Nombre d'enregistrements reçus de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans un seul événement pour la période déterminée. Nom de la métrique au niveau des partitions : Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
SubscribeToShardEvent.Success |
Cette métrique est émise chaque fois qu'un événement est publié avec succès. Elle est émise uniquement lorsqu'il existe un abonnement actif. Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
WriteProvisionedThroughputExceeded |
Nombre d'enregistrements rejetés à cause de la limitation du flux au cours de la période spécifiée. Cette métrique inclut la limitation des opérations Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Nom de la métrique au niveau des partitions : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Mesures améliorées au niveau des partitions
L'espace de noms AWS/Kinesis inclut les métriques suivantes au niveau des partitions.
Kinesis envoie les mesures suivantes au niveau des partitions par minute. CloudWatch Chaque dimension métrique crée une CloudWatch métrique et effectue environ 43 200 PutMetricData API appels par mois. Ces métriques ne sont pas activées par défaut. Des frais sont associés aux métriques améliorées émises depuis Kinesis. Pour plus d'informations, consultez Amazon CloudWatch Pricing
| Métrique | Description |
|---|---|
IncomingBytes |
Nombre d'octets placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
IncomingRecords |
Nombre d'enregistrements placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
IteratorAgeMilliseconds |
Age du dernier enregistrement parmi tous les appels Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
OutgoingBytes |
Nombre d'octets extraits de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets renvoyés dans une même opération Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
OutgoingRecords |
Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'enregistrements renvoyés dans une même opération Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ReadProvisionedThroughputExceeded |
Nombre d'appels Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
WriteProvisionedThroughputExceeded |
Nombre d'enregistrements rejetés à cause de la limitation de la partition au cours de la période spécifiée. Cette métrique inclut la limitation des opérations Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Nom de la métrique au niveau des flux : Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Dimensions des métriques Amazon Kinesis Data Streams
|
Dimension |
Description |
|---|---|
StreamName
|
Nom du flux Kinesis. Toutes les statistiques disponibles sont filtrées par |
Mesures Amazon Kinesis Data Streams recommandées
Certains indicateurs Amazon Kinesis Data Streams peuvent particulièrement intéresser les clients de Kinesis Data Streams. La liste suivante contient les métriques recommandées et leurs utilisations.
| Métrique | Notes d’utilisation |
|---|---|
|
|
Suit la position de lecture sur toutes les partitions et applications consommateur du flux. Si l'ancienneté de l'itérateur dépasse 50 % de la période de conservation (par défaut 24 heures, configurable jusqu'à 7 jours), il y a un risque de perte de données suite à l'expiration des enregistrements. Nous vous recommandons d'utiliser des CloudWatch alarmes sur la statistique Maximum pour vous avertir avant que cette perte ne constitue un risque. Pour obtenir un exemple de scénario qui utilise cette métrique, consultez la page Le traitement des dossiers des consommateurs prend du retard. |
|
|
Lorsque le traitement de votre enregistrement côté consommateur est en retard, il est parfois difficile de savoir où se situe le goulot d'étranglement. Utilisez cette métrique pour déterminer si vos lectures sont limitées suite au dépassement de vos limites de débit de lecture. La statistique la plus couramment utilisée pour cette métrique est Moyenne. |
WriteProvisionedThroughputExceeded |
Elle a le même objectif que la métrique ReadProvisionedThroughputExceeded mais du côté producteur (put) du flux. La statistique la plus couramment utilisée pour cette métrique est Moyenne. |
PutRecord.Success,
PutRecords.Success |
Nous vous recommandons d'utiliser des CloudWatch alarmes sur la statistique Average pour indiquer quand les enregistrements ne parviennent pas au flux. Sélectionnez un type put ou les deux en fonction de ce que votre producteur utilise. Si vous utilisez la bibliothèque Kinesis Producer (KPL), utilisez. PutRecords.Success |
GetRecords.Success |
Nous vous recommandons d'utiliser des CloudWatch alarmes sur la statistique Average pour indiquer quand les enregistrements du flux échouent. |
Accédez aux CloudWatch métriques Amazon pour Kinesis Data Streams
Vous pouvez surveiller les métriques de Kinesis Data Streams à l'aide de CloudWatch la console, de la ligne de commande ou CloudWatch API du. Les procédures suivantes vous montrent comment accéder aux métriques à l'aide de ces différentes méthodes.
Pour accéder aux métriques à l'aide de la CloudWatch console
Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/
. -
Sélectionnez une région dans la barre de navigation.
-
Dans le panneau de navigation, sélectionnez Métriques.
-
Dans le volet CloudWatch Metrics by Category, sélectionnez Kinesis Metrics.
-
Cliquez sur la ligne correspondante pour afficher les statistiques pour les valeurs spécifiées MetricNameet StreamName.
Remarque : La plupart des noms de statistiques de console correspondent aux noms de CloudWatch métriques correspondants répertoriés précédemment, à l'exception du débit de lecture et du débit d'écriture. Ces statistiques sont calculées sur des intervalles de 5 minutes : le débit d'écriture surveille la
IncomingBytesCloudWatch métrique et le débit de lecture surveille le débit de lecture.GetRecords.Bytes -
(Facultatif) Dans le volet graphique, sélectionnez une statistique et une période, puis créez une CloudWatch alarme à l'aide de ces paramètres.
Pour accéder aux métriques à l'aide du AWS CLI
Utilisez les métriques et get-metric-statisticsles commandes de liste.
Pour accéder aux métriques à l'aide du CloudWatch CLI
Utilisez les mon-get-statscommandes mon-list-metricset.
Pour accéder aux métriques à l'aide du CloudWatch API
Utilisez les GetMetricStatisticsopérations ListMetricset.
