Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillez le service Amazon Kinesis Data Streams avec Amazon CloudWatch
Amazon Kinesis Data Streams et Amazon CloudWatch sont intégrés afin que vous puissiez collecter, consulter et analyser les CloudWatch mesures relatives à vos flux de données Kinesis. Par exemple, pour suivre l'utilisation de la partition, vous pouvez surveiller les métriques IncomingBytes et OutgoingBytes, et les comparer au nombre de partitions dans le flux.
Les métriques de streaming et les métriques au niveau des partitions que vous configurez sont automatiquement collectées et transmises à CloudWatch chaque minute. Les métriques sont archivées pendant deux semaines ; après cette période, les données sont supprimées.
Le tableau suivant décrit la surveillance de base au niveau des flux et la surveillance avancée au niveau des partitions pour les flux de données Kinesis.
| Type | Description |
|---|---|
|
Basique (au niveau du flux) |
Stream-level les données sont envoyées automatiquement et gratuitement toutes les minutes. |
|
Avancée (au niveau des partitions) |
Shard-level les données sont envoyées toutes les minutes moyennant des frais supplémentaires. Pour obtenir ce niveau de données, vous devez l'activer spécifiquement pour le flux à l'aide de l'opération EnableEnhancedMonitoring. Pour plus d'informations sur les prix, consultez la page CloudWatch produit Amazon |
Dimensions et mesures d'Amazon Kinesis Data Streams
Kinesis Data Streams envoie des métriques CloudWatch à deux niveaux : au niveau du flux et, éventuellement, au niveau de la partition. Stream-level les métriques sont destinées aux cas d'utilisation de surveillance les plus courants dans des conditions normales. Shard-level les métriques concernent des tâches de surveillance spécifiques, généralement liées au dépannage, et sont activées à l'aide de l'EnableEnhancedMonitoringopération.
Pour une explication des statistiques collectées à partir CloudWatch des métriques, consultez la section CloudWatch Statistiques du guide de CloudWatch l'utilisateur Amazon.
Rubriques
Métriques de base au niveau du flux
L'espace de noms AWS/Kinesis inclut les métriques au niveau des flux suivantes.
Kinesis Data Streams envoie ces mesures au niveau du flux à CloudWatch chaque minute. Ces métriques sont toujours disponibles.
| Métrique | Description |
|---|---|
GetRecords.Bytes |
Nombre d'octets extraits du flux Kinesis mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets dans une même opération Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
GetRecords.IteratorAge |
Cette métrique n'est plus utilisée. Utilisez |
GetRecords.IteratorAgeMilliseconds |
L'âge du dernier enregistrement parmi tous les appels Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
GetRecords.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
GetRecords.Records |
Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans une même opération Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
GetRecords.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
IncomingBytes |
Nombre d'octets placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
IncomingRecords |
Nombre d'enregistrements placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecord.Bytes |
Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecord.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
PutRecord.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
PutRecords.Bytes |
Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
PutRecords.Latency |
Délai nécessaire par opération Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes |
PutRecords.Records |
Cette métrique est obsolète. Utilisez Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.Success |
Nombre d'opérations Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre |
PutRecords.TotalRecords |
Nombre total d'enregistrements envoyés à une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.SuccessfulRecords |
Nombre d'enregistrements réussis dans une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.FailedRecords |
Nombre d'enregistrements rejetés à cause de défaillances internes d'une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
PutRecords.ThrottledRecords |
Nombre d'enregistrements rejetés à cause de limitations dans une opération Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ReadProvisionedThroughputExceeded |
Nombre d'appels Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
SubscribeToShard.RateExceeded |
Cette métrique est émise lorsqu'une nouvelle tentative d'abonnement échoue, car il existe déjà un abonnement actif par le même consommateur ou car vous dépassez le nombre d'appels par seconde autorisés pour cette opération. Dimensiones : StreamName, ConsumerName |
SubscribeToShard.Success |
Cette métrique indique si l' SubscribeToShardabonnement a été établi avec succès. L'abonnement n'est actif que pendant 5 minutes maximum. Par conséquent, cette métrique est émise au moins une fois toutes les 5 minutes. Dimensiones : StreamName, ConsumerName |
SubscribeToShardEvent.Bytes |
Nombre d'octets reçus de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les octets publiés dans un seul événement pour la période déterminée. Shard-level nom de la métrique : Dimensiones : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
SubscribeToShardEvent.MillisBehindLatest |
Le nombre de millisecondes pendant lesquelles les enregistrements lus se situent à partir de la pointe du flux, indiquant le retard du consommateur par rapport à l'heure actuelle. Dimensiones : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
SubscribeToShardEvent.Records |
Nombre d'enregistrements reçus de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans un seul événement pour la période déterminée. Shard-level nom de la métrique : Dimensiones : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
SubscribeToShardEvent.Success |
Cette métrique est émise chaque fois qu'un événement est publié avec succès. Elle est émise uniquement lorsqu'il existe un abonnement actif. Dimensiones : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
WriteProvisionedThroughputExceeded |
Nombre d'enregistrements rejetés à cause de la limitation du flux au cours de la période spécifiée. Cette métrique inclut la limitation des opérations Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Shard-level nom de la métrique : Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Métriques améliorées au niveau des partitions
L'espace de noms AWS/Kinesis inclut les métriques suivantes au niveau des partitions.
Kinesis envoie les mesures suivantes au niveau des partitions à CloudWatch chaque minute. Chaque dimension de métrique crée une CloudWatch métrique et effectue environ 43 200 appels d'PutMetricDataAPI par mois. Ces métriques ne sont pas activées par défaut. Des frais sont associés aux métriques améliorées émises depuis Kinesis. Pour plus d'informations, consultez la rubrique Amazon CloudWatch Tarification
| Métrique | Description |
|---|---|
IncomingBytes |
Nombre d'octets placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
IncomingRecords |
Nombre d'enregistrements placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
IteratorAgeMilliseconds |
Age du dernier enregistrement parmi tous les appels Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes |
OutgoingBytes |
Nombre d'octets extraits de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets renvoyés dans une même opération Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets |
OutgoingRecords |
Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'enregistrements renvoyés dans une même opération Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
ReadProvisionedThroughputExceeded |
Nombre d'appels Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
WriteProvisionedThroughputExceeded |
Nombre d'enregistrements rejetés à cause de la limitation de la partition au cours de la période spécifiée. Cette métrique inclut la limitation des opérations Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Stream-level nom de la métrique : Dimensiones : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre |
Dimensions pour les métriques Amazon Kinesis Data Streams
|
Dimension |
Description |
|---|---|
StreamName
|
Nom du flux Kinesis. Toutes les statistiques disponibles sont filtrées par |
Métriques Amazon Kinesis Data Streams recommandées
Certains indicateurs Amazon Kinesis Data Streams peuvent particulièrement intéresser les clients de Kinesis Data Streams. La liste suivante contient les métriques recommandées et leurs utilisations.
| Métrique | Notes d’utilisation |
|---|---|
|
|
Suit la position de lecture sur toutes les partitions et applications consommateur du flux. Si l'ancienneté de l'itérateur dépasse 50 % de la période de conservation (par défaut 24 heures, configurable jusqu'à 7 jours), il y a un risque de perte de données suite à l'expiration des enregistrements. Nous vous recommandons d'utiliser CloudWatch les alarmes correspondant à la statistique Maximum pour vous avertir avant que cette perte ne présente un risque. Pour obtenir un exemple de scénario qui utilise cette métrique, consultez la page Le traitement des dossiers des consommateurs prend du retard. |
|
|
Lorsque le traitement de votre enregistrement côté consommateur est en retard, il est parfois difficile de savoir où se situe le goulot d'étranglement. Utilisez cette métrique pour déterminer si vos lectures sont limitées suite au dépassement de vos limites de débit de lecture. La statistique la plus couramment utilisée pour cette métrique est Moyenne. |
WriteProvisionedThroughputExceeded |
Elle a le même objectif que la métrique ReadProvisionedThroughputExceeded mais du côté producteur (put) du flux. La statistique la plus couramment utilisée pour cette métrique est Moyenne. |
PutRecord.Success,
PutRecords.Success |
Nous vous recommandons d'utiliser CloudWatch des alarmes sur la statistique moyenne pour indiquer quand les enregistrements ne parviennent pas au flux. Sélectionnez un type put ou les deux en fonction de ce que votre producteur utilise. Si vous utilisez la bibliothèque Amazon Kinesis Producer (KPL), utilisez. PutRecords.Success |
GetRecords.Success |
Nous vous recommandons d'utiliser CloudWatch des alarmes sur la statistique Moyenne pour indiquer quand les enregistrements ne sortent pas du flux. |
Accédez aux CloudWatch métriques Amazon pour Kinesis Data Streams
Vous pouvez surveiller les métriques de Kinesis Data Streams à l'aide de la CloudWatch console, de la ligne de commande ou de l' CloudWatch API. Les procédures suivantes vous montrent comment accéder aux métriques à l'aide de ces différentes méthodes.
Pour accéder aux métriques à l'aide de la CloudWatch console
Ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch/
. -
Sélectionnez une région dans la barre de navigation.
-
Dans le panneau de navigation, sélectionnez Métriques.
-
Dans le volet CloudWatch Mesures par catégorie, choisissez Kinesis Metrics.
-
Cliquez sur la ligne appropriée pour afficher les statistiques relatives à la zone spécifiée MetricName et StreamName.
Remarque : La plupart des noms de statistiques de console correspondent aux noms de CloudWatch métriques correspondants répertoriés précédemment, à l'exception du débit de lecture et du débit d'écriture. Ces statistiques sont calculées sur des intervalles de 5 minutes : le débit d'écriture surveille la
IncomingBytesCloudWatch métrique et le débit de lecture surveille le débit de lectureGetRecords.Bytes. -
(Facultatif) Dans le volet graphique, sélectionnez une statistique et une période, puis créez une CloudWatch alarme à l'aide de ces paramètres.
Pour accéder aux statistiques à l'aide du AWS CLI
Utilisez les commandes list-metrics et get-metric-statistics.
Pour accéder aux métriques à l'aide de la CloudWatch CLI
Utilisez les commandes mon-list-metrics et mon-get-stats.
Pour accéder aux métriques à l'aide de l' CloudWatch API
Utilisez les opérations ListMetrics et GetMetricStatistics.
