Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillez Amazon Data Firehose à l'aide de métriques CloudWatch
Important
Assurez-vous d'activer les alarmes sur toutes les CloudWatch métriques associées à votre destination afin d'identifier les erreurs en temps opportun.
Amazon Data Firehose s'intègre aux CloudWatch métriques Amazon afin que vous puissiez collecter, consulter et analyser les CloudWatch métriques de vos flux Firehose. Par exemple, vous pouvez surveiller les IncomingRecords indicateurs IncomingBytes et pour suivre les données ingérées dans Amazon Data Firehose par les producteurs de données.
Amazon Data Firehose collecte et publie des CloudWatch statistiques chaque minute. Toutefois, si les rafales de données entrantes ne se produisent que pendant quelques secondes, il se peut qu'elles ne soient pas entièrement capturées ou visibles dans les métriques d'une minute. Cela est dû au fait que CloudWatch les métriques sont agrégées à partir d'Amazon Data Firehose sur des intervalles d'une minute.
Les métriques collectées pour les streams Firehose sont gratuites. Pour en savoir plus sur les métriques relatives à l'agent Kinesis, consultez Surveiller l'état de santé de l'agent Kinesis.
Rubriques
- CloudWatch métriques pour le partitionnement dynamique
- CloudWatch métriques pour la livraison des données
- Métriques d'ingestion de données
- APImétriques au niveau des -niveaux CloudWatch
- CloudWatch Métriques de transformation des données
- CloudWatch Métriques de décompression des journaux
- CloudWatch Métriques de conversion de formats
- Métriques de chiffrement côté serveur () SSE CloudWatch
- Dimensions pour Amazon Data Firehose
- Métriques d'utilisation d'Amazon Data Firehose
CloudWatch métriques pour le partitionnement dynamique
Si le partitionnement dynamique est activé, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ActivePartitionsLimit |
Le nombre maximum de partitions actives qu'un stream Firehose traite avant d'envoyer des données au compartiment d'erreur. Unités : nombre |
PartitionCount |
Le nombre de partitions en cours de traitement, en d'autres termes, le nombre de partitions actives. Ce nombre varie entre un et la limite de 500 partitions (par défaut). Unités : nombre |
PartitionCountExceeded |
Cette métrique indique si vous dépassez la limite du nombre de partitions. Elle émet un ou zéro selon que la limite est dépassée ou non. |
JQProcessing.Duration |
Renvoie le temps nécessaire à l'exécution de l'expression JQ dans la fonction Lambda JQ. Unités : millisecondes |
PerPartitionThroughput |
Indique le débit traité par partition. Cette métrique vous permet de surveiller le débit par partition. Unités : StandardUnit. BytesSecond |
DeliveryToS3.ObjectCount |
Indique le nombre d'objets qui sont livrés à votre compartiment S3. Unités : nombre |
CloudWatch métriques pour la livraison des données
L'espace de noms AWS/Firehose inclut les métriques au niveau des services suivantes. Si vous constatez de légères baisses de la moyenne pour BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success ou DeliveryToRedshift.Success, cela n'indique pas qu'il y a une perte de données. Amazon Data Firehose essaie à nouveau de corriger les erreurs de livraison et n'avance pas tant que les enregistrements ne sont pas correctement livrés, que ce soit à la destination configurée ou au compartiment S3 de sauvegarde.
Rubriques
De la livraison au OpenSearch service
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés sur le OpenSearch service au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout dossier datant de plus de cet âge a été remis au OpenSearch Service. Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés sur le OpenSearch service au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
Somme des enregistrements correctement indexés. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée uniquement pour les documents défaillants ou pour tous les documents. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ESpolitique de cluster et autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie un échec d'authentification. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Livraison en mode OpenSearch Serverless
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Nombre d'octets indexés sur OpenSearch Serverless au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout enregistrement antérieur à cet âge a été livré à OpenSearch Serverless. Unités : secondes |
DeliveryToAmazonOpenSearchServerless.Records |
Le nombre d'enregistrements indexés sur OpenSearch Serverless au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchServerless.Success |
Somme des enregistrements correctement indexés. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée uniquement pour les documents défaillants ou pour tous les documents. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ESpolitique de cluster et autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie qu'il y a un échec d'authentification. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Diffusion dans Amazon Redshift
| Métrique | Description |
|---|---|
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Success |
La somme des commandes Amazon Redshift COPY réussies. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : nombre |
BackupToS3.Success |
Somme des commandes de sauvegarde réussies d'Amazon S3. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. |
Diffusion dans Amazon S3
Les métriques du tableau suivant concernent la livraison vers Amazon S3 lorsque celui-ci est la destination principale du flux Firehose.
| Métrique | Description |
|---|---|
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : nombre |
BackupToS3.Success |
Somme des commandes de sauvegarde réussies d'Amazon S3. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). |
Livraison à Snowflake
| Métrique | Description |
|---|---|
DeliveryToSnowflake.Bytes |
Le nombre d'octets fournis à Snowflake au cours de la période spécifiée. Unités : octets |
DeliveryToSnowflake.DataFreshness |
Âge (depuis le début de Firehose jusqu'à aujourd'hui) du plus vieux record de Firehose. Tout enregistrement datant de plus de cet âge a été livré à Snowflake. Notez que la validation des données dans Snowflake peut prendre quelques secondes une fois l'appel d'insertion Firehose réussi. Pour connaître le temps nécessaire à la validation des données dans Snowflake, reportez-vous à la Unités : secondes |
DeliveryToSnowflake.DataCommitLatency |
Le temps nécessaire pour que les données soient validées dans Snowflake une fois que Firehose a correctement inséré des enregistrements. Unités : secondes |
DeliveryToSnowflake.Records |
Le nombre d'enregistrements livrés à Snowflake au cours de la période spécifiée. Unités : nombre |
DeliveryToSnowflake.Success |
La somme des appels d'insertion réussis adressés à Snowflake. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données défaillantes sur S3. Unités : octets |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données défaillantes sur S3. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. Cette métrique n'est disponible que lorsque la livraison à Snowflake échoue et que Firehose tente de sauvegarder les données défaillantes sur S3. |
BackupToS3.DataFreshness |
Âge (de Firehose à aujourd'hui) du plus ancien enregistrement de Firehose. Tout enregistrement antérieur à cet âge est sauvegardé dans le compartiment Amazon S3. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Unités : nombre |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Cette métrique est disponible lorsque le flux Firehose est configuré pour sauvegarder toutes les données. Unités : nombre |
BackupToS3.Success |
La somme des commandes de sauvegarde réussies d'Amazon S3. Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder toutes les données. |
Remise à Splunk
| Métrique | Description |
|---|---|
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Unités : nombre |
DeliveryToSplunk.Success |
Somme des enregistrements correctement indexés. |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. Cette métrique est émise si la sauvegarde vers Amazon S3 est activée. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : nombre |
BackupToS3.Success |
Somme des commandes de sauvegarde réussies d'Amazon S3. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. |
Livraison aux points de HTTP terminaison
| Métrique | Description |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Le nombre d'octets transmis avec succès au HTTP point de terminaison. Unités : octets |
DeliveryToHttpEndpoint.Records |
Le nombre d'enregistrements transmis avec succès au HTTP point de terminaison. Unités : nombres |
DeliveryToHttpEndpoint.DataFreshness |
Âge du plus ancien enregistrement dans Amazon Data Firehose. Unités : secondes |
DeliveryToHttpEndpoint.Success |
Somme de toutes les demandes de livraison de données réussies au HTTP point de terminaison. Unités : nombre |
DeliveryToHttpEndpoint.ProcessedBytes |
Le nombre de tentatives de traitement d'octets, y compris les nouvelles tentatives. |
DeliveryToHttpEndpoint.ProcessedRecords |
Le nombre de tentatives d'enregistrement, y compris les nouvelles tentatives. |
Métriques d'ingestion de données
Rubriques
Ingestion de données via Kinesis Data Streams
| Métrique | Description |
|---|---|
DataReadFromKinesisStream.Bytes |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'octets lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : octets |
DataReadFromKinesisStream.Records |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'enregistrements lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Unités : nombre |
KinesisMillisBehindLatest |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre de millisecondes séparant le dernier enregistrement lu de l'enregistrement le plus récent dans le flux de données Kinesis. Unités : millisecondes |
Ingestion de données via Direct PUT
| Métrique | Description |
|---|---|
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : octets |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : nombre |
BackupToS3.Success |
Somme des commandes de sauvegarde réussies d'Amazon S3. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. |
BytesPerSecondLimit |
Le nombre maximum actuel d'octets par seconde qu'un flux Firehose peut ingérer avant d'être limité. Pour demander une augmentation de cette limite, accédez au Centre de support AWS |
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés sur le OpenSearch service au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout dossier datant de plus de cet âge a été remis au OpenSearch Service. Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés sur le OpenSearch service au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
Somme des enregistrements correctement indexés. |
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Unités : octets |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Success |
La somme des commandes Amazon Redshift COPY réussies. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put d'Amazon S3 réussies. |
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Unités : nombre |
DeliveryToSplunk.Success |
Somme des enregistrements correctement indexés. |
IncomingBytes |
Le nombre d'octets ingérés avec succès dans le flux Firehose au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites de flux de Firehose. Les données limitées ne seront pas prises en compte pour Unités : octets |
IncomingPutRequests |
Le nombre de PutRecordBatch demandes PutRecord et de demandes réussies sur une période donnée. Unités : nombre |
IncomingRecords |
Le nombre d'enregistrements correctement ingérés dans le flux Firehose au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites de flux de Firehose. Les données limitées ne seront pas prises en compte pour Unités : nombre |
RecordsPerSecondLimit |
Le nombre maximum actuel d'enregistrements par seconde qu'un stream Firehose peut ingérer avant d'être limité. Unités : nombre |
ThrottledRecords |
Le nombre d'enregistrements qui ont été limités parce que l'ingestion de données a dépassé l'une des limites du flux Firehose. Unités : nombre |
Ingestion de données depuis MSK
| Métrique | Description |
|---|---|
DataReadFromSource.Records
|
Le nombre d'enregistrements lus à partir de la source Rubrique Kafka. Unités : nombre |
DataReadFromSource.Bytes
|
Le nombre d'octets lus à partir de la source Rubrique Kafka. Unités : octets |
SourceThrottled.Delay
|
La durée pendant laquelle le cluster Kafka source est retardé pour renvoyer les enregistrements depuis la source Rubrique Kafka. Unités : millisecondes |
BytesPerSecondLimit
|
Limite actuelle du débit auquel Firehose va lire chaque partition de la source Rubrique Kafka. Unités : octets/seconde |
KafkaOffsetLag
|
Différence entre le plus grand décalage de l'enregistrement lu par Firehose à partir de la source Rubrique Kafka et le plus grand décalage de l'enregistrement disponible à partir de la source Rubrique Kafka. Unités : nombre |
FailedValidation.Records
|
Le nombre d'enregistrements dont la validation a échoué. Unités : nombre |
FailedValidation.Bytes
|
Le nombre d'octets dont la validation a échoué. Unités : octets |
DataReadFromSource.Backpressured
|
Indique qu'un flux Firehose est retardé dans la lecture des enregistrements de la partition source, soit parce que le nombre de partitions BytesPerSecondLimit par partition est dépassé, soit parce que le flux normal de diffusion est lent ou s'est arrêté Unités : booléennes |
APImétriques au niveau des -niveaux CloudWatch
L'AWS/Firehoseespace de noms inclut les métriques de API niveau suivantes.
| Métrique | Description |
|---|---|
DescribeDeliveryStream.Latency |
Délai nécessaire par opération Unités : millisecondes |
DescribeDeliveryStream.Requests |
Nombre total de demandes Unités : nombre |
ListDeliveryStreams.Latency |
Délai nécessaire par opération Unités : millisecondes |
ListDeliveryStreams.Requests |
Nombre total de demandes Unités : nombre |
PutRecord.Bytes |
Le nombre d'octets utilisés par le flux Firehose Unités : octets |
PutRecord.Latency |
Délai nécessaire par opération Unités : millisecondes |
PutRecord.Requests |
Nombre total de demandes Unités : nombre |
PutRecordBatch.Bytes |
Le nombre d'octets utilisés par le flux Firehose Unités : octets |
PutRecordBatch.Latency |
Délai nécessaire par opération Unités : millisecondes |
PutRecordBatch.Records |
Nombre total d'enregistrements issus des opérations Unités : nombre |
PutRecordBatch.Requests |
Nombre total de demandes Unités : nombre |
PutRequestsPerSecondLimit |
Le nombre maximum de requêtes put par seconde qu'un stream Firehose peut traiter avant la limitation. Ce nombre inclut les PutRecordBatch demandes PutRecord et les demandes. Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Unités : nombre |
UpdateDeliveryStream.Latency |
Délai nécessaire par opération Unités : millisecondes |
UpdateDeliveryStream.Requests |
Nombre total de demandes Unités : nombre |
CloudWatch Métriques de transformation des données
Si la transformation des données avec Lambda est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ExecuteProcessing.Duration |
Le temps nécessaire pour chaque appel de fonction Lambda effectué par Firehose. Unités : millisecondes |
ExecuteProcessing.Success |
La somme des invocations de fonction Lambda réussies sur la somme du total des invocations de fonction Lambda. |
SucceedProcessing.Records |
Le nombre d'enregistrements traités avec succès au cours de la période spécifiée. Unités : nombre |
SucceedProcessing.Bytes |
Le nombre d'octets traités avec succès au cours de la période spécifiée. Unités : octets |
CloudWatch Métriques de décompression des journaux
Si la décompression est activée pour la livraison CloudWatch des journaux, l'espace de AWS/Firehose noms inclut les métriques suivantes.
| Métrique | Description |
|---|---|
OutputDecompressedBytes.Success |
Données décompressées réussies en octets Unités : octets |
OutputDecompressedBytes.Failed |
Échec de la décompression des données en octets Unités : octets |
OutputDecompressedRecords.Success |
Nombre d'enregistrements décompressés réussis Unités : nombre |
OutputDecompressedRecords.Failed |
Nombre d'enregistrements décompressés ayant échoué Unités : nombre |
CloudWatch Métriques de conversion de formats
Si la conversion de format est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
SucceedConversion.Records |
Nombre d'enregistrements convertis avec succès. Unités : nombre |
SucceedConversion.Bytes |
Taille des enregistrements convertis avec succès. Unités : octets |
FailedConversion.Records |
Nombre d'enregistrements qui n'ont pas pu être convertis. Unités : nombre |
FailedConversion.Bytes |
Taille des enregistrements qui n'ont pas pu être convertis. Unités : octets |
Métriques de chiffrement côté serveur () SSE CloudWatch
L'AWS/Firehoseespace de noms inclut les métriques suivantes associées àSSE.
| Métrique | Description |
|---|---|
KMSKeyAccessDenied |
Le nombre de fois que le service rencontre un Unités : nombre |
KMSKeyDisabled |
Le nombre de fois que le service rencontre un Unités : nombre |
KMSKeyInvalidState |
Le nombre de fois que le service rencontre un Unités : nombre |
KMSKeyNotFound |
Le nombre de fois que le service rencontre un Unités : nombre |
Dimensions pour Amazon Data Firehose
Pour filtrer les métriques par flux Firehose, utilisez la DeliveryStreamName dimension.
Métriques d'utilisation d'Amazon Data Firehose
Vous pouvez utiliser les statistiques CloudWatch d'utilisation pour obtenir une visibilité sur l'utilisation des ressources par votre compte. Utilisez ces indicateurs pour visualiser l'utilisation actuelle de vos services sur CloudWatch des graphiques et des tableaux de bord.
Les métriques d'utilisation des quotas de service se trouvent dans l'espace de noms AWS/Usage et sont collectées toutes les minutes.
Actuellement, le seul nom de métrique publié dans cet espace de noms CloudWatch estResourceCount. Cette métrique est publiée avec les dimensions Service, Class, Type et Resource.
| Métrique | Description |
|---|---|
ResourceCount |
Nombre des ressources spécifiées exécutées dans votre compte. Les ressources sont définies par les dimensions associées à la métrique. La statistique la plus utile pour cette métrique estMAXIMUM, qui représente le nombre maximum de ressources utilisées pendant une période d'une minute. |
Les dimensions suivantes sont utilisées pour affiner les statistiques d'utilisation publiées par Amazon Data Firehose.
| Dimension | Description |
|---|---|
Service |
Nom du AWS service contenant la ressource. Pour les métriques d'utilisation d'Amazon Data Firehose, la valeur de cette dimension est. |
Class |
Classe de ressource suivie. Les statistiques API d'utilisation d'Amazon Data Firehose utilisent cette dimension avec une valeur de. |
Type |
Type de ressource suivi. Actuellement, lorsque la dimension Service est |
Resource |
Le nom de la AWS ressource. Actuellement, lorsque la dimension Service est |
