Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überwachen Sie Amazon Data Firehose mit Metriken CloudWatch
Wichtig
Stellen Sie sicher, dass Sie Alarme für alle CloudWatch Messwerte aktivieren, die zu Ihrem Ziel gehören, um Fehler rechtzeitig zu erkennen.
Amazon Data Firehose ist in CloudWatch Amazon-Metriken integriert, sodass Sie CloudWatch Metriken für Ihre Firehose-Streams sammeln, anzeigen und analysieren können. Sie können beispielsweise die IncomingBytes und IncomingRecords -Metriken überwachen, um den Überblick über die Daten zu behalten, die von Datenproduzenten in Amazon Data Firehose aufgenommen wurden.
Amazon Data Firehose sammelt und veröffentlicht jede Minute CloudWatch Kennzahlen. Wenn eingehende Datenmengen jedoch nur für einige Sekunden auftreten, werden sie möglicherweise nicht vollständig erfasst oder sind in den einminütigen Metriken nicht sichtbar. Dies liegt daran, dass CloudWatch Metriken von Amazon Data Firehose in Intervallen von einer Minute aggregiert werden.
Die für Firehose gesammelten Metriken sind kostenlos. Weitere Informationen zu Kinesis-Agent-Metriken finden Sie unter Überwachen Sie den Zustand des Kinesis-Agenten.
Themen
- CloudWatch Metriken für die dynamische Partitionierung
- CloudWatch Metriken für die Datenbereitstellung
- Metriken zur Datenaufnahme
- APIMetriken auf Ebene CloudWatch
- CloudWatch Metriken zur Datentransformation
- CloudWatch Protokolliert Dekomprimierungsmetriken
- CloudWatch Konvertierungsmetriken formatieren
- Metriken zur serverseitigen Verschlüsselung (SSE) CloudWatch
- Abmessungen für Amazon Data Firehose
- Nutzungsmetriken von Amazon Data Firehose
CloudWatch Metriken für die dynamische Partitionierung
Wenn die dynamische Partitionierung aktiviert ist, umfasst der AWS/Firehose-Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
ActivePartitionsLimit |
Die maximale Anzahl aktiver Partitionen, die ein Firehose-Stream verarbeitet, bevor Daten an den Fehler-Bucket gesendet werden. Einheiten: Anzahl |
PartitionCount |
Die Anzahl der Partitionen, die verarbeitet werden, mit anderen Worten, die Anzahl der aktiven Partitionen. Diese Zahl variiert zwischen 1 und dem Limit für die Partitionsanzahl von 500 (Standard). Einheiten: Anzahl |
PartitionCountExceeded |
Diese Metrik gibt an, ob Sie das Limit für die Partitionsanzahl überschreiten. Je nachdem, ob das Limit überschritten wurde oder nicht, gibt es 1 oder 0 aus. |
JQProcessing.Duration |
Gibt die Zeit zurück, die für die Ausführung des JQ-Ausdrucks in der JQ-Lambda-Funktion benötigt wurde. Einheiten: Millisekunden |
PerPartitionThroughput |
Gibt den Durchsatz an, der pro Partition verarbeitet wird. Mit dieser Metrik können Sie den Durchsatz pro Partition überwachen. Einheiten: StandardUnit. BytesSecond |
DeliveryToS3.ObjectCount |
Gibt die Anzahl der Objekte an, die an Ihren S3-Bucket geliefert werden. Einheiten: Anzahl |
CloudWatch Metriken für die Datenbereitstellung
Der AWS/Firehose-Namespace enthält die folgenden Service-Level-Metriken. Wenn Sie bei BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success oder DeliveryToRedshift.Success einen leichten Rückgang des Durchschnitts feststellen, bedeutet das nicht, dass es zu einem Datenverlust gekommen ist. Amazon Data Firehose versucht erneut, Fehler bei der Zustellung zu melden, und fährt erst fort, wenn die Datensätze erfolgreich entweder an das konfigurierte Ziel oder an den Backup-S3-Bucket übermittelt wurden.
Themen
Lieferung zum Service OpenSearch
| Metrik | Beschreibung |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Die Anzahl der Byte, die im angegebenen Zeitraum für den OpenSearch Service indexiert wurden. Einheiten: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Jeder Datensatz, der älter als dieses Alter ist, wurde an den OpenSearch Service übermittelt. Einheiten: Sekunden |
DeliveryToAmazonOpenSearchService.Records |
Die Anzahl der Datensätze, die im angegebenen Zeitraum für den OpenSearch Service indexiert wurden. Einheiten: Anzahl |
DeliveryToAmazonOpenSearchService.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Anzahl |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. Amazon Data Firehose gibt diese Metrik immer aus, unabhängig davon, ob die Sicherung nur für fehlgeschlagene Dokumente oder für alle Dokumente aktiviert ist. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ESCluster-Richtlinien und Rollenberechtigungen. 0 bedeutet, dass kein Problem vorhanden ist. 1 bedeutet, dass die Authentifizierung fehlgeschlagen ist. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Fehler beim Ablehnen der Lieferung. Überprüfen Sie die OS/ES-Clusterrichtlinie und die Rollenberechtigungen. 0 bedeutet, dass kein Problem vorliegt. 1 bedeutet, dass ein Zustellungsfehler vorliegt. |
Lieferung auf OpenSearch Serverless
| Metrik | Beschreibung |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Die Anzahl der Byte, die im angegebenen Zeitraum für OpenSearch Serverless indexiert wurden. Einheiten: Byte |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Jeder Datensatz, der älter als dieses Alter ist, wurde an Serverless übermittelt OpenSearch . Einheiten: Sekunden |
DeliveryToAmazonOpenSearchServerless.Records |
Die Anzahl der Datensätze, die im angegebenen Zeitraum für OpenSearch Serverless indexiert wurden. Einheiten: Anzahl |
DeliveryToAmazonOpenSearchServerless.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Anzahl |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Amazon Data Firehose gibt diese Metrik nur aus, wenn Sie die Sicherung für alle Dokumente aktivieren. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. Amazon Data Firehose gibt diese Metrik immer aus, unabhängig davon, ob die Sicherung nur für fehlgeschlagene Dokumente oder für alle Dokumente aktiviert ist. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ESCluster-Richtlinien und Rollenberechtigungen. 0 bedeutet, dass kein Problem vorhanden ist. 1 bedeutet, dass ein Authentifizierungsfehler vorliegt. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Fehler beim Ablehnen der Lieferung. Überprüfen Sie die OS/ES-Clusterrichtlinie und die Rollenberechtigungen. 0 bedeutet, dass kein Problem vorliegt. 1 bedeutet, dass ein Zustellungsfehler vorliegt. |
Lieferung an Amazon Redshift
| Metrik | Beschreibung |
|---|---|
DeliveryToRedshift.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Einheiten: Anzahl |
DeliveryToRedshift.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Einheiten: Anzahl |
DeliveryToRedshift.Success |
Die Summe der erfolgreichen Amazon Redshift COPY Redshift-Befehle. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Einheiten: Anzahl |
BackupToS3.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. Einheiten: Anzahl |
BackupToS3.Success |
Summe der erfolgreichen Amazon S3 S3-Put-Befehle für das Backup. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung auf Amazon S3 aktiviert ist. |
Bereitstellung für Amazon S3
Die Metriken in der folgenden Tabelle beziehen sich auf die Lieferung an Amazon S3, wenn dies das Hauptziel des Firehose-Streams ist.
| Metrik | Beschreibung |
|---|---|
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Einheiten: Anzahl |
BackupToS3.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). Einheiten: Anzahl |
BackupToS3.Success |
Summe der erfolgreichen Amazon S3 S3-Put-Befehle für das Backup. Amazon Data Firehose gibt diese Metrik aus, wenn die Sicherung aktiviert ist (was nur möglich ist, wenn auch die Datentransformation aktiviert ist). |
Lieferung nach Snowflake
| Metrik | Beschreibung |
|---|---|
DeliveryToSnowflake.Bytes |
Die Anzahl der Byte, die im angegebenen Zeitraum an Snowflake geliefert wurden. Einheiten: Byte |
DeliveryToSnowflake.DataFreshness |
Alter (vom Einstieg in Firehose bis heute) der ältesten Aufzeichnungen in Firehose. Jeder Datensatz, der älter als dieses Alter ist, wurde an Snowflake geliefert. Beachten Sie, dass es einige Sekunden dauern kann, Daten an Snowflake zu übertragen, nachdem der Firehose-Insert-Aufruf erfolgreich war. Die Zeit, die benötigt wird, um Daten an Snowflake zu übertragen, finden Sie in der Metrik. Einheiten: Sekunden |
DeliveryToSnowflake.DataCommitLatency |
Die Zeit, die benötigt wird, bis die Daten an Snowflake übergeben werden, nachdem Firehose erfolgreich Datensätze eingefügt hat. Einheiten: Sekunden |
DeliveryToSnowflake.Records |
Die Anzahl der Datensätze, die im angegebenen Zeitraum an Snowflake geliefert wurden. Einheiten: Anzahl |
DeliveryToSnowflake.Success |
Die Summe der erfolgreichen Insert-Aufrufe an Snowflake. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. Einheiten: Byte |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. Diese Metrik ist nur verfügbar, wenn die Lieferung an Snowflake fehlschlägt und Firehose versucht, fehlgeschlagene Daten auf S3 zu sichern. |
BackupToS3.DataFreshness |
Alter (von Into Firehose bis heute) der ältesten Aufzeichnung in Firehose. Jeder Datensatz, der älter als dieses Alter ist, wird im Amazon S3 S3-Bucket gesichert. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass er alle Daten sichert. Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass er alle Daten sichert. Einheiten: Anzahl |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Diese Metrik ist verfügbar, wenn der Firehose-Stream so konfiguriert ist, dass er alle Daten sichert. Einheiten: Anzahl |
BackupToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle für das Backup. Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass er alle Daten sichert. |
Bereitstellung für Splunk
| Metrik | Beschreibung |
|---|---|
DeliveryToSplunk.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Einheiten: Byte |
DeliveryToSplunk.DataAckLatency |
Die ungefähre Dauer, die benötigt wird, um eine Bestätigung von Splunk zu erhalten, nachdem Amazon Data Firehose ihm Daten gesendet hat. Die Beobachtung des steigenden oder fallenden Trends für diese Metrik ist nützlicher als der ungefähre absolute Wert. Steigende Trends können auf langsamere Indizierungs- und Bestätigungsraten von Splunk-Indexerstellungsmodulen hindeuten. Einheiten: Sekunden |
DeliveryToSplunk.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für Splunk bereitgestellt. Einheiten: Sekunden |
DeliveryToSplunk.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Einheiten: Anzahl |
DeliveryToSplunk.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. Diese Metrik wird ausgegeben, wenn die Sicherung in Amazon S3 aktiviert ist. |
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass er alle Dokumente sichert. Einheiten: Anzahl |
BackupToS3.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass er alle Dokumente sichert. Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass er alle Dokumente sichert. Einheiten: Anzahl |
BackupToS3.Success |
Summe der erfolgreichen Amazon S3 S3-Put-Befehle für das Backup. Amazon Data Firehose gibt diese Metrik aus, wenn der Firehose-Stream so konfiguriert ist, dass er alle Dokumente sichert. |
Lieferung an Endpunkte HTTP
| Metrik | Beschreibung |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Die Anzahl der Byte, die erfolgreich an den HTTP Endpunkt geliefert wurden. Einheiten: Byte |
DeliveryToHttpEndpoint.Records |
Die Anzahl der Datensätze, die erfolgreich an den HTTP Endpunkt übermittelt wurden. Einheiten: Anzahl |
DeliveryToHttpEndpoint.DataFreshness |
Alter des ältesten Datensatzes in Amazon Data Firehose. Einheiten: Sekunden |
DeliveryToHttpEndpoint.Success |
Die Summe aller erfolgreichen Datenlieferungsanfragen an den HTTP Endpunkt. Einheiten: Anzahl |
DeliveryToHttpEndpoint.ProcessedBytes |
Die Anzahl der versuchten verarbeiteten Bytes, einschließlich Wiederholungen. |
DeliveryToHttpEndpoint.ProcessedRecords |
Die Anzahl der versuchten Datensätze, einschließlich Wiederholungen. |
Metriken zur Datenaufnahme
Datenaufnahme über Kinesis Data Streams
| Metrik | Beschreibung |
|---|---|
DataReadFromKinesisStream.Bytes |
Wenn die Datenquelle ein Kinesis Data Stream ist, gibt diese Metrik die Anzahl der aus diesem Datenstrom gelesenen Bytes an. Diese Zahl beinhaltet wiederholte Leseoperationen aufgrund von Failovers. Einheiten: Byte |
DataReadFromKinesisStream.Records |
Wenn die Datenquelle ein Kinesis Data Stream ist, gibt diese Metrik die Anzahl der aus diesem Datenstrom gelesenen Datensätze an. Diese Zahl beinhaltet wiederholte Leseoperationen aufgrund von Failovers. Einheiten: Anzahl |
ThrottledDescribeStream |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
ThrottledGetRecords |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
ThrottledGetShardIterator |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
KinesisMillisBehindLatest |
Wenn die Datenquelle ein Kinesis-Datenstrom ist, gibt diese Metrik die Anzahl der Millisekunden an, die der zuletzt gelesene Datensatz hinter dem neuesten Datensatz im Kinesis-Datenstrom liegt. Einheiten: Millisekunden |
Datenaufnahme über Direct PUT
| Metrik | Beschreibung |
|---|---|
BackupToS3.Bytes |
Die Anzahl der Bytes, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon S3- oder Amazon Redshift Redshift-Ziele aktiviert ist. Einheiten: Byte |
BackupToS3.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den Amazon-S3-Bucket bereitgestellt. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon S3- oder Amazon Redshift Redshift-Ziele aktiviert ist. Einheiten: Sekunden |
BackupToS3.Records |
Die Anzahl der Aufzeichnungen, die im angegebenen Zeitraum zum Backup an Amazon S3 geliefert wurden. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon S3- oder Amazon Redshift Redshift-Ziele aktiviert ist. Einheiten: Anzahl |
BackupToS3.Success |
Summe der erfolgreichen Amazon S3 S3-Put-Befehle für das Backup. Amazon Data Firehose gibt diese Metrik aus, wenn die Datentransformation für Amazon S3- oder Amazon Redshift Redshift-Ziele aktiviert ist. |
BytesPerSecondLimit |
Die aktuelle maximale Anzahl von Byte pro Sekunde, die ein Firehose-Stream vor der Drosselung aufnehmen kann. Um eine Erhöhung dieses Limit zu beantragen, gehen Sie zum AWS
-Support Center |
DeliveryToAmazonOpenSearchService.Bytes |
Die Anzahl der Byte, die im angegebenen Zeitraum für OpenSearch Service indexiert wurden. Einheiten: Byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Jeder Datensatz, der älter als dieses Alter ist, wurde an den OpenSearch Service übermittelt. Einheiten: Sekunden |
DeliveryToAmazonOpenSearchService.Records |
Die Anzahl der Datensätze, die im angegebenen Zeitraum für den OpenSearch Service indexiert wurden. Einheiten: Anzahl |
DeliveryToAmazonOpenSearchService.Success |
Die Summe der erfolgreich indizierten Datensätze. |
DeliveryToRedshift.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Einheiten: Byte |
DeliveryToRedshift.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum in Amazon Redshift kopiert wurden. Einheiten: Anzahl |
DeliveryToRedshift.Success |
Die Summe der erfolgreichen Amazon Redshift COPY Redshift-Befehle. |
DeliveryToS3.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Byte |
DeliveryToS3.DataFreshness |
Das Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für den S3-Bucket bereitgestellt. Einheiten: Sekunden |
DeliveryToS3.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Amazon S3 bereitgestellt wurden. Einheiten: Anzahl |
DeliveryToS3.Success |
Die Summe der erfolgreichen Amazon S3 S3-Put-Befehle. |
DeliveryToSplunk.Bytes |
Die Anzahl der Bytes, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Einheiten: Byte |
DeliveryToSplunk.DataAckLatency |
Die ungefähre Dauer, die benötigt wird, um eine Bestätigung von Splunk zu erhalten, nachdem Amazon Data Firehose ihm Daten gesendet hat. Die Beobachtung des steigenden oder fallenden Trends für diese Metrik ist nützlicher als der ungefähre absolute Wert. Steigende Trends können auf langsamere Indizierungs- und Bestätigungsraten von Splunk-Indexerstellungsmodulen hindeuten. Einheiten: Sekunden |
DeliveryToSplunk.DataFreshness |
Alter (vom Einstieg in Amazon Data Firehose bis heute) des ältesten Datensatzes in Amazon Data Firehose. Alle älteren Datensätze wurden für Splunk bereitgestellt. Einheiten: Sekunden |
DeliveryToSplunk.Records |
Die Anzahl der Datensätze, die über den angegebenen Zeitraum für Splunk bereitgestellt wurden Einheiten: Anzahl |
DeliveryToSplunk.Success |
Die Summe der erfolgreich indizierten Datensätze. |
IncomingBytes |
Die Anzahl der Byte, die über den angegebenen Zeitraum erfolgreich in den Firehose-Stream aufgenommen wurden. Die Datenaufnahme kann gedrosselt werden, wenn sie eines der Firehose-Stream-Grenzwerte überschreitet. Gedrosselte Daten werden für Einheiten: Byte |
IncomingPutRequests |
Die Anzahl erfolgreicher PutRecord und erfolgreicher PutRecordBatch Anfragen über einen bestimmten Zeitraum. Einheiten: Anzahl |
IncomingRecords |
Die Anzahl der Datensätze, die im angegebenen Zeitraum erfolgreich in Firehose Firehose-Stream aufgenommen wurden. Die Datenaufnahme kann gedrosselt werden, wenn sie eines der Firehose-Stream-Grenzwerte überschreitet. Gedrosselte Daten werden für Einheiten: Anzahl |
RecordsPerSecondLimit |
Die aktuelle maximale Anzahl von Datensätzen pro Sekunde, die ein Firehose-Stream vor der Drosselung aufnehmen kann. Einheiten: Anzahl |
ThrottledRecords |
Die Anzahl der Datensätze, die gedrosselt wurden, weil die Datenaufnahme eines der Firehose-Stream-Grenzwerte überschritten hat. Einheiten: Anzahl |
Datenaufnahme von MSK
| Metrik | Beschreibung |
|---|---|
DataReadFromSource.Records
|
Die Anzahl der Datensätze, die aus dem Quell-Kafka-Thema gelesen wurden. Einheiten: Anzahl |
DataReadFromSource.Bytes
|
Die Anzahl der Bytes, die aus dem Quell-Kafka-Thema gelesen wurden. Einheiten: Byte |
SourceThrottled.Delay
|
Der Zeitraum, um den der Quell-Kafka-Cluster bei der Rückgabe der Datensätze aus dem Quell-Kafka-Thema verzögert ist. Einheiten: Millisekunden |
BytesPerSecondLimit
|
Aktuelle Durchsatzgrenze, bei der Firehose von jeder Partition des Quell-Kafka-Topics liest. Einheiten: Bytes/Sekunde |
KafkaOffsetLag
|
Die Differenz zwischen dem größten Offset des Datensatzes, den Firehose aus dem Quell-Kafka-Topic gelesen hat, und dem größten Offset des Datensatzes, der aus dem Quell-Kafka-Topic verfügbar ist. Einheiten: Anzahl |
FailedValidation.Records
|
Die Anzahl der Datensätze, die bei der Datensatzüberprüfung fehlgeschlagen sind. Einheiten: Anzahl |
FailedValidation.Bytes
|
Die Anzahl der Bytes, die bei der Datensatzüberprüfung fehlgeschlagen sind. Einheiten: Byte |
DataReadFromSource.Backpressured
|
Zeigt an, dass ein Firehose-Stream beim Lesen von Datensätzen aus der Quellpartition verzögert ist, entweder weil die Anzahl BytesPerSecondLimit pro Partition überschritten wurde oder weil der normale Zustellungsfluss langsam ist oder gestoppt wurde. Einheiten: boolescher Wert |
APIMetriken auf Ebene CloudWatch
Der AWS/Firehose Namespace umfasst die folgenden Metriken auf der EbeneAPI.
| Metrik | Beschreibung |
|---|---|
DescribeDeliveryStream.Latency |
Die Dauer pro Einheiten: Millisekunden |
DescribeDeliveryStream.Requests |
Die Gesamtanzahl der Einheiten: Anzahl |
ListDeliveryStreams.Latency |
Die Dauer pro Einheiten: Millisekunden |
ListDeliveryStreams.Requests |
Die Gesamtanzahl der Einheiten: Anzahl |
PutRecord.Bytes |
Die Anzahl der Byte, die Einheiten: Byte |
PutRecord.Latency |
Die Dauer pro Einheiten: Millisekunden |
PutRecord.Requests |
Die Gesamtanzahl der Einheiten: Anzahl |
PutRecordBatch.Bytes |
Die Anzahl der Byte, die Einheiten: Byte |
PutRecordBatch.Latency |
Die Dauer pro Einheiten: Millisekunden |
PutRecordBatch.Records |
Die Gesamtanzahl der Datensätze der Einheiten: Anzahl |
PutRecordBatch.Requests |
Die Gesamtanzahl der Einheiten: Anzahl |
PutRequestsPerSecondLimit |
Die maximale Anzahl von Put-Anfragen pro Sekunde, die ein Firehose-Stream vor der Drosselung verarbeiten kann. Diese Zahl beinhaltet auch Anfragen PutRecord . PutRecordBatch Einheiten: Anzahl |
ThrottledDescribeStream |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
ThrottledGetRecords |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
ThrottledGetShardIterator |
Die Gesamtzahl, wie oft die Einheiten: Anzahl |
UpdateDeliveryStream.Latency |
Die Dauer pro Einheiten: Millisekunden |
UpdateDeliveryStream.Requests |
Die Gesamtanzahl der Einheiten: Anzahl |
CloudWatch Metriken zur Datentransformation
Wenn die Datentransformation mit Lambda aktiviert ist, enthält der AWS/Firehose-Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
ExecuteProcessing.Duration |
Die Zeit, die für jeden von Firehose ausgeführten Lambda-Funktionsaufruf benötigt wird. Einheiten: Millisekunden |
ExecuteProcessing.Success |
Die Summe der erfolgreichen Lambda-Funktionsaufrufe im Vergleich zur Summe der gesamten Lambda-Funktionsaufrufe. |
SucceedProcessing.Records |
Anzahl der Aufzeichnungen, die im angegebenen Zeitraum erfolgreich übertragen wurden. Einheiten: Anzahl |
SucceedProcessing.Bytes |
Anzahl der Bytes, die im angegebenen Zeitraum erfolgreich übertragen wurden. Einheiten: Byte |
CloudWatch Protokolliert Dekomprimierungsmetriken
Wenn die Dekomprimierung für die CloudWatch Protokollzustellung aktiviert ist, umfasst der AWS/Firehose Namespace die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
OutputDecompressedBytes.Success |
Daten wurden erfolgreich dekomprimiert (in Byte) Einheiten: Byte |
OutputDecompressedBytes.Failed |
Fehlgeschlagene dekomprimierte Daten in Byte Einheiten: Byte |
OutputDecompressedRecords.Success |
Anzahl erfolgreicher dekomprimierter Datensätze Einheiten: Anzahl |
OutputDecompressedRecords.Failed |
Anzahl der fehlgeschlagenen dekomprimierten Datensätze Einheiten: Anzahl |
CloudWatch Konvertierungsmetriken formatieren
Wenn die Formatkonvertierung aktiviert ist, enthält der AWS/Firehose-Namespace enthält die folgenden Metriken.
| Metrik | Beschreibung |
|---|---|
SucceedConversion.Records |
Die Anzahl der erfolgreich konvertierten Datensätze. Einheiten: Anzahl |
SucceedConversion.Bytes |
Die Größe der erfolgreich konvertierten Datensätze. Einheiten: Byte |
FailedConversion.Records |
Die Anzahl der Datensätze, die nicht konvertiert werden konnten. Einheiten: Anzahl |
FailedConversion.Bytes |
Die Größe der Datensätze, die nicht konvertiert werden konnten. Einheiten: Byte |
Metriken zur serverseitigen Verschlüsselung (SSE) CloudWatch
Der AWS/Firehose Namespace umfasst die folgenden Metriken, die sich auf. SSE
| Metrik | Beschreibung |
|---|---|
KMSKeyAccessDenied |
Gibt an, wie oft der Dienst auf einen Einheiten: Anzahl |
KMSKeyDisabled |
Gibt an, wie oft der Dienst auf einen Einheiten: Anzahl |
KMSKeyInvalidState |
Gibt an, wie oft der Dienst auf einen Einheiten: Anzahl |
KMSKeyNotFound |
Gibt an, wie oft der Dienst auf einen Einheiten: Anzahl |
Abmessungen für Amazon Data Firehose
Verwenden Sie die DeliveryStreamName Dimension, um Metriken nach Firehose-Stream zu filtern.
Nutzungsmetriken von Amazon Data Firehose
Sie können CloudWatch Nutzungsmetriken verwenden, um einen Überblick über die Ressourcennutzung Ihres Kontos zu erhalten. Verwenden Sie diese Kennzahlen, um Ihre aktuelle Servicenutzung in CloudWatch Diagrammen und Dashboards zu visualisieren.
Messwerte zur Nutzung von Servicequoten befinden sich im Namespace AWS/Usage und werden jede Minute erfasst.
Derzeit ist der einzige Metrikname in diesem Namespace, der veröffentlicht wird, CloudWatch . ResourceCount Diese Metrik wird mit den Dimensionen Service, Class, Type undResource veröffentlicht.
| Metrik | Beschreibung |
|---|---|
ResourceCount |
Die Anzahl der angegebenen Ressourcen, die in Ihrem Konto ausgeführt werden. Die Ressourcen werden durch die Dimensionen definiert, die der Metrik zugeordnet sind. Die nützlichste Statistik für diese Metrik istMAXIMUM, welche die maximale Anzahl von Ressourcen darstellt, die während eines Zeitraums von einer Minute verwendet wurden. |
Die folgenden Dimensionen werden verwendet, um die von Amazon Data Firehose veröffentlichten Nutzungsmetriken zu verfeinern.
| Dimension | Beschreibung |
|---|---|
Service |
Der Name des AWS Dienstes, der die Ressource enthält. Für Nutzungsmetriken von Amazon Data Firehose lautet |
Class |
Die Klasse der nachverfolgten Ressource. Die API Nutzungsmetriken von Amazon Data Firehose verwenden diese Dimension mit einem Wert von |
Type |
Der Typ der nachverfolgten Ressource. Wenn die Service-Dimension |
Resource |
Der Name der AWS Ressource. Wenn die Service-Dimension |
