Konfigurieren Sie die Backup-Einstellungen - Amazon Data Firehose
Pufferhinweise konfigurieren

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie die Backup-Einstellungen

Amazon Data Firehose verwendet Amazon S3, um alle oder nur fehlgeschlagene Daten zu sichern, die versucht werden, an das von Ihnen gewählte Ziel zu liefern.

Wichtig

  • Backup-Einstellungen werden nur unterstützt, wenn die Quelle für Ihren Firehose-Stream Direct PUT oder Kinesis Data Streams ist.

  • Die Funktion Zero Buffering ist nur für die Anwendungsziele und nicht für das Amazon S3 S3-Backup-Ziel verfügbar.

Sie können die S3-Backup-Einstellungen für Ihren Firehose-Stream angeben, wenn Sie eine der folgenden Optionen getroffen haben.

  • Wenn Sie Amazon S3 als Ziel für Ihren Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben oder wenn Sie Datensatzformate für Ihren Firehose-Stream konvertieren möchten.

  • Wenn Sie Amazon Redshift als Ziel für Ihren Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben.

  • Wenn Sie einen der folgenden Dienste als Ziel für Ihren Firehose-Stream festlegen: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint,, MongoDB Cloud, New Relic, Splunk oder Sumo Logic, Snowflake, Apache Iceberg Tables. LogicMonitor

Im Folgenden sind die Backup-Einstellungen für Ihren Firehose-Stream aufgeführt.

  • Sicherung von Quelldatensätzen in Amazon S3 – wenn S3 oder Amazon Redshift Ihr ausgewähltes Ziel ist, gibt diese Einstellung an, ob Sie die Quelldatensicherung aktivieren oder deaktivieren möchten. Wenn ein anderer unterstützter Service (außer S3 oder Amazon Redshift) als Ihr ausgewähltes Ziel festgelegt ist, gibt diese Einstellung an, ob Sie alle Ihre Quelldaten oder nur fehlerhafte Daten sichern möchten.

  • S3-Backup-Bucket — das ist der S3-Bucket, in dem Amazon Data Firehose Ihre Daten sichert.

  • S3-Backup-Bucket-Präfix — Dies ist das Präfix, mit dem Amazon Data Firehose Ihre Daten sichert.

  • Ausgabepräfix für Fehler im S3-Backup-Bucket – alle fehlgeschlagenen Daten werden in diesem S3-Bucket-Fehlerausgabepräfix gesichert.

  • Pufferhinweise, Komprimierung und Verschlüsselung für Backups — Amazon Data Firehose verwendet Amazon S3, um alle oder nur fehlgeschlagene Daten zu sichern, die versucht werden, an das von Ihnen gewählte Ziel zu liefern. Amazon Data Firehose puffert eingehende Daten, bevor sie an Amazon S3 übermittelt (gesichert) werden. Sie können eine Puffergröße von 1—128 MiBs und ein Pufferintervall von 60—900 Sekunden wählen. Die Bedingung, die erfüllt ist, löst eine erste Datenübermittlung an Amazon S3 aus. Wenn Sie die Datentransformation aktivieren, gilt das Pufferintervall vom Empfang der transformierten Daten bei Amazon Data Firehose bis zur Datenlieferung an Amazon S3. Wenn die Datenlieferung an das Ziel hinter dem Schreiben von Daten in den Firehose-Stream zurückbleibt, erhöht Amazon Data Firehose die Puffergröße dynamisch, um catch. Diese Aktion stellt sicher, dass alle Daten ans Ziel übermittelt werden.

  • S3-Komprimierung — wählen Sie zwischen Snappy-GZIP, Zip- oder Hadoop-kompatibler Snappy-Datenkomprimierung oder keiner Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Firehose-Streams mit Amazon Redshift als Ziel nicht verfügbar.

  • S3-Dateierweiterungsformat (optional) — Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

  • Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen AWS KMS . Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS verwalteten Schlüsseln (-). SSE KMS

Pufferhinweise konfigurieren

Amazon Data Firehose puffert eingehende Streaming-Daten im Speicher auf eine bestimmte Größe (Puffergröße) und für einen bestimmten Zeitraum (Pufferintervall), bevor sie an die angegebenen Ziele gesendet werden. Sie würden Pufferhinweise verwenden, wenn Sie Dateien mit optimaler Größe an Amazon S3 senden und die Leistung von Datenverarbeitungsanwendungen verbessern möchten oder um die Firehose-Zustellungsrate an die Zielgeschwindigkeit anzupassen.

Sie können die Puffergröße und das Pufferintervall beim Erstellen neuer Firehose-Streams konfigurieren oder die Puffergröße und das Pufferintervall für Ihre vorhandenen Firehose aktualisieren. Die Puffergröße wird in Sekunden gemessen MBs und das Pufferintervall wird in Sekunden gemessen. Wenn Sie jedoch für einen dieser beiden Parameter einen Wert angeben, müssen Sie auch für den anderen Parameter einen Wert angeben. Die erste Pufferbedingung, die erfüllt ist, veranlasst Firehose, die Daten zu liefern. Wenn Sie die Pufferwerte nicht konfigurieren, werden die Standardwerte verwendet.

Sie können Firehose-Pufferhinweise über AWS Management Console AWS Command Line Interface, oder konfigurieren. AWS SDKs Für bestehende Streams können Sie die Pufferhinweise mit einem Wert neu konfigurieren, der Ihren Anwendungsfällen entspricht, indem Sie die Option Bearbeiten in der Konsole verwenden oder die. UpdateDestinationAPI Für neue Streams können Sie Pufferhinweise als Teil der Erstellung neuer Streams mithilfe der Konsole oder mithilfe der konfigurieren. CreateDeliveryStreamAPI Um die Puffergröße anzupassen, setzen Sie SizeInMBs und IntervalInSeconds im zielspezifischen DestinationConfiguration Parameter oder. CreateDeliveryStreamUpdateDestinationAPI

Anmerkung

  • Pufferhinweise werden auf Shard- oder Partitionsebene angewendet, während Pufferhinweise für dynamische Partitionierungen auf Stream- oder Themenebene angewendet werden.

  • Um geringeren Latenzen bei Echtzeit-Anwendungsfällen gerecht zu werden, können Sie einen Hinweis ohne Pufferintervall verwenden. Wenn Sie das Pufferintervall auf Null Sekunden konfigurieren, puffert Firehose keine Daten und liefert Daten innerhalb weniger Sekunden. Bevor Sie die Pufferhinweise auf einen niedrigeren Wert ändern, erkundigen Sie sich beim Anbieter nach den empfohlenen Pufferhinweisen von Firehose für deren Ziele.

  • Die Funktion Zero Buffering ist nur für die Anwendungsziele und nicht für das Amazon S3 S3-Backup-Ziel verfügbar.

  • Die Funktion Zero Buffering ist für dynamische Partitionierung nicht verfügbar.

  • Firehose verwendet mehrteiligen Upload für das S3-Ziel, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden konfigurieren, um geringere Latenzen zu bieten. Aufgrund des mehrteiligen Uploads für das S3-Ziel werden Sie einen gewissen Anstieg der PUT API S3-Kosten feststellen, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden wählen.

Die Bereiche und Standardwerte für zielspezifische Pufferhinweise finden Sie in der folgenden Tabelle:

Bestimmungsort Puffergröße in MB (Standard in Klammern) Pufferintervall in Sekunden (Standard in Klammern)
Amazon S3 1-128 (5) 0-900 (300)
Apache Iceberg-Tabellen 1-128 (5) 0-900 (300)
Amazon-Redshift 1-128 (5) 0-900 (300)
OpenSearch Serverlos 1-100 (5) 0-900 (300)
OpenSearch 1-100 (5) 0-900 (300)
Splunk 1-5 (5) 0-60 (60)
Datadog 1—4 (4) 0-900 (60)
Coralogix 1-64 (6) 0-900 (60)
Dynatrace 1-64 (5) 0-900 (60)
Elastic 1 0-900 (60)
Honeycomb 1-64 (15) 0-900 (60)
HTTPEndpunkt 1-64 (5) 0-900 (60)
LogicMonitor 1-64 (5) 0-900 (60)
Logik 1-64 (5) 0-900 (60)
MongoDB 1-16 (5) 0-900 (60)
newRelic 1-64 (5) 0-900 (60)
sumoLogic 1-64 (1) 0-900 (60)
Splunk Observability Cloud 1-64 (1) 0-900 (60)
Snowflake 1-128 (1) 0 bis 900 (0)