Verstehen Sie die Hinweise zur Pufferung - Amazon Data Firehose

Amazon Data Firehose war zuvor als Amazon Kinesis Data Firehose bekannt

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verstehen Sie die Hinweise zur Pufferung

Amazon Data Firehose puffert eingehende Streaming-Daten im Speicher auf eine bestimmte Größe (Puffergröße) und für einen bestimmten Zeitraum (Pufferintervall), bevor sie an die angegebenen Ziele gesendet werden. Sie würden Pufferhinweise verwenden, wenn Sie Dateien mit optimaler Größe an Amazon S3 senden und die Leistung von Datenverarbeitungsanwendungen verbessern möchten oder um die Firehose-Zustellungsrate an die Zielgeschwindigkeit anzupassen.

Sie können die Puffergröße und das Pufferintervall beim Erstellen neuer Firehose-Streams konfigurieren oder die Puffergröße und das Pufferintervall für Ihre vorhandenen Firehose aktualisieren. Die Puffergröße wird in MB und das Pufferintervall in Sekunden gemessen. Wenn Sie jedoch für einen dieser beiden Parameter einen Wert angeben, müssen Sie auch für den anderen Parameter einen Wert angeben. Die erste Pufferbedingung, die erfüllt ist, veranlasst Firehose, die Daten zu liefern. Wenn Sie die Pufferwerte nicht konfigurieren, werden die Standardwerte verwendet.

Sie können Firehose-Pufferhinweise über die SDKs AWS Management Console AWS Command Line Interface, oder AWS konfigurieren. Für bestehende Streams können Sie die Pufferhinweise mit einem Wert neu konfigurieren, der Ihren Anwendungsfällen entspricht, indem Sie die Option Bearbeiten in der Konsole oder die API verwenden. UpdateDestination Für neue Streams können Sie Pufferhinweise als Teil der Erstellung neuer Streams mithilfe der Konsole oder mithilfe der API konfigurieren. CreateDeliveryStream Um die Puffergröße anzupassen, legen Sie SizeInMBs und IntervalInSeconds in den zielspezifischen DestinationConfiguration Parameter der CreateDeliveryStreamUpdateDestinationOR-API fest.

Anmerkung
  • Um kürzeren Latenzen bei Echtzeit-Anwendungsfällen gerecht zu werden, können Sie den Hinweis „Kein Pufferintervall“ verwenden. Wenn Sie das Pufferintervall auf Null Sekunden konfigurieren, puffert Firehose keine Daten und liefert Daten innerhalb weniger Sekunden. Bevor Sie die Pufferhinweise auf einen niedrigeren Wert ändern, erkundigen Sie sich beim Anbieter nach den empfohlenen Pufferhinweisen von Firehose für deren Ziele.

  • Die Funktion Zero Buffering ist nur für die Anwendungsziele und nicht für das Amazon S3 S3-Backup-Ziel verfügbar.

Anmerkung

Firehose verwendet mehrteiligen Upload für das S3-Ziel, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden konfigurieren, um geringere Latenzen zu bieten. Aufgrund des mehrteiligen Uploads für das S3-Ziel werden Sie einen gewissen Anstieg der PUT S3-API-Kosten feststellen, wenn Sie ein Pufferzeitintervall von weniger als 60 Sekunden wählen.

Die Bereiche und Standardwerte für zielspezifische Pufferhinweise finden Sie in der folgenden Tabelle:

Bestimmungsort Puffergröße in MB (Standard in Klammern) Pufferintervall in Sekunden (Standard in Klammern)
S3 1-128 (5) 0-900 (300)
Redshift 1-128 (5) 0-900 (300)
OpenSearch Serverlos 1-100 (5) 0-900 (300)
OpenSearch 1-100 (5) 0-900 (300)
Splunk 1-5 (5) 0-60 (60)
Datadog 1—4 (4) 0-900 (60)
Coralogix 1-64 (6) 0-900 (60)
Dynatrace 1-64 (5) 0-900 (60)
Elastic 1 0-900 (60)
Honeycomb 1-64 (15) 0-900 (60)
HTTP-Endpunkt 1-64 (5) 0-900 (60)
LogicMonitor 1-64 (5) 0-900 (60)
Logik 1-64 (5) 0-900 (60)
MongoDB 1-16 (5) 0-900 (60)
Neues Relikt 1-64 (5) 0-900 (60)
SumoLogic 1-64 (1) 0-900 (60)
Splunk Observability Cloud 1-64 (1) 0-900 (60)