Amazon Data Firehose-Kontingent

Fokusmodus

Amazon Data Firehose-Kontingent - Amazon Data Firehose

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

In diesem Abschnitt werden aktuelle Kontingente, früher als Limits bezeichnet, innerhalb von Amazon Data Firehose beschrieben. Jedes Kontingent gilt pro Region, sofern nicht anders angegeben.

Die Servicekontingenten-Konsole ist ein zentraler Ort, an dem Sie Ihre Kontingente für AWS Dienste anzeigen und verwalten und eine Erhöhung des Kontingents für viele der von Ihnen verwendeten Ressourcen beantragen können. Verwenden Sie die von uns bereitgestellten Kontingentinformationen, um Ihre AWS Infrastruktur zu verwalten. Planen Sie Anfragen zur Erhöhung der Kontingente im Voraus vor dem Zeitpunkt, zu dem Sie sie benötigen.

Weitere Informationen finden Sie unter Amazon Data Firehose Endpoints and Quotas in der. Allgemeine Amazon Web Services-Referenz

Der folgende Abschnitt zeigt, dass Amazon Data Firehose das folgende Kontingent hat.

Mit Amazon MSK als Quelle für den Firehose-Stream hat jeder Firehose-Stream ein Standardkontingent von 10 MB/s Lesedurchsatz pro Partition und eine maximale Datensatzgröße von 10 MB. Sie können die Erhöhung des Service-Kontingents verwenden, um eine Erhöhung des Standardkontingents von 10 MB/s Lesedurchsatz pro Partition zu beantragen.
Mit Amazon MSK als Quelle für den Firehose-Stream gibt es eine maximale Datensatzgröße von 6 MB, wenn AWS Lambda aktiviert ist, und eine maximale Datensatzgröße von 10 MB, wenn Lambda deaktiviert ist. AWS Lambda begrenzt seinen eingehenden Datensatz auf 6 MB, und Amazon Data Firehose leitet Datensätze über 6 MB an einen Fehler-S3-Bucket weiter. Wenn Lambda deaktiviert ist, begrenzt Firehose seinen eingehenden Datensatz auf 10 MB. Wenn Amazon Data Firehose eine Datensatzgröße von Amazon MSK erhält, die größer als 10 MB ist, übermittelt Amazon Data Firehose diesen Datensatz an den S3-Fehler-Bucket und sendet Cloudwatch-Metriken an Ihr Konto. Weitere Informationen zu AWS Lambda-Grenzwerten finden Sie unter: https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html.
Wenn die dynamische Partitionierung in einem Firehose-Stream aktiviert ist, gibt es ein Standardkontingent von 500 aktiven Partitionen, die für diesen Firehose-Stream erstellt werden können. Die Anzahl der aktiven Partitionen ist die Gesamtzahl der aktiven Partitionen innerhalb des Bereitstellungspuffers. Wenn die dynamische Partitionierungsabfrage beispielsweise 3 Partitionen pro Sekunde erstellt und Sie eine Konfiguration mit Pufferhinweisen haben, die alle 60 Sekunden eine Übermittlung auslöst, dann haben Sie im Durchschnitt 180 aktive Partitionen. Sobald Daten in einer Partition geliefert wurden, ist diese Partition nicht mehr aktiv. Sie können das Formular Amazon Data Firehose Limits verwenden, um eine Erhöhung dieses Kontingents auf bis zu 5000 aktive Partitionen pro gegebenem Firehose-Stream zu beantragen. Wenn Sie mehr Partitionen benötigen, können Sie mehr Firehose-Streams erstellen und die aktiven Partitionen auf diese verteilen.
Wenn die dynamische Partitionierung auf einem Firehose-Stream aktiviert ist, wird für jede aktive Partition ein maximaler Durchsatz von 1 GB pro Sekunde unterstützt.
Für jedes Konto gilt das folgende Kontingent für die Anzahl der Firehose-Streams pro Region:
- USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Oregon), Europa (Irland), Asien-Pazifik (Tokio): 5.000 Firehose-Streams
- Europa (Frankfurt), Europa (London), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Seoul), Asien-Pazifik (Mumbai), AWS GovCloud (US-West), Kanada (West), Kanada (Zentral): 2.000 Firehose-Streams
- Europa (Paris), Europa (Mailand), Europa (Stockholm), Asien-Pazifik (Hongkong), Asien-Pazifik (Osaka), Südamerika (Sao Paulo), China (Ningxia), China (Peking), Naher Osten (Bahrain), AWS GovCloud (US-Ost), Afrika (Kapstadt): 500 Firehose-Streams
- Europa (Zürich), Europa (Spanien), Asien-Pazifik (Hyderabad), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Naher Osten (VAE), Israel (Tel Aviv), Kanada West (Calgary), Kanada (Zentral), Asien-Pazifik (Malaysia), Asien-Pazifik (Thailand), Mexiko (Zentral): 100 Firehose-Streams
- Wenn Sie diesen Wert überschreiten, hat ein Aufruf von CreateDeliveryStream die Ausnahme LimitExceededException zur Folge. Um dieses Kontingent zu erhöhen, können Sie Service Quotas (Service-Kontingente) verwenden, sofern in Ihrer Region verfügbar. Informationen zum Verwenden von Service Quotas finden Sie unter Service Quotas erhöhen. Wenn in Ihrer Region keine Servicekontingente verfügbar sind, können Sie das Formular Amazon Data Firehose Limits verwenden, um eine Erhöhung zu beantragen.
Wenn Direct PUT als Datenquelle konfiguriert ist, bietet jeder Firehose-Stream das folgende kombinierte Kontingent für PutRecordund PutRecordBatchAnfragen:
- Für USA Ost (Nord-Virginia), USA West (Oregon) und Europa (Irland): 500.000records/second, 2,000 requests/second, and 5 MiB/second.
- Für andere AWS-Regionen: 100.000records/second, 1,000 requests/second, and 1 MiB/second.
Wenn bei einem Direct PUT-Stream eine Drosselung aufgrund höherer Datenaufnahmemengen auftritt, die die Durchsatzkapazität eines Firehose-Streams überschreiten, erhöht Amazon Data Firehose automatisch das Durchsatzlimit des Streams, bis die Drosselung eingedämmt ist. Je nach erhöhtem Durchsatz und Drosselung kann es länger dauern, bis Firehose den Durchsatz eines Streams auf das gewünschte Niveau erhöht. Aus diesem Grund sollten Sie die fehlgeschlagenen Datenaufnahmemittel erneut versuchen. Wenn Sie erwarten, dass das Datenvolumen bei plötzlichen großen Datenausbrüchen ansteigt, oder wenn Ihr neuer Stream einen höheren Durchsatz als den standardmäßigen Durchsatzgrenzwert benötigt, fordern Sie eine Erhöhung des Durchsatzlimits an.

Verwenden Sie das Formular Amazon Data Firehose Limits, um eine Erhöhung des Kontingents zu beantragen. Die drei Kontingente werden proportional skaliert. Wenn Sie beispielsweise die Durchsatzquote in USA Ost (Nord-Virginia), USA West (Oregon) oder Europa (Irland) auf 10 erhöhenMiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second.

Anmerkung
Verwenden Sie Limits und Kontingente auf Ressourcenebene nicht dazu, Ihre Nutzung des Dienstes zu kontrollieren.

Wichtig
Wenn das erhöhte Kontingent wesentlich höher als der kontinuierliche Datenverkehr ist, werden kleine Datenpakete an die Ziele geliefert. Dies ist ineffizient und kann zu höheren Kosten beim Zielservice führen. Erhöhen Sie das Kontingent nur soweit, dass es dem aktuellen Datenverkehr entspricht. Steigt der Datenverkehr, können Sie das Kontingent erneut erhöhen.

Wichtig
Beachten Sie, dass kleinere Datensätze zu höheren Kosten führen können. Die Preise für die Datenaufnahme von Firehose basieren auf der Anzahl der Datensätze, die Sie an den Service senden, multipliziert mit der Größe jedes Datensatzes, aufgerundet auf die nächsten 5 KB (5120 Byte). Bei gleichem Volumen eingehender Daten (Byte) wären die Kosten also höher, wenn es eine größere Anzahl eingehender Datensätze gibt. Wenn das gesamte eingehende Datenvolumen beispielsweise 5 MiB beträgt, kostet das Senden von 5 MiB an Daten über 5 000 Datensätze mehr als das Senden derselben Datenmenge mit 1 000 Datensätzen. Weitere Informationen finden Sie unter Amazon Data Firehose im AWS Rechner.

Anmerkung
Wenn Kinesis Data Streams als Datenquelle konfiguriert ist, gilt dieses Kontingent nicht und Amazon Data Firehose skaliert ohne Limit nach oben und unten.
Jeder Firehose-Stream speichert Datensätze für bis zu 24 Stunden, falls das Lieferziel nicht verfügbar ist und wenn die Quelle nicht verfügbar ist DirectPut. Wenn die Quelle Kinesis Data Streams (KDS) ist und das Ziel nicht verfügbar ist, werden die Daten basierend auf Ihrer KDS-Konfiguration beibehalten.
Die maximale Größe eines Datensatzes, der vor der Base64-Kodierung an Amazon Data Firehose gesendet wird, beträgt 1.000 KiB.
Der PutRecordBatch-Vorgang kann pro Aufruf bis zu 500 Datensätze oder 4 MiB aufnehmen, je nachdem, welcher Wert kleiner ist. Dieses Kontingent kann nicht geändert werden.
Jeder der folgenden Operationen kann bis zu fünf Aufrufe pro Sekunde bereitstellen, was eine feste Grenze darstellt.
Die Pufferintervallspuren reichen von 60 Sekunden bis zu 900 Sekunden.
Für die Lieferung von Amazon Data Firehose an Amazon Redshift werden nur öffentlich zugängliche Amazon Redshift Redshift-Cluster unterstützt.
Die Dauer der Wiederholungsversuche liegt bei Amazon Redshift und Service Delivery zwischen 0 Sekunden und OpenSearch 7.200 Sekunden.
Firehose unterstützt Elasticsearch-Versionen — 1.5, 2.3, 5.1, 5.3, 5.5, 5.6 sowie alle 6.*-, 7.*- und 8.*-Versionen. Firehose unterstützt Amazon OpenSearch Service 2.x bis 2.11.
Wenn das Ziel Amazon S3, Amazon Redshift oder OpenSearch Service ist, erlaubt Amazon Data Firehose bis zu 5 ausstehende Lambda-Aufrufe pro Shard. Für Splunk beträgt das Kontingent 10 ausstehende Lambda-Aufrufe pro Shard.
Sie können einen CMK vom Typ verwenden, um bis CUSTOMER_MANAGED_CMK zu 500 Firehose-Streams zu verschlüsseln.