Mehrstufiger Speicher für Standard-Broker - Amazon Managed Streaming für Apache Kafka
Anforderungen für gestaffelte SpeicherungMehrstufige Speicherbeschränkungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Mehrstufiger Speicher für Standard-Broker

Gestaffelte Speicherung ist eine kostengünstige Speicherstufe für Amazon MSK, die auf praktisch unbegrenzten Speicherplatz skaliert werden kann, sodass Streaming-Datenanwendungen kostengünstig erstellt werden können.

Sie können einen Amazon-MSK-Cluster erstellen, der mit gestaffeltem Speicher konfiguriert ist, der ein ausgewogenes Verhältnis zwischen Leistung und Kosten bietet. Amazon MSK speichert Streaming-Daten auf einer leistungsoptimierten primären Speicherebene, bis die Aufbewahrungsgrenzen für Apache-Kafka-Themen erreicht sind. Anschließend verschiebt Amazon MSK Daten automatisch in die neue kostengünstige Speicherstufe.

Wenn Ihre Anwendung beginnt, Daten aus dem gestaffelten Speicher zu lesen, können Sie mit einer Erhöhung der Leselatenz für die ersten paar Bytes rechnen. Wenn Sie beginnen, die verbleibenden Daten sequentiell aus der kostengünstigen Stufe zu lesen, können Sie mit Latenzen rechnen, die denen der primären Speicherstufe ähneln. Sie müssen keinen Speicher für die kostengünstige gestaffelte Speicherung bereitstellen oder die Infrastruktur verwalten. Sie können beliebig viele Daten speichern und nur für das bezahlen, was Sie tatsächlich nutzen. Diese Funktion ist kompatibel mit dem in KIP-405 APIs eingeführten Feature: Kafka Tiered Storage.

Informationen zur Dimensionierung, Überwachung und Optimierung Ihres MSK Tiered Storage-Clusters finden Sie unter Bewährte Methoden für die Ausführung von Produktionsworkloads mit Amazon MSK Tiered Storage.

Im Folgenden sind einige Funktionen der gestaffelten Speicherung aufgeführt:

  • Sie können auf praktisch unbegrenzten Speicherplatz skalieren. Sie müssen nicht raten, wie Sie Ihre Apache-Kafka-Infrastruktur skalieren können.

  • Sie können Daten in Ihren Apache-Kafka-Themen länger aufbewahren oder Ihren Themenspeicher vergrößern, ohne die Anzahl der Broker erhöhen zu müssen.

  • Es bietet einen längeren Sicherheitspuffer, um unerwartete Verzögerungen bei der Verarbeitung zu bewältigen.

  • Sie können alte Daten in der exakten Produktionsreihenfolge mit Ihrem vorhandenen Stream-Verarbeitungscode und Kafka erneut verarbeiten. APIs

  • Partitionen können schneller wieder ausgeglichen werden, da Daten auf sekundärem Speicher nicht zwischen Broker-Festplatten repliziert werden müssen.

  • Daten werden zwischen Brokern und dem gestaffelten Speicher innerhalb der VPC bewegt und nicht über das Internet übertragen.

  • Ein Client-Computer kann zum Herstellen einer Verbindung zu neuen Clustern mit aktivierter gestaffelter Speicherung den gleichen Prozess wie zum Herstellen einer Verbindung zu einem Cluster ohne aktivierte gestaffelte Speicherung verwenden. Siehe Erstellen eines Client-Computers.

Mehrstufige Speicheranforderungen für Amazon MSK-Cluster

  • Sie müssen den Apache-Kafka-Client Version 3.0.0 oder höher verwenden, um ein neues Thema mit aktivierter gestaffelter Speicherung zu erstellen. Um ein vorhandenes Thema auf gestaffelte Speicherung umzustellen, können Sie einen Client-Computer neu konfigurieren, der eine Kafka-Client-Version unter 3.0.0 verwendet (die unterstützte Apache-Kafka-Version ist mindestens 2.8.2.tiered), um die gestaffelte Speicherung zu aktivieren. Siehe Schritt 4: Erstellen Sie ein Thema im Amazon MSK-Cluster.

  • Der Amazon MSK-Cluster mit aktiviertem Tiered Storage muss Version 3.6.0 oder höher oder 2.8.2. Tiered verwenden.

Mehrstufige Speicherbeschränkungen und Einschränkungen für Amazon MSK-Cluster

Für die gestaffelte Speicherung gelten die folgenden Einschränkungen und Limits:

  • Stellen Sie sicher, dass Clients read_committed beim Lesen von remote_tier in Amazon MSK nicht so konfiguriert sind, es sei denn, die Anwendung verwendet die Transaktionsfunktion aktiv.

  • Tiered Storage ist in AWS GovCloud Regionen (USA) nicht verfügbar.

  • Die gestaffelte Speicherung gilt nur für Cluster im Bereitstellungsmodus.

  • Mehrstufiger Speicher unterstützt die Brokergröße t3.small nicht.

  • Die Mindestaufbewahrungsdauer bei kostengünstiger Speicherung beträgt 3 Tage. Es gibt keine Mindestaufbewahrungsdauer für den Primärspeicher.

  • Die gestaffelte Speicherung unterstützt nicht mehrere Protokollverzeichnisse auf einem Broker (JBOD-bezogene Funktionen).

  • Mehrstufiger Speicher unterstützt keine komprimierten Themen. Stellen Sie sicher, dass bei allen Themen, für die Tiered Storage aktiviert ist, die cleanup.policy nur auf „DELETE“ konfiguriert ist.

  • Das Ändern der log.cleanup.policy-Richtlinie für ein Thema nach dessen Erstellung wird vom Tiered Storage-Cluster nicht unterstützt.

  • Tiered Storage kann für einzelne Themen deaktiviert werden, jedoch nicht für den gesamten Cluster. Nach der Deaktivierung kann die gestaffelte Speicherung für ein Thema nicht wieder aktiviert werden.

  • Wenn Sie Amazon MSK Version 2.8.2.tiered verwenden, können Sie nur zu einer anderen von Tiered Storage unterstützten Apache Kafka-Version migrieren. Wenn Sie eine von Tiered Storage unterstützte Version nicht weiter verwenden möchten, erstellen Sie einen neuen MSK-Cluster und migrieren Sie Ihre Daten dorthin.

  • Das kafka-log-dirs Tool kann die Größe von Tiered Storage-Daten nicht melden. Das Tool meldet nur die Größe der Protokollsegmente im Primärspeicher.