Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Storage su più livelli per cluster Amazon MSK
Lo storage su più livelli è un livello di storage a basso costo per Amazon MSK che si adatta a uno storage praticamente illimitato, il che rende conveniente la creazione di applicazioni di streaming di dati.
Puoi creare un MSK cluster Amazon configurato con storage su più livelli che bilancia prestazioni e costi. Amazon MSK archivia i dati in streaming in un livello di storage primario ottimizzato per le prestazioni fino a raggiungere i limiti di conservazione degli argomenti di Apache Kafka. Quindi, Amazon sposta MSK automaticamente i dati nel nuovo livello di storage a basso costo.
Quando l'applicazione inizia a leggere i dati dall'archiviazione a più livelli, è possibile che i primi byte siano soggetti a un aumento della latenza di lettura. Quando inizi a leggere i dati rimanenti in sequenza dal livello a basso costo, le latenze dovrebbero essere simili a quelle del livello di archiviazione primario. Non è necessario effettuare il provisioning di alcun tipo di archiviazione per l'archiviazione più livelli a basso costo o per gestire l'infrastruttura. È possibile archiviare qualsiasi quantità di dati e pagare solo per le risorse utilizzate. Questa funzionalità è compatibile con la versione APIs introdotta in KIP-405: Kafka
Di seguito sono elencate alcune caratteristiche dell'archiviazione a più livelli:
-
È possibile dimensionare fino a una capacità di archiviazione praticamente illimitata. Non è necessario fare supposizioni su come dimensionare la propria infrastruttura Apache Kafka.
-
È possibile mantenere i dati più a lungo negli argomenti di Apache Kafka o aumentare lo spazio di archiviazione degli argomenti senza la necessità di aumentare il numero di broker.
-
Fornisce un buffer di sicurezza di maggiore durata per gestire ritardi imprevisti nell'elaborazione.
-
Puoi rielaborare i vecchi dati nel loro esatto ordine di produzione con il codice di elaborazione dello stream esistente e Kafka. APIs
-
Le partizioni si ribilanciano più velocemente perché i dati nell'archiviazione secondaria non richiedono la replica tra i dischi del broker.
-
I dati tra i broker e lo storage su più livelli si spostano all'interno di Internet VPC e non viaggiano attraverso Internet.
-
Per connettersi a nuovi cluster con l'archiviazione a più livelli abilitata, un computer client può utilizzare lo stesso processo che utilizza per connettersi a un cluster senza l'archiviazione a più livelli abilitata. Consulta la sezione Creazione di un computer client.
Requisiti di storage su più livelli per i cluster Amazon MSK
-
È necessario utilizzare la versione 3.0.0 o successiva del client Apache Kafka per creare un nuovo argomento con l'archiviazione a più livelli abilitata. Per trasferire un argomento esistente all'archiviazione a più livelli, puoi riconfigurare un computer client che utilizza una versione del client Kafka precedente alla 3.0.0 (la versione minima supportata di Apache Kafka è 2.8.2.tiered) per abilitare l'archiviazione a più livelli. Per informazioni, consulta Fase 4: Creare un argomento nel MSK cluster Amazon.
-
Il MSK cluster Amazon con storage su più livelli abilitato deve utilizzare la versione 3.6.0 o successiva o 2.8.2.tiered.
Vincoli e limitazioni dello storage su più livelli per i cluster Amazon MSK
L'archiviazione a più livelli presenta i seguenti vincoli e limitazioni:
Assicurati che i client non siano configurati per
read_committedla lettura da remote_tier in AmazonMSK, a meno che l'applicazione non utilizzi attivamente la funzionalità delle transazioni.-
Lo storage su più livelli non è disponibile nelle regioni AWS GovCloud (Stati Uniti).
L'archiviazione a più livelli si applica solo ai cluster in modalità assegnata.
-
Lo storage su più livelli non supporta la dimensione del broker t3.small.
-
Il periodo di conservazione minimo nell'archiviazione a basso costo è di 3 giorni. Non è previsto un periodo minimo di conservazione per l'archiviazione primaria.
-
Lo storage su più livelli non supporta più directory di log su un broker (funzionalità correlate). JBOD
-
L'archiviazione a più livelli non supporta gli argomenti compressi. Assicurati che cleanup.policy sia configurato solo su «» per tutti gli argomenti per cui è attivato lo storage su più livelli. DELETE
-
L'archiviazione a più livelli può essere disabilitata per singoli argomenti ma non per l'intero cluster. Una volta disattivata, l'archiviazione a più livelli non può essere riattivata per un argomento.
Se utilizzi la MSK versione Amazon 2.8.2.tiered, puoi migrare solo a un'altra versione di Apache Kafka supportata dallo storage su più livelli. Se non desideri continuare a utilizzare una versione supportata dallo storage su più livelli, crea un nuovo cluster e migra i tuoi dati su di esso. MSK
-
Lo kafka-log-dirs strumento non è in grado di riportare le dimensioni dei dati di storage su più livelli. Lo strumento riporta solo la dimensione dei segmenti di log nell'archiviazione primaria.
