Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Assegnazione della velocità di trasmissione effettiva dell'archiviazione
MSKI broker Amazon mantengono i dati sui volumi di storage. L'I/O dell'archiviazione viene utilizzato quando i produttori scrivono sul cluster, quando i dati vengono replicati tra broker e quando i consumatori leggono dati che non sono in memoria. La velocità di trasmissione effettiva dell'archiviazione del volume è la velocità con cui i dati possono essere scritti e letti da un volume di archiviazione. La velocità di trasmissione effettiva dell'archiviazione assegnata è la capacità di specificare tale velocità per i broker del cluster.
È possibile specificare la velocità di throughput assegnata in MiB al secondo per i cluster i cui broker sono di dimensioni kafka.m5.4xlarge o superiori e se il volume di storage è pari o superiore a 10 GiB. È possibile specificare la velocità di trasmissione effettiva assegnata durante la creazione del cluster. Inoltre, è possibile abilitare o disabilitare la velocità di trasmissione effettiva assegnata per un cluster che si trova nello stato ACTIVE.
Colli di bottiglia nella velocità di trasmissione effettiva
Le cause dei colli di bottiglia nel throughput dei broker sono molteplici: throughput di volume, throughput di rete da Amazon ad EC2 Amazon e EBS throughput di uscita Amazon. EC2 È possibile abilitare la velocità di trasmissione effettiva assegnata per regolare la velocità di trasmissione effettiva del volume. Tuttavia, le limitazioni del throughput dei broker possono essere causate dal throughput di EBS rete da Amazon EC2 ad Amazon e dal throughput di uscita di AmazonEC2.
La velocità EC2 di uscita di Amazon è influenzata dal numero di gruppi di consumatori e di consumatori per gruppo di consumatori. Inoltre, sia il throughput di EBS rete EC2 da Amazon ad Amazon che il throughput di EC2 uscita Amazon sono più elevati per broker di grandi dimensioni.
Per volumi di dimensioni pari o superiori a 10 GiB, è possibile assegnare una velocità di trasmissione effettiva dell'archiviazione pari o superiore a 250 MiB al secondo. L'impostazione predefinita è 250 MiB al secondo. Per effettuare il provisioning del throughput di storage, è necessario scegliere la dimensione del broker kafka.m5.4xlarge o superiore (oppure kafka.m7g.2xlarge o superiore) e specificare il throughput massimo come illustrato nella tabella seguente.
| dimensione del broker | Velocità di trasmissione effettiva massima (MiB/secondo) |
|---|---|
| kafka.m5.4xlarge | 593 |
| kafka.m5.8xlarge | 850 |
| kafka.m5.12xlarge | 1000 |
| kafka.m5.16xlarge | 1000 |
| kafka.m5.24xlarge | 1000 |
| kafka.m7 g. 2 x grande | 312,5 |
| kafka.m7g.4xlarge | 625 |
| kafka.m7g.8xlarge | 1000 |
| kafka.m7g. 12 x grande | 1000 |
| kafka.m7g. 16 x grande | 1000 |
Misurazione della velocità di trasmissione effettiva dell'archiviazione
È possibile utilizzare i parametri VolumeReadBytes e VolumeWriteBytes per misurare la velocità di trasmissione effettiva media di archiviazione di un cluster. La somma di questi due parametri fornisce la velocità di trasmissione effettiva media dell'archiviazione espressa in byte. Per ottenere il throughput di storage medio per un cluster, imposta queste due metriche su 1 minuto SUM e il periodo su 1 minuto, quindi usa la formula seguente.
Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)
Per ulteriori informazioni sui parametri VolumeReadBytes e VolumeWriteBytes, consulta la sezione Monitoraggio del livello PER_BROKER.
Aggiornamento della configurazione
Puoi aggiornare la MSK configurazione di Amazon prima o dopo aver attivato il throughput assegnato. Tuttavia, non vedrai la velocità di trasmissione effettiva desiderata finché non eseguirai entrambe le operazioni: aggiornare il parametro di configurazione num.replica.fetchers e attivare la velocità di trasmissione effettiva assegnata.
Nella MSK configurazione Amazon predefinita, num.replica.fetchers ha un valore di 2. Per aggiornare il num.replica.fetchers, puoi utilizzare i valori suggeriti dalla tabella seguente. Questi valori sono forniti a scopo indicativo. Si consiglia di modificare questi valori in base al proprio caso d'uso.
| dimensione del broker | num.replica.fetchers |
|---|---|
| kafka.m5.4xlarge | 4 |
| kafka.m5.8xlarge | 8 |
| kafka.m5.12xlarge | 14 |
| kafka.m5.16xlarge | 16 |
| kafka.m5.24xlarge | 16 |
La configurazione aggiornata potrebbe non avere effetto per un massimo di 24 ore e potrebbe richiedere più tempo quando un volume sorgente non è completamente utilizzato. Tuttavia, le prestazioni dei volumi di transizione sono almeno uguali a quelle dei volumi di archiviazione di origine durante il periodo di migrazione. Un volume da 1 TiB completamente utilizzato richiede in genere circa sei ore per migrare a una configurazione aggiornata.
Eseguire il provisioning della velocità di storage utilizzando AWS Management Console
Accedi a e apri la MSK console Amazon a https://console.aws.amazon.com/msk/casa? AWS Management Console region=us-east-1#/home/.
Scegli Create cluster (Crea cluster).
Scegli Creazione personalizzata.
Specificare un nome per il cluster.
Nella sezione Archiviazione, scegli Abilita.
Scegli un valore per la velocità di trasmissione effettiva dell'archiviazione per broker.
Scegli a, zone e sottoreti e un gruppo di VPC sicurezza.
Scegli Next (Successivo).
Nella parte inferiore del passaggio Sicurezza, scegli Avanti.
Nella parte inferiore del passaggio Monitoraggio e tag, scegli Avanti.
Verifica le impostazioni del cluster, quindi scegli Crea cluster.
Eseguire il provisioning del throughput di storage utilizzando AWS CLI
Questa sezione mostra un esempio di come è possibile utilizzare il AWS CLI per creare un cluster con il throughput assegnato abilitato.
Copia quanto segue JSON e incollalo in un file. Sostituisci i segnaposto degli ID della sottorete IDs e del gruppo di sicurezza con i valori del tuo account. Assegna al file il nome
cluster-creation.jsone salvalo.{ "Provisioned": { "BrokerNodeGroupInfo":{ "InstanceType":"kafka.m5.4xlarge", "ClientSubnets":[ "Subnet-1-ID", "Subnet-2-ID" ], "SecurityGroups":[ "Security-Group-ID" ], "StorageInfo": { "EbsStorageInfo": { "VolumeSize": 10, "ProvisionedThroughput": { "Enabled": true, "VolumeThroughput": 250 } } } }, "EncryptionInfo": { "EncryptionInTransit": { "InCluster": false, "ClientBroker": "PLAINTEXT" } }, "KafkaVersion":"2.8.1", "NumberOfBrokerNodes": 2 }, "ClusterName": "provisioned-throughput-example" }Esegui il AWS CLI comando seguente dalla directory in cui hai salvato il JSON file nel passaggio precedente.
aws kafka create-cluster-v2 --cli-input-json file://cluster-creation.json
Assegnazione della velocità di trasmissione effettiva dell'archiviazione tramite la API
