Crea un cluster MSK Provisioned utilizzando Console di gestione AWS

Apri la console Amazon MSK all'indirizzo https://console.aws.amazon.com/msk/.

Scegli Crea cluster.

Per il metodo di creazione del cluster, scegli Creazione personalizzata.

Per Nome del cluster, specifica un nome univoco e contenente non più di 64 caratteri.

Per il tipo di cluster, scegli Provisioned.

Per la versione di Apache Kafka, scegli una versione da eseguire sui broker. Per visualizzare un confronto tra le funzionalità di Amazon MSK supportate da ciascuna versione di Apache Kafka, scegli Visualizza la compatibilità delle versioni.

Nella sezione Broker, procedi come segue:

1. Per il tipo di broker, scegli una delle seguenti opzioni:

   • Broker Express: High-performance broker scalabili con storage virtuale completamente gestito. Scegli questo tipo di broker per applicazioni impegnative e ad alto rendimento.

   • Broker standard: broker Kafka tradizionale con controllo completo della configurazione. Scegli questo tipo di broker per carichi di lavoro generici con requisiti di throughput moderati.

   Per ulteriori informazioni su questi tipi di broker, consulta. Tipi di broker Amazon MSK

2. Per le dimensioni del broker, scegli una dimensione da utilizzare per il cluster in base alle esigenze di elaborazione, memoria e archiviazione del cluster.

3. Per Numero di zone, scegli il numero AWS Zone di disponibilità in cui sono distribuiti i broker.

   I broker Express richiedono tre zone di disponibilità per una maggiore disponibilità.

4. Per i broker per zona, specifica il numero di broker che desideri che Amazon MSK crei in ciascuna zona di disponibilità. Il minimo è un broker per zona di disponibilità e il massimo è 30 broker per cluster per i cluster e 60 broker per ZooKeeper-based cluster per i cluster. KRaft-based

Se hai selezionato il tipo di broker come Standard, esegui le seguenti operazioni nella sezione Archiviazione:

1. Per Storage, scegli la quantità iniziale di storage che desideri che il cluster abbia. Non è possibile ridurre la capacità di archiviazione dopo aver creato il cluster.

2. (Facoltativo) A seconda della dimensione del broker (dimensione dell'istanza) selezionata, puoi anche specificare il throughput di archiviazione fornito per broker. Questa opzione consente di allocare prestazioni di input e output (I/O) dedicate per i volumi Amazon EBS di ciascun broker.

   Per abilitare questa opzione, scegli la dimensione del broker (dimensione dell'istanza) kafka.m5.4xlarge o superiore per x86 e kafka.m7g.2xlarge o superiore per le istanze. Graviton-based Quindi, seleziona la casella di controllo Enable provisioned storage throughput. Selezionando questa casella di controllo, è possibile impostare manualmente un throughput minimo di 250 MiB al secondo. Ciò è utile per I/O-intensive carichi di lavoro o applicazioni che richiedono prestazioni di storage prevedibili e ad alta velocità. Per ulteriori informazioni, consulta Fornisci il throughput di storage per i broker Standard in un cluster Amazon MSK.

3. Per la modalità di archiviazione cluster, specifica in che modo i dati vengono archiviati e gestiti all'interno del cluster. Questa opzione determina il tipo e la configurazione dello storage utilizzato per i broker. Scegli una delle seguenti opzioni:

   • Solo storage EBS: archivia tutti i dati degli argomenti localmente sui volumi Amazon Elastic Block Store (Amazon EBS) collegati a ciascun broker. Scegli questa modalità per esigenze prestazionali coerenti e accesso rapido ai messaggi recenti.

   • Storage su più livelli e storage EBS: combina i dati locali di Amazon EBS con lo storage remoto ed economico per set di dati di grandi dimensioni in Amazon S3. Questa modalità riduce i costi di storage di Amazon EBS, supporta una conservazione dei dati più lunga e scala lo storage automaticamente senza interventi manuali. Scegli questa modalità quando desideri conservare i dati per periodi più lunghi a costi inferiori o prevedi che le tue esigenze di storage crescano in modo significativo.

Per la configurazione del cluster, specifica una delle seguenti opzioni per definire il comportamento del cluster:

Scegli Successivo per continuare.

Per il networking, procedi come segue:

1. Scegli il VPC che desideri utilizzare per il cluster.

2. In base al numero di zone di disponibilità selezionate in precedenza, specifica le zone di disponibilità e le sottoreti in cui verranno implementati i broker.

   Per i broker standard nella regione Stati Uniti occidentali (California settentrionale), sono necessarie due sottoreti in due diverse zone di disponibilità. Per altre regioni in cui è disponibile Amazon MSK, è possibile specificare due o tre sottoreti. Le sottoreti devono trovarsi tutte in zone di disponibilità differenti.

   Per i broker Express, sono necessarie tre sottoreti in tre diverse zone di disponibilità.

   Quando si crea un cluster MSK Provisioned, MSK distribuisce i nodi del broker in modo uniforme sulle sottoreti specificate.

3. Per i gruppi di sicurezza in Amazon EC2, scegli o crea uno o più gruppi di sicurezza a cui vuoi dare accesso al tuo cluster. Questi gruppi di sicurezza Amazon EC2 controllano il traffico in entrata e in uscita verso i tuoi broker. Ad esempio, i gruppi di sicurezza dei computer client.

   Se specifichi i gruppi di sicurezza condivisi con te, devi assicurarti di disporre delle autorizzazioni per utilizzarli. Nello specifico, è necessaria l'autorizzazione ec2:DescribeSecurityGroups. Per ulteriori informazioni, vedere Connessione a un cluster MSK.

Scegli Successivo per continuare.

Nella sezione Impostazioni di sicurezza, procedi come segue:

1. Scegli uno o più dei seguenti metodi di autenticazione e autorizzazione per controllare l'accesso dei client ai tuoi cluster Kafka:

   • Accesso non autenticato: consente ai client di accedere al cluster senza fornire alcuna credenziale di autenticazione. Questo metodo rappresenta un rischio per la sicurezza e potrebbe non essere conforme alle best practice di sicurezza. Per ulteriori informazioni, vedere https://docs.aws.amazon.com/config/latest/developerguide/msk-unrestricted-access-check.html msk-unrestricted-access-check.

   • Autenticazione basata sui ruoli IAM: abilita l'autenticazione e l'autorizzazione del client tramite IAM. AWS users/roles Questo metodo fornisce un controllo granulare sull'accesso al cluster tramite politiche IAM. Questo metodo è consigliato per le applicazioni già in esecuzione. AWS

   • SASL/SCRAM autenticazione: richiede ai client di fornire le credenziali di nome utente e password archiviate AWS Secrets Manager per l'autenticazione. Amazon MSK recupera queste credenziali da Secrets Manager e autentica gli utenti in modo sicuro.

     Per configurare le credenziali di accesso relative all'autenticazione per un cluster, crea prima una risorsa segreta in Secrets Manager. Quindi, associa le credenziali di accesso a quel segreto. Per ulteriori informazioni su questo metodo di controllo degli accessi, vedere. Configura SASL/SCRAM l'autenticazione per un cluster Amazon MSK

   • Autenticazione client TLS tramite AWS Certificate Manager (ACM): consente l'autenticazione reciproca tra clienti e broker utilizzando certificati digitali. È necessario configurare un Autorità di certificazione privata AWS (AWS Private CA) nello stesso o in un altro cluster Account AWS .

     Consigliamo vivamente di utilizzare AWS Private CA s indipendenti per ogni cluster MSK durante l'implementazione degli MTL. Ciò garantisce che i certificati TLS firmati dai PCA si autentichino solo con un singolo cluster MSK, mantenendo così un rigoroso controllo degli accessi.

In Crittografia, scegli il tipo di chiave KMS che desideri utilizzare per crittografare i dati inattivi. Per ulteriori informazioni, consulta Crittografia Amazon MSK a riposo.

La crittografia dei dati a riposo protegge l’integrità dei dati archiviati, mentre la crittografia in transito protegge la riservatezza dei dati dal monitoraggio della rete durante il trasferimento.

Scegli Successivo per continuare.

Per le CloudWatch metriche Amazon per questo cluster, scegli uno dei seguenti livelli di monitoraggio. Le metriche raccolte a ciascun livello di monitoraggio sono integrate CloudWatch per la visualizzazione e l'invio di avvisi.

1. Monitoraggio di base: fornisce una serie di metriche essenziali a livello di cluster senza costi aggiuntivi. Questo livello è adatto per la maggior parte dei casi d'uso con esigenze di monitoraggio generali.

2. Monitoraggio avanzato a livello di broker: fornisce metriche dettagliate sui broker a un costo aggiuntivo. Questo livello include il monitoraggio di base e metriche più granulari dei broker, come le metriche di archiviazione su più livelli, i byte in/out di altri broker, il tempo totale per le operazioni. read/write Le metriche di questo livello sono a pagamento, mentre le metriche di livello base continuano a essere gratuite.

3. Monitoraggio avanzato a livello di argomento: fornisce metriche per singoli argomenti a un costo aggiuntivo. Scegli questo livello per ottenere una visione più granulare delle performance tematiche tra i broker. Include un monitoraggio avanzato a livello di broker e metriche a livello di argomento, come metriche di archiviazione su più livelli per un argomento specifico e il numero di messaggi ricevuti al secondo.

4. Monitoraggio avanzato a livello di partizione: fornisce la visualizzazione più granulare delle metriche per partizione a un costo aggiuntivo. Scegli questo livello per ottenere il monitoraggio più dettagliato acquisendo le metriche per ogni partizione all’interno di ogni argomento tra i broker. Include un monitoraggio avanzato a livello di argomento e metriche granulari specifiche per le partizioni, come le metriche di ritardo di offset.

Per ulteriori informazioni sulle metriche disponibili per i tipi di broker Standard ed Express a ciascuno di questi livelli di monitoraggio, consulta e. CloudWatch metriche per i broker Standard CloudWatch metriche per i broker Express

(Facoltativo) Se desideri esportare le metriche in formato Prometheus utilizzando JMX Exporter, Node Exporter o entrambi, scegli Abilita il monitoraggio aperto con Prometheus. Per ulteriori informazioni su questa opzione, consulta Monitora con Prometheus.

(Facoltativo) Per configurare il cluster MSK in modo da fornire i log dei broker a vari broker Servizi AWS per la risoluzione dei problemi e il controllo, scegli una o più delle seguenti opzioni. Amazon MSK non crea queste risorse di destinazione se non esistono già. Per ulteriori informazioni, consulta Log di broker.

(Facoltativo) Per identificare, organizzare o cercare il cluster, scegli Aggiungi nuovo tag per aggiungere i tag come coppie chiave-valore. Ad esempio, aggiungi un tag al cluster con la coppia chiave-valore e. Load testing Test

Per ulteriori informazioni sull'utilizzo dei tag nei cluster, consulta. Contrassegna un tag a un cluster Amazon MSK

Scegli Successivo per continuare.

Rivedi le impostazioni del tuo cluster.

Scegli Modifica o Precedente per modificare le impostazioni specificate in precedenza o tornare alla schermata precedente della console.

Scegli Crea cluster.

Controlla lo stato di questo cluster nella sezione di riepilogo del cluster della pagina dei dettagli del cluster. Quando Amazon MSK assegna il cluster, lo stato passa da Creazione in corso ad Attivo. Quando lo stato è Attivo, puoi connetterti al cluster. Per ulteriori informazioni sugli stati del cluster, consulta la pagina Comprendi gli stati dei cluster MSK Provisioned.