Connectors (Connettori) - Amazon Managed Streaming per Apache Kafka
CapacitàCreazione di un connettore

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connectors (Connettori)

Un connettore integra sistemi esterni e servizi Amazon con Apache Kafka copiando continuamente i dati in streaming da un'origine dati nel cluster Apache Kafka o dal cluster in un sink di dati. Un connettore può anche eseguire operazioni logiche leggere come la trasformazione, la conversione del formato o il filtraggio dei dati prima di consegnarli a una destinazione. I connettori di origine estraggono i dati da un'origine dati e li inviano al cluster, mentre i connettori sink estraggono i dati dal cluster e li inviano a un sink di dati.

Nel diagramma seguente viene illustrata l'architettura di un connettore. Un worker è un processo di macchina virtuale Java (JVM) che esegue la logica del connettore. Ogni worker crea una serie di attività che vengono eseguite in thread paralleli e si occupano di copiare i dati. Le attività non memorizzano lo stato e possono quindi essere avviate, interrotte o riavviate in qualsiasi momento per fornire una pipeline di dati resiliente e scalabile.

Diagramma che mostra l'architettura di un cluster di connettori.

Capacità del connettore

La capacità totale di un connettore dipende dal numero di worker del connettore e dal numero di MSK Connect Unit (MCU) per worker. Ogni MCU rappresenta 1 vCPU di elaborazione e 4 GiB di memoria. La memoria MCU riguarda la memoria totale di un'istanza worker e non la memoria heap in uso.

Gli operatori di MSK Connect utilizzano gli indirizzi IP nelle sottoreti fornite dal cliente. Ogni lavoratore utilizza un indirizzo IP da una delle sottoreti fornite dal cliente. È necessario assicurarsi di disporre di un numero sufficiente di indirizzi IP disponibili nelle sottoreti fornite a una CreateConnector richiesta per tenere conto della capacità specificata, specialmente quando si scalano automaticamente i connettori in cui il numero di lavoratori può variare.

Per creare un connettore, è necessario scegliere tra una delle due modalità di capacità seguenti.

  • Assegnato: scegli questa modalità se conosci i requisiti di capacità del tuo connettore. Specifica due valori:

    • Il numero di worker.

    • Il numero di MCU per worker.

  • Dimensionamento automatico: scegli questa modalità se i requisiti di capacità del connettore sono variabili o se non li conosci in anticipo. Quando si utilizza la modalità con dimensionamento automatico, Amazon MSK Connect sovrascrive la proprietà tasks.max del connettore con un valore proporzionale al numero di worker in esecuzione nel connettore e al numero di MCU per worker.

    Devi specificare tre set di valori:

    • Il numero minimo e massimo di worker.

    • Le percentuali di incremento e riduzione per l'utilizzo della CPU, determinate dal parametro CpuUtilization. Quando il parametro CpuUtilization del connettore supera la percentuale di dimensionamento orizzontale, MSK Connect aumenta il numero di worker che utilizzano il connettore. Quando il parametro CpuUtilization scende al di sotto della percentuale di ridimensionamento, MSK Connect riduce il numero di worker. Il numero di worker rimane sempre compreso tra il numero minimo e massimo specificato al momento della creazione del connettore.

    • Il numero di MCU per worker.

Per ulteriori informazioni sui worker, consulta la pagina Worker. Per ulteriori informazioni sui parametri di MSK Connect, consulta la pagina Monitoraggio di MSK Connect.

Creazione di un connettore

Creazione di un connettore utilizzando AWS Management Console

  1. Apri la console Amazon MSK all'indirizzo https://console.aws.amazon.com/msk/.

  2. Nel riquadro a sinistra, in MSK Connect, scegli Connettori.

  3. Scegli Create connector (Crea connettore).

  4. Per creare il connettore, puoi scegliere se utilizzare un plug-in personalizzato esistente o creare innanzitutto un nuovo plug-in personalizzato. Per informazioni sui plug-in personalizzati e su come crearli, consulta la pagina Plug-in. In questa procedura, supponiamo che tu abbia un plug-in personalizzato che desideri utilizzare. Nell'elenco dei plug-in personalizzati, trova quello che desideri utilizzare, seleziona la casella alla sua sinistra, quindi scegli Avanti.

  5. Inserisci un nome e facoltativamente una descrizione.

  6. Scegli il cluster a cui desideri connetterti.

  7. Specifica la configurazione del connettore. I parametri di configurazione da specificare dipendono dal tipo di connettore che si desidera creare. Tuttavia, alcuni parametri sono comuni a tutti i connettori, ad esempio i parametri connector.class e tasks.max. Di seguito è riportato un esempio di configurazione per il connettore sink Amazon S3 Confluent.

    connector.class=io.confluent.connect.s3.S3SinkConnector
tasks.max=2
topics=my-example-topic
s3.region=us-east-1
s3.bucket.name=my-destination-bucket
flush.size=1
storage.class=io.confluent.connect.s3.storage.S3Storage
format.class=io.confluent.connect.s3.format.json.JsonFormat
partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
key.converter=org.apache.kafka.connect.storage.StringConverter
value.converter=org.apache.kafka.connect.storage.StringConverter
schema.compatibility=NONE

  8. Successivamente, configura la capacità del connettore. È possibile scegliere tra due modalità di capacità: assegnata e con dimensionamento automatico. Per informazioni su queste due opzioni, consulta Capacità del connettore.

  9. Scegli la configurazione del worker predefinita o una configurazione del worker personalizzata. Per informazioni sulla creazione di configurazioni del worker personalizzate, consulta la pagina Worker.

  10. Successivamente, specifica il ruolo di esecuzione del servizio. Questo deve essere un ruolo IAM che MSK Connect può assumere e che concede al connettore tutte le autorizzazioni necessarie per accedere alle risorse necessarie. AWS Tali autorizzazioni dipendono dalla logica del connettore. Per informazioni su come creare questo ruolo, consulta Ruolo di esecuzione del servizio.

  11. Scegli Avanti, esamina le informazioni di sicurezza, quindi scegli nuovamente Avanti.

  12. Specifica le opzioni di registrazione desiderate, quindi scegli Avanti. Per ulteriori informazioni sulla registrazione, consulta Registrazione per MSK Connect.

  13. Scegli Create connector (Crea connettore).

Per utilizzare l'API MSK Connect per creare un connettore, vedere CreateConnector.