Amazon MSK - Amazon Timestream
Utilizzo del servizio gestito per Apache FlinkUsare Kafka Connect

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon MSK

Utilizzo di Managed Service for Apache Flink per inviare Amazon MSK dati a Timestream per LiveAnalytics

Puoi inviare dati Timestream da Amazon MSK a creando un connettore dati simile al connettore dati di esempio Timestream per Managed Service for Apache Flink. Per ulteriori informazioni, consulta Servizio gestito da Amazon per Apache Flink.

Utilizzo di Kafka Connect per inviare MSK dati Amazon a Timestream per LiveAnalytics

Puoi usare Kafka Connect per importare i dati delle tue serie temporali Amazon MSK direttamente da Timestream for. LiveAnalytics

Abbiamo creato un esempio di Kafka Sink Connector per. Timestream Abbiamo anche creato un esempio di piano di jMeter test Apache per la pubblicazione di dati su un argomento di Kafka, in modo che i dati possano fluire dall'argomento attraverso il Timestream Kafka Sink Connector, a un Timestream per tabella. LiveAnalytics Tutti questi artefatti sono disponibili su. GitHub

Nota

Java 11 è la versione consigliata per l'utilizzo del Timestream Kafka Sink Connector. Se disponi di più versioni di Java, assicurati di esportare Java 11 nella variabile di ambiente _. JAVA HOME

Creazione di un'applicazione di esempio

Per iniziare, segui la procedura riportata di seguito.

  1. In Timestream for LiveAnalytics, crea un database con il nome. kafkastream

    Consulta la procedura Creazione di un database per istruzioni dettagliate.

  2. In Timestream for LiveAnalytics, crea una tabella con il nome. purchase_history

    Per istruzioni dettagliate, consulta Creare una tabella la procedura.

  3. Segui le istruzioni condivise in per creare quanto segue:, e.

    • Un Amazon MSK cluster

    • Un' Amazon EC2 istanza configurata come macchina client di Kafka Producer

    • Un argomento di Kafka

    Consulta i prerequisiti del progetto kafka_ingestor per istruzioni dettagliate.

  4. Clona il repository Kafka Sink Connector.Timestream

    Vedi Clonazione di un repository su per istruzioni dettagliate. GitHub

  5. Compila il codice del plugin.

    Vedi Connector - Build from source on GitHub per istruzioni dettagliate.

  6. Carica i seguenti file in un bucket S3: seguendo le istruzioni descritte in.

    • Il file jar (kafka-connector-timestream-> VERSION <- jar-with-dependencies .jar) dalla directory /target

    • Il file di schema json di esempio,. purchase_history.json

    Per istruzioni dettagliate, consulta Caricamento di oggetti nella Guida per Amazon S3 l'utente.

  7. Crea due VPC endpoint. Questi endpoint verrebbero utilizzati dal MSK Connettore per accedere alle risorse utilizzando. AWS PrivateLink

    • Uno per accedere al bucket Amazon S3

    • Uno per accedere al Timestream per la tabella. LiveAnalytics

    Vedi VPCEndpoints per istruzioni dettagliate.

  8. Crea un plugin personalizzato con il file jar caricato.

    Per istruzioni dettagliate, consulta Plugins nella Amazon MSK Developer Guide.

  9. Crea una configurazione di worker personalizzata con il JSON contenuto descritto nei parametri di configurazione del lavoratore, seguendo le istruzioni descritte in

    Per istruzioni dettagliate, consulta Creazione di una configurazione di worker personalizzata nella Amazon MSK Developer Guide.

  10. Crea un IAM ruolo di esecuzione del servizio.

    Vedi IAM Service Role per istruzioni dettagliate.

  11. Crea un Amazon MSK connettore con il plug-in personalizzato, la configurazione personalizzata del worker e il IAM ruolo di esecuzione del servizio creati nei passaggi precedenti e con la configurazione del connettore di esempio.

    Per istruzioni dettagliate, consulta Creazione di un connettore nella Amazon MSK Developer Guide.

    Assicurati di aggiornare i valori dei seguenti parametri di configurazione con i rispettivi valori. Vedi Parametri di configurazione del connettore per i dettagli.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    Il completamento della creazione del connettore richiede 5-10 minuti. La pipeline è pronta quando il suo stato cambia in. Running

  12. Pubblica un flusso continuo di messaggi per scrivere dati sull'argomento Kafka creato.

    Vedi Come usarlo per istruzioni dettagliate.

  13. Esegui una o più query per assicurarti che i dati vengano inviati da MSK Connect Amazon MSK to the Timestream for table. LiveAnalytics

    Consulta la procedura Esecuzione di una query per istruzioni dettagliate.

Risorse aggiuntive

Il blog, Real-time serverless data ingestion from your Kafka clusters in Timestream for using Kafka Connect, spiega come configurare una end-to-end pipeline utilizzando Timestream for LiveAnalytics Kafka Sink Connector, a partire da una macchina client LiveAnalytics Kafka Producer che utilizza il piano di jMeter test Apache per pubblicare migliaia di messaggi di esempio su un argomento Kafka per verificare i record importati in un Timestream for table. LiveAnalytics