Amazon MSK - Amazon Timestream
Usar o Managed Service for Apache FlinkUsando o Kafka Connect

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon MSK

Usando o Managed Service para Apache Flink para enviar Amazon MSK dados ao Timestream para LiveAnalytics

Você pode enviar dados de Amazon MSK para Timestream criando um conector de dados semelhante ao conector de Timestream dados de amostra do Managed Service for Apache Flink. Consulte Amazon Managed Service for Apache Flink para obter mais informações.

Usando o Kafka Connect para enviar dados do Amazon MSK ao Timestream para LiveAnalytics

Você pode usar o Kafka Connect para ingerir seus dados de séries temporais Amazon MSK diretamente no Timestream for. LiveAnalytics

Criamos um exemplo de conector de pia Kafka para. Timestream Também criamos um exemplo de plano de teste do Apache JMeter para publicar dados em um tópico do Kafka, para que os dados possam fluir do tópico por meio do conector Timestream Kafka Sink até um Timestream para a tabela. LiveAnalytics Todos esses artefatos estão disponíveis em. GitHub

nota

O Java 11 é a versão recomendada para usar o Timestream Kafka Sink Connector. Se você tiver várias versões do Java, certifique-se de exportar o Java 11 para sua variável de ambiente JAVA_HOME.

Como criar uma aplicação de exemplo

Para começar, siga o procedimento abaixo.

  1. No Timestream for LiveAnalytics, crie um banco de dados com o nome. kafkastream

    Consulte o procedimento Criar um banco de dados do para obter instruções detalhadas.

  2. Em Timestream for LiveAnalytics, crie uma tabela com o nome. purchase_history

    Consulte o procedimento Criar uma tabela para obter instruções detalhadas.

  3. Siga as instruções compartilhadas no para criar o seguinte:, e.

    • Um Amazon MSK cluster

    • Uma Amazon EC2 instância configurada como uma máquina cliente produtora do Kafka

    • Um tópico sobre Kafka

    Consulte os pré-requisitos do projeto kafka_ingestor para obter instruções detalhadas.

  4. Clone o repositório do Timestream Kafka Sink Connector.

    Consulte Clonar um repositório em GitHub para obter instruções detalhadas.

  5. Compile o código do plugin.

    Consulte Conector - Construir do código-fonte GitHub para obter instruções detalhadas.

  6. Faça upload dos seguintes arquivos em um bucket do S3: seguindo as instruções descritas em.

    • O arquivo jar (kafka-connector-timestream->VERSION<- jar-with-dependencies .jar) do diretório /target

    • O arquivo de amostra do esquema json,. purchase_history.json

    Consulte Carregar objetos no Guia do Amazon S3 usuário para obter instruções detalhadas.

  7. Crie dois VPC endpoints. Esses endpoints seriam usados pelo conector MSK para acessar os recursos usando. AWS PrivateLink

    • Um para acessar o Amazon S3 bucket

    • Um para acessar o Timestream da mesa. LiveAnalytics

    Consulte VPC Endpoints para obter instruções detalhadas.

  8. Crie um plug-in personalizado com o arquivo jar enviado.

    Consulte Plugins no Guia do Amazon MSK desenvolvedor para obter instruções detalhadas.

  9. Crie uma configuração de trabalho personalizada com o conteúdo JSON descrito nos parâmetros de configuração do trabalhador, seguindo as instruções descritas em

    Consulte Criação de uma configuração de trabalhador personalizada no Guia do Amazon MSK desenvolvedor para obter instruções detalhadas.

  10. Crie uma IAM função de execução de serviço.

    Consulte IAM Service Role para obter instruções detalhadas.

  11. Crie um Amazon MSK conector com o plug-in personalizado, a configuração personalizada do trabalhador e a IAM função de execução do serviço criada nas etapas anteriores e com o Sample Connector Configuration.

    Consulte Criação de um conector no Guia do Amazon MSK desenvolvedor para obter instruções detalhadas.

    Certifique-se de atualizar os valores dos parâmetros de configuração abaixo com os respectivos valores. Consulte os parâmetros de configuração do conector para obter detalhes.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    A criação do conector leva de 5 a 10 minutos para ser concluída. O pipeline está pronto quando seu status muda paraRunning.

  12. Publique um fluxo contínuo de mensagens para gravar dados no tópico criado pelo Kafka.

    Consulte Como usá-lo para obter instruções detalhadas.

  13. Execute uma ou mais consultas para garantir que os dados estejam sendo enviados do MSK Connect Amazon MSK to the Timestream for table. LiveAnalytics

    Consulte o procedimento Execute uma consulta para obter instruções detalhadas.

Recursos adicionais

O blog Ingestão de dados sem servidor em tempo real de seus clusters do Kafka no Timestream para LiveAnalytics usar o Kafka Connect explica a configuração de end-to-end um pipeline usando o Timestream for Kafka Sink Connector, começando com uma máquina cliente produtora do Kafka que usa o plano de teste Apache JMeter LiveAnalytics para publicar milhares de mensagens de amostra em um tópico do Kafka até a verificação dos registros ingeridos em um Timestream para tabela. LiveAnalytics