Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use conectores para mover dados no Managed Service for Apache Flink com o DataStream API
No Amazon Managed Service para Apache Flink DataStream API, conectores são componentes de software que movem dados para dentro e para fora de um aplicativo Managed Service for Apache Flink. Os conectores são integrações flexíveis que permitem a leitura de arquivos e diretórios. Os conectores consistem em módulos completos para interagir com os serviços da Amazon e sistemas de terceiros.
Os tipos de conectores incluem o seguinte:
Adicionar fontes de dados de streaming: forneça dados para seu aplicativo a partir de um fluxo de dados do Kinesis, arquivo ou de outra fonte de dados.
Grave dados usando coletores: envie dados do seu aplicativo para um stream de dados do Kinesis, stream Firehose ou outro destino de dados.
Use E/S assíncrona: fornece acesso assíncrono a uma fonte de dados (como um banco de dados) para enriquecer os eventos de fluxo.
Conectores disponíveis
A estrutura do Apache Flink contém conectores para acessar dados de várias fontes. Para obter informações sobre conectores disponíveis na estrutura do Apache Flink, consulte Conectores
Atenção
Se você tem aplicativos em execução no Flink 1.6, 1.8, 1.11 ou 1.13 e gostaria de executá-los nas regiões do Oriente Médio (), Ásia-Pacífico (HyderabadUAE), Israel (Tel Aviv), Europa (Zurique), Oriente Médio (), Ásia-Pacífico (UAEMelbourne) ou Ásia-Pacífico (Jacarta), talvez seja necessário reconstruir seu arquivo de aplicativos com um conector atualizado ou atualizar para o Flink 1.18.
Os conectores Apache Flink são armazenados em seus próprios repositórios de código aberto. Se você estiver atualizando para a versão 1.18 ou posterior, deverá atualizar suas dependências. Para acessar o repositório dos AWS conectores Apache Flink, consulte. flink-connector-aws
A seguir estão as diretrizes recomendadas:
| Versão do Flink | Conector usado | Resolução |
|---|---|---|
| 1.15 | EFO |
Ao fazer o upgrade para o Amazon Managed Service for Apache Flink versão 1.15, verifique se você está usando o conector mais recente. EFO Essa deve ser qualquer versão 1.15.3 ou posterior. Para obter mais informações, consulte: |
| 1.15 | Coletor Amazon Data Firehose |
Ao fazer o upgrade para o Amazon Managed Service for Apache Flink versão 1.15, verifique se você está usando o Amazon Data Firehose Sink mais recente. |
| 1.15 | Conectores Kafka |
Ao fazer o upgrade para o Amazon Managed Service for Apache Flink versão 1.15, verifique se você está usando o conector Kafka mais recente. APIs O Apache Flink foi descontinuado e. FlinkKafkaConsumerFlinkKafkaProducer |
| 1.6 - 1.13 | Firehose |
Seu aplicativo depende de uma versão desatualizada do conector Firehose que não conhece as regiões mais AWS recentes. Reconstrua o arquivo do seu aplicativo com o conector Firehose versão 2.1.0. |
| 1.8 | Kinesis |
Seu aplicativo depende de uma versão desatualizada do conector Flink Kinesis que não conhece as regiões mais recentes. AWS Reconstrua o arquivo do seu aplicativo com o conector Flink Kinesis versão 1.6.1. https://github.com/awslabs/amazon-kinesis-connector-flink/árvore/1.6.1 |
| 1.11 | Kinesis |
Seu aplicativo depende de uma versão desatualizada do conector Flink Kinesis que não conhece as regiões mais recentes. AWS Reconstrua o arquivo do seu aplicativo com o conector Flink Kinesis versão 2.4.1. https://github.com/awslabs/amazon-kinesis-connector-flink/árvore/2.4.1 |
| 1.6 e 1.13 | Kinesis |
Seu aplicativo depende de uma versão desatualizada do conector Flink Kinesis que não conhece as regiões mais recentes. AWS Infelizmente, o Flink não lança mais patches ou correções de bugs para conectores 1.6/1.13. Sugerimos que você atualize para o Flink 1.15 reconstruindo seu arquivo de aplicativos com o Flink 1.15. |
