Usar distribuição avançada nas tarefas de streaming do Kinesis - AWS Glue

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usar distribuição avançada nas tarefas de streaming do Kinesis

Um consumidor de distribuição avançada pode receber registros de um fluxo do Kinesis com um throughput dedicado que pode ser maior que o dos consumidores comuns. Isso é feito otimizando o protocolo de transferência usado para fornecer dados a um consumidor do Kinesis, como o seu trabalho. Para obter mais informações sobre distribuição avançada do Kinesis, consulte a documentação do Kinesis.

No modo de distribuição avançada, as opções de conexão maxRecordPerRead e idleTimeBetweenReadsInMs não se aplicam mais, pois esses parâmetros não são configuráveis quando se usa o fan-out aprimorado. As opções de configuração para novas tentativas funcionam conforme descrito.

Use os procedimentos a seguir para habilitar e desabilitar a distribuição avançada para seu trabalho de streaming. Você deve registrar um consumidor de fluxo para cada trabalho que consuma dados do fluxo.

Para permitir um maior consumo de distribuição avançada no trabalho:

  1. Registre um consumidor de fluxo para o trabalho usando a API do Kinesis. Siga as instruções para register a consumer with enhanced fan-out using the Kinesis Data Streams API na documentação do Kinesis. Você só precisará seguir a primeira etapa: chamar RegisterStreamConsumer. Sua solicitação deve retornar um ARN, consumerARN.

  2. Defina a opção de conexão fanoutConsumerARN como consumerARN nos argumentos do método de conexão.

  3. Reinicie seu trabalho.

Para desabilitar o consumo de distribuição avançada no trabalho:

  1. Remova a opção de conexão fanoutConsumerARN da sua chamada de método.

  2. Reinicie seu trabalho.

  3. Siga as instruções para deregister a consumer na documentação do Kinesis. Essas instruções se aplicam ao console, mas também podem ser obtidas por meio da API Kinesis. Para obter mais informações sobre o cancelamento do registro de consumidores de fluxo por meio da API do Kinesis, consulte DeregisterStreamConsumer na documentação do Kinesis.