As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O Amazon Data Firehose armazena em buffer os dados de streaming recebidos até um determinado tamanho e por um determinado período antes de entregá-los aos destinos especificados. É possível configurar o tamanho do buffer e o intervalo do buffer ao criar novos fluxos do Firehose ou atualizar o tamanho do buffer e o intervalo do buffer nos fluxos do Firehose existentes. O tamanho do buffer é medido em MBs e o intervalo do buffer é medido em segundos.
nota
O atributo de armazenamento em buffer zero não está disponível para o particionamento dinâmico.
Quando o particionamento dinâmico está habilitado, o Firehose armazena internamente os registros que pertençam a uma determinada partição com base na sugestão de buffer configurada (tamanho e tempo) antes de entregar esses registros ao bucket do Amazon S3. Para entregar objetos com o tamanho máximo, o Firehose usa o armazenamento em buffer de vários estágios internamente. Portanto, o end-to-end atraso de um lote de registros pode ser 1,5 vezes o tempo de dica de buffer configurado. Isso afeta a atualização dos dados de um fluxo do Firehose.
A quantidade de partições ativas é o número total de partições ativas dentro do buffer de entrega. Por exemplo, se a consulta de particionamento dinâmico monta 3 partições por segundo e você tiver uma configuração de sugestão de buffer que aciona a entrega a cada 60 segundos, então, em média, você teria 180 partições ativas. Se o Firehose não puder entregar os dados em uma partição para um destino, essa partição será contada como ativa no buffer de entrega até que possa ser entregue.
Uma nova partição é criada quando um prefixo do S3 é avaliado como um novo valor com base nos campos de dados do registro e nas expressões do prefixo do S3. Um novo buffer é criado para cada partição ativa. Cada registro subsequente com o mesmo prefixo S3 avaliado é entregue a esse buffer.
Quando o buffer chega ao seu limite de tamanho ou ao fim de seu intervalo de tempo, o Firehose cria um objeto com os dados do buffer e o entrega ao prefixo especificado do Amazon S3. Depois que o objeto é entregue, o buffer da partição e a própria partição são excluídos e removidos da contagem de partições ativas.
O Firehose entrega cada dado do buffer como um único objeto quando o tamanho ou o intervalo do buffer são atingidos para cada partição separadamente. Quando o número de partições ativas atinge o limite de 500 por stream do Firehose, o restante dos registros no stream do Firehose é entregue ao prefixo do bucket de erro do S3 especificado (). activePartitionExceeded É possível usar o formulário de limites do Amazon Data Firehose
