O Amazon Data Firehose era conhecido anteriormente como Amazon Kinesis Data Firehose
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O que é o Amazon Data Firehose?
O Amazon Data Firehose é um serviço totalmente gerenciado para fornecer dados de streaming
Para obter mais informações sobre soluções de AWS big data, consulte Big Data on AWS
nota
Observe a mais recente solução AWS de dados de streaming para Amazon MSK
Aprenda os principais conceitos
Ao começar a usar o Amazon Data Firehose, você pode se beneficiar da compreensão dos seguintes conceitos:
- Stream Firehose
-
A entidade subjacente do Amazon Data Firehose. Você usa o Amazon Data Firehose criando um stream do Firehose e enviando dados para ele. Para obter mais informações, consulte Crie um stream do Firehose e Enviar dados para um stream do Firehose.
- registro
-
Os dados de interesse que seu produtor de dados envia para um stream do Firehose. Um registro pode ter, no máximo, 1000 KB.
- produtor de dados
-
Os produtores enviam discos para as transmissões do Firehose. Por exemplo, um servidor web que envia dados de log para um stream do Firehose é um produtor de dados. Você também pode configurar seu stream do Firehose para ler automaticamente os dados de um stream de dados existente do Kinesis e carregá-los nos destinos. Para ter mais informações, consulte Enviar dados para um stream do Firehose.
- tamanho e intervalo do buffer
-
O Amazon Data Firehose armazena os dados de streaming recebidos em um determinado tamanho ou por um determinado período de tempo antes de entregá-los aos destinos. Buffer Sizeestá em MBs e Buffer Interval está em segundos.
Entenda o fluxo de dados no Amazon Data Firehose
Para destinos do Amazon S3, os dados em streaming são entregues no bucket do S3. Se a transformação de dados estiver habilitada, você também poderá fazer backup dos dados da fonte em outro bucket do Amazon S3.
Para os destinos do Amazon Redshift, os dados em streaming são entregues primeiro no bucket do S3. Em seguida, o Amazon Data Firehose emite um comando do Amazon COPY Redshift para carregar dados do seu bucket do S3 para o seu cluster do Amazon Redshift. Se a transformação de dados estiver habilitada, você também poderá fazer backup dos dados da fonte em outro bucket do Amazon S3.
Para destinos OpenSearch de serviço, os dados de streaming são entregues ao seu cluster de OpenSearch serviços e, opcionalmente, podem ser copiados para seu bucket do S3 simultaneamente.
Para destinos do Splunk, os dados em streaming são entregues ao Splunk e eles podem ser submetidos a backup no bucket do S3 simultaneamente, se você desejar.