Testes do fluxo do Firehose com dados de amostra - Amazon Data Firehose
Pré-requisitosTeste com o Amazon S3Teste com o Amazon RedshiftTeste com o OpenSearch ServiceTeste com o SplunkTeste com tabelas do Apache Iceberg

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Testes do fluxo do Firehose com dados de amostra

É possível usar o AWS Management Console para incluir dados simulados do índice de ações. seu O console executa um script no navegador para colocar registros de exemplo no seu fluxo do Firehose. Isso permite que você teste a configuração do seu fluxo do Firehose sem precisar gerar seus próprios dados de teste.

Este é um exemplo dos dados simulados:

{"TICKER_SYMBOL":"QXZ","SECTOR":"HEALTHCARE","CHANGE":-0.05,"PRICE":84.51}

Observe que os custos padrão do Amazon Data Firehose se aplicam quando seu fluxo do Firehose transmite os dados, mas não há custos quando os dados são gerados. Para interromper essas cobranças, é possível parar o fluxo de exemplo no console a qualquer momento.

Pré-requisitos

Antes de começar, crie um fluxo do Firehose. Para ter mais informações, consulte Tutorial: Criação de um fluxo do Firehose a partir do console.

Teste com o Amazon S3

Execute o procedimento a seguir para testar o fluxo do Firehose com o Amazon Simple Storage Service (Amazon S3) como destino.

Para testar um fluxo do Firehose usando o Amazon S3

  1. Abra o console do Firehose em https://console.aws.amazon.com/firehose/.

  2. Escolha um fluxo ativo do Firehose. O fluxo do Firehose precisa estar no status Ativo para que você possa começar a enviar dados.

  3. Em Test with demo data, escolha Start sending demo data para gerar dados de exemplo do índice de ações.

  4. Siga as instruções na tela para verificar se os dados estão sendo entregues ao bucket do S3. Observe que pode demorar alguns minutos para que os novos objetos apareçam no bucket, com base na configuração de armazenamento em buffer do bucket.

  5. Quando o teste for concluído, escolha Stop sending demo data para cessar a cobrança de uso.

Teste com o Amazon Redshift

Execute o procedimento a seguir para testar seu fluxo do Firehose com o Amazon Redshift como destino.

Para testar um fluxo do Firehose usando o Amazon Redshift

  1. Seu fluxo do Firehose espera que uma tabela esteja presente no cluster do Amazon Redshift. Conecte-se ao Amazon Redshift por meio de uma interface SQL e execute a instrução a seguir para criar uma tabela que aceite a amostra de dados.

    create table firehose_test_table
(
	TICKER_SYMBOL varchar(4),
	SECTOR varchar(16),
	CHANGE float,
	PRICE float
);

  2. Abra o console do Firehose em https://console.aws.amazon.com/firehose/.

  3. Escolha um fluxo ativo do Firehose. O fluxo do Firehose precisa estar no status Ativo para que você possa começar a enviar dados.

  4. Edite os detalhes do destino do seu fluxo do Firehose para apontar para a tabela firehose_test_table recém-criada.

  5. Em Test with demo data, escolha Start sending demo data para gerar dados de exemplo do índice de ações.

  6. Siga as instruções na tela para verificar se os dados estão sendo entregues na tabela. Observe que pode demorar alguns minutos para que novas linhas apareçam na tabela, com base na configuração de armazenamento em buffer.

  7. Quando o teste for concluído, escolha Stop sending demo data para cessar a cobrança de uso.

  8. Edite os detalhes do destino do seu fluxo do Firehose para apontar para uma outra tabela.

  9. (Opcional) Exclua a tabela firehose_test_table.

Teste com o OpenSearch Service

Execute o procedimento a seguir para testar o fluxo do Firehose com o Amazon OpenSearch Service como destino.

Para testar um fluxo do Firehose usando o OpenSearch Service

  1. Abra o console do Firehose em https://console.aws.amazon.com/firehose/.

  2. Escolha um fluxo ativo do Firehose. O fluxo do Firehose precisa estar no status Ativo para que você possa começar a enviar dados.

  3. Em Test with demo data, escolha Start sending demo data para gerar dados de exemplo do índice de ações.

  4. Siga as instruções na tela para verificar se os dados estão sendo entregues ao domínio do OpenSearch Service. Para obter mais informações, consulte Searching Documents in an OpenSearch Service Domain no Amazon OpenSearch Service Developer Guide.

  5. Quando o teste for concluído, escolha Stop sending demo data para cessar a cobrança de uso.

Teste com o Splunk

Execute o procedimento a seguir para testar o fluxo do Firehose com o Splunk como destino.

Para testar um fluxo do Firehose usando o Splunk

  1. Abra o console do Firehose em https://console.aws.amazon.com/firehose/.

  2. Escolha um fluxo ativo do Firehose. O fluxo do Firehose precisa estar no status Ativo para que você possa começar a enviar dados.

  3. Em Test with demo data, escolha Start sending demo data para gerar dados de exemplo do índice de ações.

  4. Verifique se os dados estão sendo entregues para o seu índice do Splunk. Exemplo de termos de pesquisa no Splunk são sourcetype="aws:firehose:json" e index="name-of-your-splunk-index". Para obter mais informações sobre como pesquisar eventos no Splunk, consulte Pesquisar manual na documentação do Splunk.

    Se os dados de teste não aparecerem no índice do Splunk, verifique se há eventos com falha no bucket do Amazon S3. Consulte também Dados não entregues ao Splunk.

  5. Quando concluir o teste, escolha Stop sending demo data para cessar a cobrança de uso.

Teste com tabelas do Apache Iceberg

Execute o procedimento a seguir para testar seu fluxo do Firehose com o tabelas do Apache Iceberg como destino.

Para testar um fluxo do Firehose usando tabelas do Apache Iceberg

  1. Abra o console do Firehose em https://console.aws.amazon.com/firehose/.

  2. Escolha um fluxo ativo do Firehose. O fluxo do Firehose precisa estar no status Ativo para que você possa começar a enviar dados.

  3. Em Test with demo data, escolha Start sending demo data para gerar dados de exemplo do índice de ações.

  4. Siga as instruções na tela para verificar se os dados estão sendo entregues às suas tabelas do Apache Iceberg. Observe que pode demorar alguns minutos para que os novos objetos apareçam no seu bucket, com base na configuração de armazenamento em buffer.

  5. Se os dados de teste não aparecerem nas suas tabelas do Apache Iceberg, verifique se há eventos com falha no bucket do Amazon S3.

  6. Quando concluir o teste, escolha Stop sending demo data para cessar a cobrança de uso.