As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O particionamento dinâmico permite particionar continuamente os dados de streaming no Firehose usando chaves dentro dos dados (por exemplo, customer_id
ou transaction_id
) e depois entregando os dados agrupados por essas chaves nos prefixos correspondentes do Amazon Simple Storage Service (Amazon S3). Isso facilita a execução de análises com eficiência de custos e alta performance em dados em streaming no Amazon S3 usando vários serviços, como o Amazon Athena, o Amazon EMR, o Amazon Redshift Spectrum e o Amazon QuickSight. Além disso, o AWS Glue pode realizar trabalhos mais sofisticados de extração, transformação e carregamento (ETL) depois que os dados em streaming particionados dinamicamente são entregues ao Amazon S3, nos casos de uso em que é necessário processamento adicional.
Particionar os dados minimiza a quantidade de dados digitalizados, otimiza a performance e reduz os custos de consultas de análise no Amazon S3. Também aumenta o acesso granular aos dados. Os fluxos do Firehose são tradicionalmente usados para capturar e carregar dados no Amazon S3. Para particionar um conjunto de dados em streaming para análises baseadas no Amazon S3, você precisaria executar aplicações de particionamento entre buckets do Amazon S3 antes de disponibilizar os dados para análise, o que pode se tornar complicado ou caro.
Com o particionamento dinâmico, o Firehose agrupa continuamente os dados em trânsito usando chaves de dados definidas de forma dinâmica ou estática e entrega os dados a prefixos individuais do Amazon S3 por chave. Isso reduz o tempo de obtenção de insights em minutos ou horas. Também reduz os custos e simplifica as arquiteturas.
Tópicos
- Habilitação do particionamento dinâmico no Amazon Data Firehose
- Noções básicas de chaves de particionamento
- Uso do prefixo do bucket do Amazon S3 para entregar dados
- Aplicação de particionamento dinâmico de dados agregados
- Solução de problemas de particionamento dinâmico
- Dados de buffer para particionamento dinâmico