A entrega de streams do Amazon Data Firehose para tabelas Apache Iceberg no Amazon S3 está em versão prévia e está sujeita a alterações.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Transforme dados de origem no Amazon Data Firehose
O Amazon Data Firehose pode invocar sua função Lambda para transformar os dados de origem recebidos e entregar os dados transformados aos destinos. Você pode ativar a transformação de dados do Amazon Data Firehose ao criar seu stream do Firehose.
Entenda o fluxo de transformação de dados
Quando você ativa a transformação de dados do Firehose, o Firehose armazena os dados recebidos em buffer. A dica de tamanho do buffer varia entre 0,2 MB e 3 MB. A dica padrão do tamanho do buffer do Lambda é de 1 MB para todos os destinos, exceto Splunk e Snowflake. Para Splunk e Snowflake, a dica de buffer padrão é 256 KB. A dica de intervalo de buffer do Lambda varia entre 0 e 900 segundos. A dica padrão de intervalo de buffer do Lambda é de sessenta segundos para todos os destinos, exceto o Snowflake. Para o Snowflake, o intervalo padrão de dica de buffer é de 30 segundos. Para ajustar o tamanho do buffer, defina o ProcessingConfigurationparâmetro do CreateDeliveryStreamou UpdateDestinationAPIcom o ProcessorParameterchamado e. BufferSizeInMBs IntervalInSeconds Em seguida, o Firehose invoca a função Lambda especificada de forma assíncrona com cada lote armazenado em buffer usando o modo de invocação síncrona. AWS Lambda Os dados transformados são enviados do Lambda para o Firehose. O Firehose então o envia para o destino quando o tamanho do buffer de destino especificado ou o intervalo de buffer é atingido, o que ocorrer primeiro.
Importante
O modo de invocação síncrona do Lambda tem um limite de tamanho de carga útil de 6 MB para ambas a solicitação e a resposta. Certifique-se de que o tamanho do armazenamento em buffer para envio da solicitação para a função seja menor que ou igual a 6 MB. Além disso, verifique se a resposta que sua função retorna não excede 6 MB.
Duração da invocação do Lambda
O Amazon Data Firehose suporta um tempo de invocação do Lambda de até 5 minutos. Se sua função do Lambda levar mais de 5 minutos para ser concluída, você receberá o seguinte erro: O Firehose encontrou erros de tempo limite ao chamar o Lambda. AWS O tempo limite máximo da função é de 5 minutos.
Para obter informações sobre o que o Amazon Data Firehose fará se esse erro ocorrer, consulte. Lidar com falhas na transformação de dados
