Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon Data Firehose almacena en búfer una cantidad determinada de datos de streaming de entrada durante un periodo determinado antes de entregarlos en los destinos especificados. Puede configurar el tamaño y el intervalo del búfer al crear nuevos flujos de Firehose o actualizar el tamaño y el intervalo del búfer en sus flujos de Firehose existentes. El tamaño de un búfer se mide en MB y el intervalo de un búfer, en segundos.
nota
La característica de almacenamiento en búfer cero no está disponible para el particionamiento dinámico.
Cuando el particionamiento dinámico está habilitado, Firehose almacena internamente en búfer los registros que pertenecen a una partición determinada en función de la sugerencia de almacenamiento en búfer configurada (tamaño y tiempo) antes de enviarlos a su bucket de Amazon S3. Para entregar objetos con el tamaño máximo, Firehose utiliza internamente el almacenamiento en búfer de varias etapas. Por lo tanto, el retraso de principio a fin de un lote de registros puede ser 1,5 veces mayor que el tiempo de sugerencia de almacenamiento en búfer configurado. Esto afecta a la actualización de los datos de un flujo de Firehose.
El recuento de particiones activas es el número total de particiones activas en el búfer de entrega. Por ejemplo, si la consulta de particionamiento dinámico crea 3 particiones por segundo y tiene una configuración de sugerencias de búfer que activa la entrega cada 60 segundos, tendrá un promedio de 180 particiones activas. Si Firehose no puede entregar los datos de una partición en un destino, esta partición se cuenta como activa en el búfer de entrega hasta que se pueda entregar.
Se crea una nueva partición cuando se evalúa un prefijo de S3 para obtener un nuevo valor en función de los campos de datos de registro y las expresiones de prefijos de S3. Se crea un búfer nuevo para cada partición activa. Todos los registros posteriores con el mismo prefijo de S3 evaluado se envían a ese búfer.
Una vez que el búfer alcanza el límite de tamaño del búfer o el intervalo de tiempo del búfer, Firehose crea un objeto con los datos del búfer y lo entrega en el prefijo de Amazon S3 especificado. Una vez entregado el objeto, el búfer de esa partición y la propia partición se eliminan y se quitan del recuento de particiones activas.
Firehose entrega los datos de cada búfer como un único objeto una vez que se cumple el tamaño o el intervalo del búfer para cada partición por separado. Cuando el número de particiones activas alcanza el límite de 500 por flujo de Firehose, el resto de los registros del flujo de Firehose se entregan en el prefijo del bucket de errores de S3 especificado (activePartitionExceeded). Puede utilizar el formulario de límites de Amazon Data Firehose