La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Pausa y reanuda la entrega de datos
Después de configurar una transmisión Firehose, los datos disponibles en la fuente de transmisión se envían continuamente al destino. Si se produce alguna situación en la que el destino del flujo no esté disponible temporalmente (por ejemplo, durante las operaciones de mantenimiento planificadas), puede que desee pausar temporalmente la entrega de datos y reanudarla cuando el destino vuelva a estar disponible.
importante
Si utiliza el enfoque que se describe a continuación para pausar y reanudar una transmisión, después de reanudarla, verá que se envían pocos registros al depósito de errores de Amazon S3, mientras que el resto de la transmisión continúa enviándose al destino. Esta es una limitación conocida de este enfoque y se debe a que se registra como fallido un número reducido de registros que no se podían entregar previamente al destino tras varios reintentos.
Pausa una transmisión de Firehose
Para pausar la entrega de transmisiones en Firehose, primero elimine los permisos para que Firehose escriba en la ubicación de respaldo de S3 en caso de entregas fallidas. Por ejemplo, si quieres pausar la transmisión de Firehose con un OpenSearch destino, puedes hacerlo actualizando los permisos. Para obtener más información, consulte Otorgar a Firehose acceso a un destino de OpenSearch servicio público.
Elimine el permiso "Effect": "Allow" de la acción s3:PutObject y agregue de forma explícita una declaración que aplique el permiso Effect": "Deny" en la acción s3:PutObject para el bucket de S3 que se utiliza para hacer copias de seguridad de las entregas con errores. A continuación, desactiva el destino de la transmisión (por ejemplo, desactiva el OpenSearch dominio de destino) o quita los permisos para que Firehose escriba en el destino. Para actualizar los permisos de otros destinos, consulte la sección correspondiente a su destino en Controlling Access with Amazon Data Firehose. Tras completar estas dos acciones, Firehose dejará de emitir transmisiones y podrás monitorizarlo mediante CloudWatch las métricas de Firehose.
importante
Al pausar la entrega de transmisiones en Firehose, debe asegurarse de que la fuente de la transmisión (por ejemplo, en Kinesis Data Streams o en Managed Service for Kafka) esté configurada para conservar los datos hasta que se reanude la entrega de la transmisión y los datos se entreguen al destino. Si la fuente es DirectPUT, Firehose conservará los datos durante 24 horas. Se pueden producir pérdidas de datos si no se reanuda el flujo y no se entregan los datos antes de que venza el periodo de retención de datos.
Reanudar una transmisión de Firehose
Para reanudar la entrega, primero revierta el cambio realizado anteriormente al destino de la transmisión activando el destino y asegurándose de que Firehose tenga los permisos para entregar la transmisión al destino. A continuación, revierta los cambios llevados a cabo anteriormente en los permisos aplicados al bucket de S3 para hacer copias de seguridad de las entregas con errores. Es decir, aplique el permiso "Effect": "Allow" a la acción s3:PutObject y elimine el permiso "Effect": "Deny" de la acción s3:PutObject para el bucket de S3 que se utiliza para hacer copias de seguridad de las entregas con errores. Por último, monitorea el uso de CloudWatch métricas de Firehose para confirmar que la transmisión se entrega al destino. Para ver y solucionar los errores, utiliza la supervisión de Amazon CloudWatch Logs para Firehose.
