Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
En esta sección, se describen las cuotas actuales (anteriormente se denominaban límites) de Amazon Data Firehose. Cada una de las cuotas se aplica a una sola región, a no ser que se especifique otra cosa.
La consola Service Quotas es una ubicación central en la que puede ver y administrar las cuotas de AWS los servicios y solicitar un aumento de cuota para muchos de los recursos que utiliza. Utilice la información sobre cuotas que le proporcionamos para administrar su AWS infraestructura. Planifique la solicitud del aumento de las cuotas antes del momento en que lo necesite.
Para obtener más información, consulte Puntos de conexión y cuotas de Amazon Data Firehose en Referencia general de Amazon Web Services.
En la siguiente sección, se muestra que Amazon Data Firehose tiene la siguiente cuota.
-
Con Amazon MSK como fuente de la transmisión de Firehose, cada transmisión de Firehose tiene una cuota predeterminada de 10 MB/s de rendimiento de lectura por partición y un tamaño de registro máximo de 10 MB. Puede utilizar el Aumento de cuota del servicio
para solicitar un aumento de la cuota predeterminada de 10 MB/s de rendimiento de lectura por partición. -
Con Amazon MSK como fuente de la transmisión Firehose, hay un tamaño de registro máximo de 6 MB si AWS Lambda está habilitada y un tamaño de registro máximo de 10 MB si Lambda está deshabilitada. AWS Lambda limita su registro entrante a 6 MB y Amazon Data Firehose reenvía los registros de más de 6 MB a un bucket de error de S3. Si Lambda está deshabilitado, Firehose limita su registro de entrada a 10 MB. Si Amazon Data Firehose recibe un tamaño de registro de Amazon MSK superior a 10 MB, Amazon Data Firehose envía este registro al depósito de errores de S3 y emite las métricas de Cloudwatch a su cuenta. Para obtener más información sobre los límites de AWS Lambda, consulte: https://docs.aws.amazon.com/lambda/ latest/dg/gettingstarted -limits.html.
-
Cuando se habilita el particionamiento dinámico en un flujo de Firehose, hay una cuota predeterminada de 500 particiones activas que se pueden crear para ese flujo de Firehose. El recuento de particiones activas es el número total de particiones activas en el búfer de entrega. Por ejemplo, si la consulta de particionamiento dinámico crea 3 particiones por segundo y tiene una configuración de sugerencias de búfer que activa la entrega cada 60 segundos, tendrá un promedio de 180 particiones activas. Una vez que los datos se entregan en una partición, dicha partición deja de estar activa. Puede utilizar el formulario de límites de Amazon Data Firehose
para solicitar un aumento de esta cuota hasta un máximo de 5000 particiones activas por flujo de Firehose. Si necesita más particiones, puede crear más flujos de Firehose y distribuir las particiones activas entre ellos. -
Cuando se habilita el particionamiento dinámico en un flujo de Firehose, se admite un rendimiento máximo de 1 GB por segundo para cada partición activa.
Cada cuenta tendrá la siguiente cuota para el número de flujos de Firehose por región:
Este de EE. UU. (Norte de Virginia), Este de EE. UU. (Ohio), Oeste de EE. UU. (Oregón), Europa (Irlanda), Asia-Pacífico (Tokio): 5000 flujos de Firehose
Europa (Fráncfort), Europa (Londres), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Seúl), Asia Pacífico (Bombay) AWS GovCloud , (EEUU-Oeste), Canadá (Oeste), Canadá (Centro): 2000 arroyos Firehose
Europa (París), Europa (Milán), Europa (Estocolmo), Asia Pacífico (Hong Kong), Asia Pacífico (Osaka), Sudamérica (São Paulo), China (Ningxia), China (Pekín), Oriente Medio (Baréin), (EEUU-Este), África AWS GovCloud (Ciudad del Cabo): 500 arroyos Firehose
Europa (Zúrich), Europa (España), Asia Pacífico (Hyderabad), Asia Pacífico (Yakarta), Asia Pacífico (Melbourne), Oriente Medio (), Israel (Tel AvivUAE), Canadá occidental (Calgary), Canadá (Central), Asia Pacífico (Malasia): 100 arroyos Firehose
Si superas este número, una llamada a este número supone una excepción CreateDeliveryStream.
LimitExceededException
Para aumentar esta cuota, puede utilizar Service Quotassi está disponible en su región. Para obtener más información acerca de cómo usar Service Quotas, consulte Requesting a Quota Increase. Si Service Quotas no está disponible en su región, puede utilizar el formulario de límites de Amazon Data Firehose para solicitar un aumento.
-
Cuando Direct PUT se configura como fuente de datos, cada transmisión de Firehose proporciona la siguiente cuota combinada de solicitudes PutRecordy PutRecordBatchcuotas:
-
Para EE. UU. Este (Norte de Virginia), EE. UU. Oeste (Oregón) y Europa (Irlanda): records/second, 2,000 requests/second, and 5 MiB/second 500 000.
-
Para EE. UU. Este (Ohio), EE. UU. Oeste AWS GovCloud (Norte de California), AWS GovCloud (EE. UU. Este), Asia Pacífico (Hong Kong), Asia Pacífico (Bombay), Asia Pacífico (Seúl), Asia Pacífico (Singapur), China (Beijing), China (Ningxia), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (Central), Canadá Oeste (Calgary), Europa (Fráncfort), Europa (Londres), Europa (París), Europa (Estocolmo), Oriente Medio (Baréin), Sudamérica (São Paulo), África (Ciudad del Cabo), Asia Pacífico (Malasia) y Europa (Milán): 100 000. records/second, 1,000 requests/second, and 1 MiB/second
Si una PUT transmisión directa sufre una limitación debido a volúmenes de ingesta de datos más altos que superan la capacidad de procesamiento de una transmisión Firehose, Amazon Data Firehose aumenta automáticamente el límite de rendimiento de la transmisión hasta que se contenga la limitación. Dependiendo del aumento del rendimiento y la aceleración, Firehose puede tardar más en aumentar el rendimiento de una transmisión hasta los niveles deseados. Por este motivo, siga intentando volver a intentar los registros de ingesta de datos fallidos. Si espera que el volumen de datos aumente en ráfagas grandes y repentinas, o si su nueva transmisión necesita un rendimiento superior al límite de rendimiento predeterminado, solicite aumentar el límite de rendimiento.
Para solicitar un aumento de la cuota, utilice el formulario de límites de Amazon Data Firehose
. Las tres cuotas escalan proporcionalmente. Por ejemplo, si aumentas la cuota de rendimiento en EE.UU. Este (Norte de Virginia), EE.UU. Oeste (Oregón) o Europa (Irlanda) a 10. MiB/second, the other two quota increase to 4,000 requests/second and 1,000,000 records/second nota
No utilices límites ni cuotas a nivel de recursos como forma de controlar el uso del servicio.
importante
Si la cuota incrementada es muy superior al tráfico en ejecución, la entrega a los destinos se produce en lotes pequeños. Esto resulta poco eficiente y puede provocar costos superiores en los servicios de destino. Asegúrese de incrementar la cuota actual al nivel necesario para satisfacer solo el tráfico en ejecución, e increméntela más si el tráfico aumenta.
importante
Tenga en cuenta que los registros de datos más pequeños pueden generar costos más altos. Los precios de ingesta de Firehose
se basan en el número de registros de datos que envíe al servicio, multiplicado por el tamaño de cada registro redondeado al alza a los 5 KB (5120 bytes) más cercanos. Por lo tanto, para el mismo volumen de datos de entrada (bytes), si hay un número mayor de registros de entrada, el costo incurrido será mayor. Por ejemplo, si el volumen total de datos de entrada es de 5 MiB, enviar 5 MiB de datos de más de 5000 registros cuesta más que enviar la misma cantidad de datos con 1000 registros. Para obtener más información, consulte Amazon Data Firehose en la calculadora de AWS . nota
Cuando Kinesis Data Streams está configurado como origen de datos, esta cuota no se aplica y Amazon Data Firehose escala o reduce verticalmente sin límite.
-
-
Cada Firehose Stream almacena los registros de datos durante un máximo de 24 horas en caso de que el destino de entrega no esté disponible y la fuente sí lo esté. DirectPut Si el origen es Kinesis Data Streams KDS () y el destino no está disponible, los datos se conservarán en función de KDS su configuración.
-
El tamaño máximo de un registro enviado a Amazon Data Firehose antes de codificarse en base64 es de 1000 KiB.
-
La PutRecordBatchoperación puede tomar hasta 500 registros por llamada o 4 MiB por llamada, lo que sea menor. Esta cuota no se puede cambiar.
-
Cada una de las siguientes operaciones puede proporcionar hasta cinco invocaciones por segundo, que es un límite máximo.
-
Las sugerencias de intervalo del búfer oscilan entre 60 y 900 segundos.
-
Para la entrega desde Amazon Data Firehose en Amazon Redshift, solo se admiten clústeres de Amazon Redshift de acceso público.
-
El intervalo de duración de los reintentos es de 0 a 7200 segundos para Amazon Redshift y Service Delivery. OpenSearch
-
Firehose admite las versiones de Elasticsearch 1.5, 2.3, 5.1, 5.3, 5.5, 5.6, así como todas las versiones 6.*, 7.* y 8.*. Firehose es compatible con Amazon OpenSearch Service desde la versión 2.x hasta la 2.11.
-
Cuando el destino es Amazon S3, Amazon Redshift o OpenSearch Service, Amazon Data Firehose permite hasta 5 invocaciones Lambda pendientes por fragmento. En Splunk, la cuota es de 10 invocaciones de Lambda pendientes por partición.
-
Puedes usar un tipo CMK de este tipo
CUSTOMER_MANAGED_CMK
para cifrar hasta 500 transmisiones de Firehose.