AWS Data Pipeline ya no está disponible para nuevos clientes. Clientes actuales de AWS Data Pipeline pueden seguir utilizando el servicio con normalidad. Más información
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Límites de AWS Data Pipeline
Para asegurarse de que haya capacidad para todos los usuarios, AWS Data Pipeline impone límites sobre los recursos que se pueden asignar y la frecuencia con la que es posible asignarlos.
Límites de la cuenta
Los siguientes límites se aplican a una única cuenta de AWS. Si necesita más capacidad, puede utilizar el formulario de solicitud del Centro de Amazon Web Services Support
| Atributo | Límite | Ajustable |
|---|---|---|
| Número de canalizaciones | 100 | Sí |
| Número de objetos por canalización | 100 | Sí |
| Número de instancias activas por objeto | 5 | Sí |
| Número de campos por objeto | 50 | No |
| Número de bytes UTF8 por nombre o identificador de campo | 256 | No |
| Número de butes UTF8 por campo | 10 240 | No |
| Número de bytes UTF8 por objeto | 15 360 (incluidos los nombres de campos) | No |
| Tasa de creación de una instancia a partir de un objeto | 1 por cada 5 minutos | No |
| Reintentos actividad de una canalización | 5 por tarea | No |
| Retraso mínimo entre reintentos | 2 minutos | No |
| Intervalo de programación mínimo | 15 minutos | No |
| Número máximo de acumulaciones en un solo objeto | 32 | No |
| Número máximo de instancias EC2 por objeto Ec2Resource | 1 | No |
Límites de llamadas a servicios web
AWS Data Pipeline limita la frecuencia con la que se puede llamar a la API de servicios web. Estos límites también se aplican a los agentes de AWS Data Pipeline que llaman a la API de servicios web en su nombre, como la consola, la CLI y Task Runner.
Los siguientes límites se aplican a una única cuenta de AWS. Esto significa que el uso total de la cuenta, incluido el de los usuarios de , no puede superar estos límites.
La frecuencia de ráfaga permite ahorrar llamadas a servicios web durante los períodos de inactividad y gastarlas en un breve período de tiempo. Por ejemplo, CreatePipeline tiene una frecuencia normal de una llamada cada cinco segundos. Si no llama al servicio durante 30 segundos, habrá ahorrado seis llamadas. A continuación, podría llamar al servicio web seis veces en un segundo. Dado que este valor está por debajo del límite de ráfaga y mantiene la media de llamadas dentro del límite de frecuencia normal, las llamadas no se ven limitadas.
Si supera el límite de frecuencia y el límite de ráfaga, la llamada al servicio web produce un error y devuelve una excepción de limitación controlada. La implementación predeterminada de un proceso de trabajo, Task Runner, reintenta automáticamente las llamadas al API que fallan con una excepción de limitación controlada. Task Runner tiene un retardo para que los intentos posteriores de llamar al API se produzcan a intervalos cada vez mayores. Si escribe un proceso de trabajo, le recomendamos que implemente un lógica de reintentos similar.
Estos límites se aplican a una única cuenta de AWS.
| API | Límite de frecuencia normal | Límite de ráfaga |
|---|---|---|
| ActivatePipeline | 1 llamada por segundo | 100 llamadas |
| CreatePipeline | 1 llamada por segundo | 100 llamadas |
| DeletePipeline | 1 llamada por segundo | 100 llamadas |
| DescribeObjects | 2 llamadas por segundo | 100 llamadas |
| DescribePipelines | 1 llamada por segundo | 100 llamadas |
| GetPipelineDefinition | 1 llamada por segundo | 100 llamadas |
| PollForTask | 2 llamadas por segundo | 100 llamadas |
| ListPipelines | 1 llamada por segundo | 100 llamadas |
| PutPipelineDefinition | 1 llamada por segundo | 100 llamadas |
| QueryObjects | 2 llamadas por segundo | 100 llamadas |
| ReportTaskProgress | 10 llamadas por segundo | 100 llamadas |
| SetTaskStatus | 10 llamadas por segundo | 100 llamadas |
| SetStatus | 1 llamada por segundo | 100 llamadas |
| ReportTaskRunnerHeartbeat | 1 llamada por segundo | 100 llamadas |
| ValidatePipelineDefinition | 1 llamada por segundo | 100 llamadas |
Consideraciones de escalado
AWS Data Pipeline se escala para adaptarse a un número elevado de tareas simultáneas, y es posible configurarlo para crear automáticamente los recursos necesarios para gestionar grandes cargas de trabajo. Usted mantiene el control de estos recursos que se crean automáticamente, y se tienen en cuenta para los límites de recursos de la cuenta de AWS. Por ejemplo, si configura AWS Data Pipeline para que cree automáticamente un clúster de Amazon EMR de 20 nodos para procesar datos y su cuenta de AWS tiene un límite de instancias EC2 establecido en 20, es posible que agote sin darse cuenta de sus recursos de reposición disponibles. Como resultado, tenga en cuenta estas restricciones de recursos en el diseño o aumente los límites de su cuenta en consonancia.
Si necesita más capacidad, puede utilizar el formulario de solicitud del Centro de Amazon Web Services Support
