AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
AWS Data Pipeline Limites
Para garantir que haja capacidade para todos os usuários, AWS Data Pipeline impõe limites aos recursos que você pode alocar e à taxa na qual você pode alocar recursos.
Limites da conta
Os limites a seguir se aplicam a uma única AWS conta. Se precisar de capacidade adicional, você pode usar o Formulário de solicitação da Central de suporte da Amazon Web Services
| Atributo | Limite | Ajustável |
|---|---|---|
| Número de pipelines | 100 | Sim |
| Número de objetos por pipeline | 100 | Sim |
| Número de instâncias ativas por objeto | 5 | Sim |
| Número de campos por objeto | 50 | Não |
| Número de UTF8 bytes por nome de campo ou identificador | 256 | Não |
| Número de UTF8 bytes por campo | 10,240 | Não |
| Número de UTF8 bytes por objeto | 15.360 (incluindo nomes de campo) | Não |
| Índice de criação de uma instância de um objeto | 1 por 5 minutos | Não |
| Novas tentativas de uma atividade de pipeline | 5 por tarefa | Não |
| Intervalo mínimo entre novas tentativas | 2 minutos | Não |
| Intervalo máximo de programação | 15 minutos | Não |
| Número máximo de sumarizações em um único objeto | 32 | Não |
| Número máximo de EC2 instâncias por objeto Ec2Resource | 1 | Não |
Limites de chamada do serviço web
AWS Data Pipeline limita a taxa na qual você pode chamar a API do serviço web. Esses limites também se aplicam aos AWS Data Pipeline agentes que chamam a API do serviço web em seu nome, como o console, a CLI e o Task Runner.
Os limites a seguir se aplicam a uma única AWS conta. Isso significa que o uso total na conta, incluindo aquele por usuários do , não pode exceder esses limites.
A taxa de intermitência permite que você acumule chamadas de serviço web durante períodos de inatividade e use todas elas em um curto período. Por exemplo, CreatePipeline tem uma taxa regular de uma chamada a cada cinco segundos. Se você não chamar o serviço por 30 segundos, terá seis chamadas salvas. Em seguida, você pode chamar o serviço da web seis vezes em um segundo. Como esse preço está abaixo do limite de intermitência médio e mantém suas chamadas no limite de taxa regular, suas chamadas não são suspensas.
Se você exceder o limite de taxa e o limite de intermitência, a chamada de serviço web falha e retorna uma exceção de controle de utilização. A implementação padrão de um operador, Task Runner, tentará executar automaticamente as chamadas de API que falham com uma exceção do controle de utilização. O Task Runner tem um recuo para que as tentativas subsequentes de chamada da API ocorram em intervalos cada vez mais longos. Se você gravar um operador, recomendamos que implemente uma lógica semelhante de novas tentativas de trabalho.
Esses limites são aplicados a uma AWS conta individual.
| API | Limite de taxa regular | Limite de intermitência |
|---|---|---|
| ActivatePipeline | 1 chamada por segundo | 100 chamadas |
| CreatePipeline | 1 chamada por segundo | 100 chamadas |
| DeletePipeline | 1 chamada por segundo | 100 chamadas |
| DescribeObjects | 2 chamadas por segundo | 100 chamadas |
| DescribePipelines | 1 chamada por segundo | 100 chamadas |
| GetPipelineDefinition | 1 chamada por segundo | 100 chamadas |
| PollForTask | 2 chamadas por segundo | 100 chamadas |
| ListPipelines | 1 chamada por segundo | 100 chamadas |
| PutPipelineDefinition | 1 chamada por segundo | 100 chamadas |
| QueryObjects | 2 chamadas por segundo | 100 chamadas |
| ReportTaskProgress | 10 chamadas por segundo | 100 chamadas |
| SetTaskStatus | 10 chamadas por segundo | 100 chamadas |
| SetStatus | 1 chamada por segundo | 100 chamadas |
| ReportTaskRunnerHeartbeat | 1 chamada por segundo | 100 chamadas |
| ValidatePipelineDefinition | 1 chamada por segundo | 100 chamadas |
Considerações sobre escalabilidade
AWS Data Pipeline é dimensionado para acomodar um grande número de tarefas simultâneas e você pode configurá-lo para criar automaticamente os recursos necessários para lidar com grandes cargas de trabalho. Esses recursos criados automaticamente são controlados por você e contam para os limites de recursos da sua conta da AWS . Por exemplo, se você configurar AWS Data Pipeline para criar automaticamente um cluster Amazon EMR de 20 nós para processar dados e AWS sua conta tiver EC2 um limite de instância definido como 20, você poderá inadvertidamente esgotar seus recursos de preenchimento disponíveis. Por isso, considere essas restrições de recursos no seu projeto ou aumente os limites da sua conta.
Se precisar de capacidade adicional, você pode usar o Formulário de solicitação da Central de suporte da Amazon Web Services
