AWS Data Pipeline não está mais disponível para novos clientes. Clientes existentes da AWS Data Pipeline pode continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Limites do AWS Data Pipeline
Para garantir que haja capacidade para todos os usuários, o AWS Data Pipeline impõe limites para os recursos que você pode alocar e a taxa na qual você pode alocar recursos.
Limites da conta
Os seguintes limites aplicam-se a uma única conta da AWS. Se precisar de capacidade adicional, você pode usar o Formulário de solicitação da Central de suporte da Amazon Web Services
| Atributo | Limite | Ajustável |
|---|---|---|
| Número de pipelines | 100 | Sim |
| Número de objetos por pipeline | 100 | Sim |
| Número de instâncias ativas por objeto | 5 | Sim |
| Número de campos por objeto | 50 | Não |
| Número de UTF8 bytes por nome ou identificador | 256 | Não |
| Número de UTF8 bytes por campo | 10,240 | Não |
| Número de UTF8 bytes por objeto | 15.360 (incluindo nomes de campo) | Não |
| Índice de criação de uma instância de um objeto | 1 por 5 minutos | Não |
| Novas tentativas de uma atividade de pipeline | 5 por tarefa | Não |
| Intervalo mínimo entre novas tentativas | 2 minutos | Não |
| Intervalo máximo de programação | 15 minutos | Não |
| Número máximo de sumarizações em um único objeto | 32 | Não |
| Número máximo de instâncias do EC2 por objeto do Ec2Resource | 1 | Não |
Limites de chamada do serviço web
O AWS Data Pipeline limita a taxa na qual você pode chamar a API de serviço web. Esses limites também se aplicam a agentes do AWS Data Pipeline que chamam a API de serviço web em seu nome, como o console, a CLI e o Task Runner.
Os seguintes limites aplicam-se a uma única conta da AWS. Isso significa que o uso total na conta, incluindo aquele por usuários do , não pode exceder esses limites.
A taxa de intermitência permite que você acumule chamadas de serviço web durante períodos de inatividade e use todas elas em um curto período. Por exemplo, CreatePipeline tem uma taxa regular de uma chamada a cada cinco segundos. Se você não chamar o serviço por 30 segundos, terá seis chamadas salvas. Em seguida, você pode chamar o serviço da web seis vezes em um segundo. Como esse preço está abaixo do limite de intermitência médio e mantém suas chamadas no limite de taxa regular, suas chamadas não são suspensas.
Se você exceder o limite de taxa e o limite de intermitência, a chamada de serviço web falha e retorna uma exceção de controle de utilização. A implementação padrão de um operador, Task Runner, tentará executar automaticamente as chamadas de API que falham com uma exceção do controle de utilização. O Task Runner tem um recuo para que as tentativas subsequentes de chamada da API ocorram em intervalos cada vez mais longos. Se você gravar um operador, recomendamos que implemente uma lógica semelhante de novas tentativas de trabalho.
Esses limites são aplicados em relação a uma conta individual da AWS.
| API | Limite de taxa regular | Limite de intermitência |
|---|---|---|
| ActivatePipeline | 1 chamada por segundo | 100 chamadas |
| CreatePipeline | 1 chamada por segundo | 100 chamadas |
| DeletePipeline | 1 chamada por segundo | 100 chamadas |
| DescribeObjects | 2 chamadas por segundo | 100 chamadas |
| DescribePipelines | 1 chamada por segundo | 100 chamadas |
| GetPipelineDefinition | 1 chamada por segundo | 100 chamadas |
| PollForTask | 2 chamadas por segundo | 100 chamadas |
| ListPipelines | 1 chamada por segundo | 100 chamadas |
| PutPipelineDefinition | 1 chamada por segundo | 100 chamadas |
| QueryObjects | 2 chamadas por segundo | 100 chamadas |
| ReportTaskProgress | 10 chamadas por segundo | 100 chamadas |
| SetTaskStatus | 10 chamadas por segundo | 100 chamadas |
| SetStatus | 1 chamada por segundo | 100 chamadas |
| ReportTaskRunnerHeartbeat | 1 chamada por segundo | 100 chamadas |
| ValidatePipelineDefinition | 1 chamada por segundo | 100 chamadas |
Considerações sobre escalabilidade
O AWS Data Pipeline pode ser dimensionado para acomodar uma grande quantidade de tarefas simultâneas, e você pode configurá-lo para criar automaticamente os recursos necessários para lidar com grandes cargas de trabalho. Esses recursos criados automaticamente são controlados por você e contam para os limites de recursos da sua conta da AWS. Por exemplo, se você configurar o AWS Data Pipeline para criar um cluster do Amazon EMR de 20 nós para processar dados, e sua conta da AWS tiver um limite de 20 instâncias do EC2, você poderá esgotar de maneira não intencional os seus recursos de alocação disponíveis. Por isso, considere essas restrições de recursos no seu projeto ou aumente os limites da sua conta.
Se precisar de capacidade adicional, você pode usar o Formulário de solicitação da Central de suporte da Amazon Web Services
