AWS Data Pipeline non è più disponibile per i nuovi clienti. Clienti esistenti di AWS Data Pipeline possono continuare a utilizzare il servizio normalmente. Ulteriori informazioni
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Limiti per AWS Data Pipeline
Per garantire la capacità per tutti gli utenti, AWS Data Pipeline impone limitazioni sulle risorse da allocare e la frequenza con cui è possibile allocare tali risorse.
Limiti dell'account
I seguenti limiti si applicano a un solo account AWS. Se hai bisogno di capacità aggiuntiva, puoi utilizzare il modulo di richiesta del Centro Support Amazon Web Services
| Attributo | Limite | Adattabile |
|---|---|---|
| Numero di pipeline | 100 | Sì |
| Numero di oggetti per pipeline | 100 | Sì |
| Numero di istanze attive per oggetto | 5 | Sì |
| Numero di campi per oggetto | 50 | No |
| Numero di byte UTF8 per nome campo o identificatore | 256 | No |
| Numero di byte UTF8 per campo | 10,240 | No |
| Numero di byte UTF8 per oggetto | 15.360 (inclusi i nomi campo) | No |
| Velocità di creazione di un'istanza da un oggetto | 1 ogni 5 minuti | No |
| Nuovi tentativi per un'attività di pipeline | 5 per attività | No |
| Intervallo minimo tra i tentativi | 2 minuti | No |
| Intervallo di pianificazione minimo | 15 minuti | No |
| Numero massimo di roll-up in un singolo oggetto | 32 | No |
| Numero massimo di istanze EC2 per oggetto Ec2Resource | 1 | No |
Limiti chiamata del servizio Web
AWS Data Pipeline limita la frequenza con cui è possibile effettuare una chiamata alle API del servizio Web. Questi limiti si applicano anche agliAWS Data Pipeline agenti che chiamano l'API del servizio Web per tuo conto, come la console, la CLI e Task Runner.
I seguenti limiti si applicano a un solo account AWS. Questo significa che l'utilizzo totale dell'account, incluso quello degli utenti , non può superare tali limiti.
La velocità di burst consente di risparmiare le chiamate del servizio Web durante i periodi di inattività e impiegarle tutte in un breve periodo di tempo. Ad esempio, CreatePipeline ha una frequenza regolare di una chiamata ogni cinque secondi. Se non chiami il servizio per 30 secondi, hai sei chiamate salvate. È quindi possibile chiamare il servizio Web sei volte in un secondo. Dal momento che questo numero è al di sotto del limite di aumento delle prestazioni e mantiene il limite di chiamate medio alla tariffa ordinaria, le chiamate non vengono limitate.
Se si supera il limite di frequenza e il limite di aumento delle prestazioni, la chiamata al servizio Web non va a buon fine e restituisce un'eccezione di throttling. L'implementazione predefinita di un worker, Task Runner, riprova automaticamente le chiamate API che falliscono con un'eccezione di limitazione. Task Runner dispone di un backoff in modo che i successivi tentativi di chiamata all'API avvengano a intervalli sempre più lunghi. Se si scrive un lavoratore, consigliamo di implementare una logica di ripetizione analoga.
Questi limiti vengono applicati rispetto a un singolo account AWS.
| API | Limite frequenza regolare | Limite di aumento delle prestazioni |
|---|---|---|
| ActivatePipeline | 1 chiamata al secondo | 100 chiamate |
| CreatePipeline | 1 chiamata al secondo | 100 chiamate |
| DeletePipeline | 1 chiamata al secondo | 100 chiamate |
| DescribeObjects | 2 chiamate al secondo | 100 chiamate |
| DescribePipelines | 1 chiamata al secondo | 100 chiamate |
| GetPipelineDefinition | 1 chiamata al secondo | 100 chiamate |
| PollForTask | 2 chiamate al secondo | 100 chiamate |
| ListPipelines | 1 chiamata al secondo | 100 chiamate |
| PutPipelineDefinition | 1 chiamata al secondo | 100 chiamate |
| QueryObjects | 2 chiamate al secondo | 100 chiamate |
| ReportTaskProgress | 10 chiamate al secondo | 100 chiamate |
| SetTaskStatus | 10 chiamate al secondo | 100 chiamate |
| SetStatus | 1 chiamata al secondo | 100 chiamate |
| ReportTaskRunnerHeartbeat | 1 chiamata al secondo | 100 chiamate |
| ValidatePipelineDefinition | 1 chiamata al secondo | 100 chiamate |
Considerazioni su dimensionamento
AWS Data Pipeline ridimensiona per supportare un enorme numero di attività simultanee e può essere configurato per creare automaticamente le risorse necessarie per gestire carichi di lavoro di grandi dimensioni. Queste risorse create automaticamente sono sotto il controllo dell'utente e vengono conteggiate ai fini dei limiti delle risorse dell'account AWS. Ad esempio, se configuri la creazione automatica di un cluster Amazon EMRAWS Data Pipeline a 20 nodi per elaborare i dati e il tuoAWS account ha un limite di istanze EC2 impostato su 20, potresti inavvertitamente esaurire le risorse di backfill disponibili. Di conseguenza, è necessario considerare queste limitazioni in termini di risorse nel progetto oppure aumentare i limiti dell'account in base alle necessità.
Se hai bisogno di capacità aggiuntiva, puoi utilizzare il modulo di richiesta del Centro Support Amazon Web Services
