AWS Data Pipeline n'est plus disponible pour les nouveaux clients. Les clients existants de AWS Data Pipeline peut continuer à utiliser le service normalement. En savoir plus
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Limites AWS Data Pipeline
Afin de s'assurer qu'il y ait de la capacité pour tous les utilisateurs, AWS Data Pipeline impose des limites sur les ressources que vous pouvez allouer et sur la vitesse à laquelle vous pouvez les allouer.
Table des matières
Limites de compte
Les limites suivantes s'appliquent à un seul compte AWS. Si vous avez besoin d'une capacité supplémentaire, vous pouvez utiliser le formulaire de demande du centre de support Amazon Web Services
| Attribut | Limite | Ajustable |
|---|---|---|
| Nombre de pipelines | 100 | Oui |
| Nombre d'objets par pipeline | 100 | Oui |
| Nombre d'instances actives par objet | 5 | Oui |
| Nombre de champs par objet | 50 | Non |
| Nombre d'octets UTF8 par nom de champ ou identifiant | 256 | Non |
| Nombre d'octets UTF8 par champ | 10 240 | Non |
| Nombre d'octets UTF8 par objet | 15 360 (y compris les noms de champs) | Non |
| Taux de création d'une instance à partir d'un objet | 1 toutes les 5 minutes | Non |
| Nouvelles tentatives d'une activité de pipeline | 5 par tâche | Non |
| Délai minimal entre deux nouvelles tentatives | 2 minutes | Non |
| Intervalle de planification minimal | 15 minutes | Non |
| Nombre maximal de regroupements dans un seul objet | 32 | Non |
| Nombre maximal d'instances EC2 par objet Ec2Resource | 1 | Non |
Limites de l'appel du service web
AWS Data Pipeline limite la vitesse à laquelle vous pouvez appeler l'API du service web. Ces limites s'appliquent également auxAWS Data Pipeline agents qui appellent l'API du service Web en votre nom, tels que la console, la CLI et Task Runner.
Les limites suivantes s'appliquent à un seul compte AWS. Cela signifie que l'utilisation totale sur le compte, y compris par les utilisateurs , ne peut pas dépasser ces limites.
Le débit en rafale vous permet d'économiser les appels de service web pendant les périodes d'inactivité et de tous les utiliser en un court laps de temps. Par exemple, CreatePipeline a un taux normal d'un appel toutes les cinq secondes. Si vous n'avez pas appelé le service pendant 30 secondes, vous économisez six appels. Vous pouvez alors appeler le service web six fois en une seconde. Comme ce chiffre est inférieur à la limite du débit en rafale et maintient la moyenne de vos appels à la limite de fréquence standard, vos appels ne sont pas limités.
Si vous dépassez la limite de fréquence et la limite de débit en rafale, votre service web risque d'échouer et de renvoyer une exception de limitation. L'implémentation par défaut d'un worker, Task Runner, relance automatiquement les appels d'API qui échouent avec une exception de limitation. Task Runner dispose d'une fonction de sauvegarde, de sorte que les tentatives ultérieures d'appel de l'API se produisent à des intervalles de plus en plus longs. Si vous écrivez un travail, nous vous recommandons d'implémenter une logique similaire de nouvelle tentative.
Ces limites sont appliquées sur un compte AWS individuel.
| API | Limite de fréquence régulière | Limite de débit en rafale |
|---|---|---|
| ActivatePipeline | 1 appel par seconde | 100 appels |
| CreatePipeline | 1 appel par seconde | 100 appels |
| DeletePipeline | 1 appel par seconde | 100 appels |
| DescribeObjects | 2 appels par seconde | 100 appels |
| DescribePipelines | 1 appel par seconde | 100 appels |
| GetPipelineDefinition | 1 appel par seconde | 100 appels |
| PollForTask | 2 appels par seconde | 100 appels |
| ListPipelines | 1 appel par seconde | 100 appels |
| PutPipelineDefinition | 1 appel par seconde | 100 appels |
| QueryObjects | 2 appels par seconde | 100 appels |
| ReportTaskProgress | 10 appels par seconde | 100 appels |
| SetTaskStatus | 10 appels par seconde | 100 appels |
| SetStatus | 1 appel par seconde | 100 appels |
| ReportTaskRunnerHeartbeat | 1 appel par seconde | 100 appels |
| ValidatePipelineDefinition | 1 appel par seconde | 100 appels |
Considérations sur le dimensionnement
AWS Data Pipeline s'adapte pour prendre en charge un très grand nombre de tâches simultanées et vous pouvez le configurer de manière à créer automatiquement les ressources nécessaires pour gérer les charges de travail très importantes. Ces ressources créées automatiquement sont sous votre contrôle et prises en compte dans le calcul des limites des ressources de votre compte AWS. Par exemple, si vous configurezAWS Data Pipeline pour créer automatiquement un cluster Amazon EMR à 20 nœuds pour traiter les données et que la limite d'instances EC2 de votreAWS compte est fixée à 20, vous risquez d'épuiser par inadvertance les ressources de remplacement disponibles. Par conséquent, tenez compte de ces restrictions de ressources dans votre conception ou augmentez les limites de votre compte en conséquence.
Si vous avez besoin d'une capacité supplémentaire, vous pouvez utiliser le formulaire de demande du centre de support Amazon Web Services
