AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestehende Kunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Limits für AWS Data Pipeline
Um sicherzustellen, dass für alle Benutzer ausreichend Kapazität verfügbar ist, legt AWS Data Pipeline Einschränkungen in Bezug auf die Ressourcen fest, die Sie zuweisen können, und die Rate, mit der Sie diese zuweisen können.
Kontolimits
Die folgenden Grenzwerte gelten für ein einzelnes AWS-Konto. Wenn Sie zusätzliche Kapazität benötigen, können Sie das Antragsformular für das Amazon Web Services Support Center
| Attribut | Limit | Anpassbar |
|---|---|---|
| Anzahl Pipelines | 100 | Ja |
| Anzahl Objekte pro Pipeline | 100 | Ja |
| Anzahl aktiver Instances pro Objekt | 5 | Ja |
| Anzahl Felder pro Objekt | 50 | Nein |
| Anzahl der UTF8-Bytes pro Feldname oder Kennung | 256 | Nein |
| Anzahl der UTF8-Bytes pro Feld | 10,240 | Nein |
| Anzahl der UTF8-Bytes pro Objekt | 15.360 (einschl. Feldnamen) | Nein |
| Erstellungsrate einer Instance von einem Objekt | 1 pro 5 Minuten | Nein |
| Neuversuche einer Pipeline-Aktivität | 5 pro Aufgabe | Nein |
| Minimale Verzögerung zwischen Neuversuchen | 2 Minuten | Nein |
| Minimales Planungsintervall | 15 Minuten | Nein |
| Maximale Anzahl Aggregationen zu einem Objekt | 32 | Nein |
| Maximale Anzahl EC2-Instances pro Ec2Resource-Objekt | 1 | Nein |
Limits für Webservice-Aufrufe
AWS Data Pipeline begrenzt die Rate, mit der Sie die Webservice-API aufrufen können. Diese Beschränkungen gelten auch fürAWS Data Pipeline Agenten, die die Webservice-API in Ihrem Namen aufrufen, z. B. die Konsole, CLI und Task Runner.
Die folgenden Grenzwerte gelten für ein einzelnes AWS-Konto. Die Gesamtnutzung des Kontos, einschließlich der Nutzung durch -Benutzer, kann diese Grenzwerte also nicht überschreiten.
Mit der Burst-Rate können Sie Webservice-Aufrufe in inaktiven Zeiträumen einsparen und sie alle in einem kurzen Zeitraum aufbrauchen. CreatePipeline Hat beispielsweise eine reguläre Rate von einem Anruf alle fünf Sekunden. Wenn Sie den Service 30 Sekunden nicht aufrufen, haben Sie 6 Aufrufe gespart. Sie können dann den Webservice sechsmal in einer Sekunde aufrufen. Da dieser Wert unter dem Burst-Limit liegt und Ihre durchschnittlichen Aufrufe auf dem regulären Ratenlimit belässt, werden die Aufrufe nicht gedrosselt.
Wenn Sie das Raten- und das Burst-Limit überschreiten, schlägt der Webservice-Aufruf fehl und gibt eine Drosselungsausnahme zurück. Die Standardimplementierung eines Workers, Task Runner, wiederholt automatisch API-Aufrufe, die mit einer Drosselungsausnahme fehlschlagen. Task Runner verfügt über einen Backoff, sodass nachfolgende Versuche, die API aufzurufen, in immer längeren Intervallen erfolgen. Wenn Sie einen Worker schreiben, empfehlen wir, dass Sie eine ähnliche Logik für wiederholte Versuche implementieren.
Diese Grenzwerte werden auf ein einzelnes AWS-Konto angewendet.
| API | Reguläres Ratenlimit | Burst-Limit |
|---|---|---|
| ActivatePipeline | 1 Aufruf pro Sekunde | 100 Aufrufe |
| CreatePipeline | 1 Aufruf pro Sekunde | 100 Aufrufe |
| DeletePipeline | 1 Aufruf pro Sekunde | 100 Aufrufe |
| DescribeObjects | 2 Aufrufe pro Sekunde | 100 Aufrufe |
| DescribePipelines | 1 Aufruf pro Sekunde | 100 Aufrufe |
| GetPipelineDefinition | 1 Aufruf pro Sekunde | 100 Aufrufe |
| PollForTask | 2 Aufrufe pro Sekunde | 100 Aufrufe |
| ListPipelines | 1 Aufruf pro Sekunde | 100 Aufrufe |
| PutPipelineDefinition | 1 Aufruf pro Sekunde | 100 Aufrufe |
| QueryObjects | 2 Aufrufe pro Sekunde | 100 Aufrufe |
| ReportTaskProgress | 10 Aufrufe pro Sekunde | 100 Aufrufe |
| SetTaskStatus | 10 Aufrufe pro Sekunde | 100 Aufrufe |
| SetStatus | 1 Aufruf pro Sekunde | 100 Aufrufe |
| ReportTaskRunnerHeartbeat | 1 Aufruf pro Sekunde | 100 Aufrufe |
| ValidatePipelineDefinition | 1 Aufruf pro Sekunde | 100 Aufrufe |
Überlegungen zur Skalierung
AWS Data Pipeline kann skaliert werden, um eine große Anzahl von gleichzeitigen Aufgaben durchführen zu können. Sie können das System so konfigurieren, dass es automatisch die Ressourcen erstellt, die für die Verarbeitung großer Workloads erforderlich sind. Diese automatisch erstellten Ressourcen sind von Ihnen steuerbar und werden für die Ressourcenlimits für Ihr AWS-Konto berücksichtigt. Wenn Sie beispielsweise die automatische Erstellung eines Amazon EMR-Clusters mit 20 Knoten zur Verarbeitung von Daten konfigurierenAWS Data Pipeline und für IhrAWS Konto ein EC2-Instance-Limit von 20 festgelegt ist, können Sie versehentlich Ihre verfügbaren Backfill-Ressourcen erschöpfen. Daher sollten Sie diese Ressourceneinschränkungen bei Ihrem Design berücksichtigen oder Ihre Kontolimits entsprechend erweitern.
Wenn Sie zusätzliche Kapazität benötigen, können Sie das Antragsformular für das Amazon Web Services Support Center
