AWS Data Pipeline は新規顧客には利用できなくなりました。の既存のお客様は、通常どおりサービスを AWS Data Pipeline 引き続き使用できます。[詳細はこちら](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/)
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# AWS Data Pipeline 制限
すべてのユーザーの容量を確保するために、 は割り当てることができるリソースとリソースの割り当てレートに制限 AWS Data Pipeline を適用します。
**Topics**
+ [アカウントの制限](#dp-limits-account)
+ [ウェブサービス呼び出しの制限](#dp-limits-web-service)
+ [スケーリングに関する考慮事項](#dp-scaling-considerations)
## アカウントの制限
次の制限は 1 つの AWS アカウントに適用されます。追加の容量が必要な場合は、[Amazon Web Services サポートセンターの申請フォーム](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase&limitType=service-code-datapipe)を使用して容量を増やすことができます。
| 属性 | 制限 | 調整可能 |
| --- | --- | --- |
| パイプラインの数 | 100 | はい |
| パイプラインあたりのオブジェクトの数 | 100 | はい |
| オブジェクトあたりのアクティブなインスタンスの数 | 5 | はい |
| オブジェクトあたりのフィールドの数 | 50 | 不可 |
| フィールド名前または ID あたりの UTF8 バイトの数 | 256 | 不可 |
| フィールドあたりの UTF8 バイトの数 | 10,240 | 不可 |
| オブジェクトあたりの UTF8 バイトの数 | 15,360 (フィールド名を含む) | 不可 |
| オブジェクトからのインスタンス作成レート | 5 分に 1 回 | 不可 |
| パイプラインアクティビティの再試行 | タスクにつき 5 回 | 不可 |
| 再試行間の最小遅延間隔 | 2 分 | 不可 |
| 最小スケジュール間隔 | 15 分 | 不可 |
| 単一のオブジェクトへのロールアップの最大数 | 32 | 不可 |
| Ec2Resource オブジェクトあたりの EC2 インスタンスの最大数 | 1 | 不可 |
## ウェブサービス呼び出しの制限
AWS Data Pipeline は、ウェブサービス API を呼び出すことができるレートを制限します。これらの制限は、コンソール、CLI、Task Runner など、ユーザーに代わってウェブサービス API を呼び出す AWS Data Pipeline エージェントにも適用されます。
次の制限は 1 つの AWS アカウントに適用されます。これは、 ユーザーによる使用も含むアカウント全体の使用量がこれらの制限を超えてはならないことを意味します。
バーストレートを使用すると、アイドル状態の期間においてウェブサービス呼び出しを節約し、短期間にそれらすべてを消費できます。たとえば、CreatePipeline の通常レートは 5 秒に 1 回の呼び出しです。サービスを 30 秒間呼び出さなければ、6 回の呼び出しが節約されます。その後、ウェブサービスを 1 秒間に 6 回呼び出すことができます。これはバースト制限を超えず、呼び出しの平均間隔が通常のレートの制限内であるため、呼び出しはスロットリングされません。
レートの制限を超えると、ウェブサービス呼び出しは失敗し、スロットリング例外が返されます。Task Runner (ワーカー) のデフォルト実装では、スロットリング例外で失敗した API 呼び出しを自動的に再試行します。Task Runner にはバックオフがあるため、以降の API 呼び出しの試行間隔は徐々に長くなります。ワーカーを記述する場合は、同じような再試行ロジックを実装することをお勧めします。
これらの制限は、個々の AWS アカウントに適用されます。
| API | 通常のレートの制限 | バースト制限 |
| --- | --- | --- |
| ActivatePipeline | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| CreatePipeline | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| DeletePipeline | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| DescribeObjects | 1 秒につき呼び出し 2 回 | 呼び出し 100 回 |
| DescribePipelines | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| GetPipelineDefinition | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| PollForTask | 1 秒につき呼び出し 2 回 | 呼び出し 100 回 |
| ListPipelines | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| PutPipelineDefinition | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| QueryObjects | 1 秒につき呼び出し 2 回 | 呼び出し 100 回 |
| ReportTaskProgress | 1 秒につき呼び出し 10 回 | 呼び出し 100 回 |
| SetTaskStatus | 1 秒につき呼び出し 10 回 | 呼び出し 100 回 |
| SetStatus | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| ReportTaskRunnerHeartbeat | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
| ValidatePipelineDefinition | 1 秒につき呼び出し 1 回 | 呼び出し 100 回 |
## スケーリングに関する考慮事項
AWS Data Pipeline は、大量の同時タスクに対応するようにスケールし、大規模なワークロードを処理するために必要なリソースを自動的に作成するように設定できます。これらの自動的に作成されたリソースは、お客様の管理下にあり、 AWS アカウントのリソースに対する制限の対象となります。たとえば、データを処理 AWS Data Pipeline するために 20 ノードの Amazon EMR クラスターを自動的に作成するように を設定し、 AWS アカウントで EC2 インスタンスの制限が 20 に設定されている場合、使用可能なバックフィルリソースが誤って使い果たされる可能性があります。そのため、設計時にこれらのリソースの制限を考慮するか、またはアカウントの制限を適宜増やします。
追加の容量が必要な場合は、[Amazon Web Services サポートセンターの申請フォーム](https://console.aws.amazon.com/support/home#/case/create?issueType=service-limit-increase&limitType=service-code-datapipe)を使用して容量を増やすことができます。