AWS Data Pipeline 신규 고객은 더 이상 이용할 수 없습니다. 의 기존 고객 AWS Data Pipeline 정상적으로 서비스를 계속 사용할 수 있습니다. 자세히 알아보기
기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS Data Pipeline 한도
모든 사용자가 사용할 수 있는 용량을 확보하기 위해 AWS Data Pipeline은 할당할 수 있는 리소스와 리소스를 할당할 수 있는 속도에 제한을 둡니다.
계정 제한
단일 AWS 계정에 다음과 같은 제한이 적용됩니다. 추가 용량이 필요할 경우 Amazon Web Services Support Center 요청 양식
| 속성 | 한도 | 조정 가능 |
|---|---|---|
| 파이프라인 수 | 100 | 예 |
| 파이프라인당 객체 수 | 100 | 예 |
| 객체당 활성 인스턴스 수 | 5 | 예 |
| 객체당 필드 수 | 50 | 아니요 |
| 필드 이름 또는 식별자당 UTF8 바이트 수 | 256 | 아니요 |
| 필드당 UTF8 바이트 수 | 10,240 | 아니요 |
| 객체당 UTF8 바이트 수 | 15,360(필드 이름 포함) | 아니요 |
| 객체에서 인스턴스의 생성 속도 | 5분당 1 | 아니요 |
| 파이프라인 활동의 재시도 | 작업당 5 | 아니요 |
| 재시도 간 최소 지연 | 2 minutes | 아니요 |
| 최소 일정 간격 | 15분 | 아니요 |
| 단일 객체에 롤업할 수 있는 최대 수 | 32 | 아니요 |
| Ec2Resource 객체당 최대 EC2 인스턴스 수 | 1 | 아니요 |
웹 서비스 호출 제한
AWS Data Pipeline은 웹 서비스 API를 호출할 수 있는 속도를 제한합니다. 이러한 제한은 콘솔, CLI, 등과 같은 사용자를 대신하여 웹 서비스 API를 호출하는 AWS Data Pipeline에이전트에도 적용됩니다.
단일 AWS 계정에 다음과 같은 제한이 적용됩니다. 따라서 사용자를 포함해 계정 총 사용량이 이 한계를 초과하지 못합니다.
버스트 속도를 사용하면 비활성 기간에 웹 서비스 호출을 저장했다가 단시간에 모두 소비할 수 있습니다. 예를 들어, CreatePipeline의 일반 호출 속도는 5초당 1회입니다. 30초 동안 서비스를 호출하지 않으면 6개 호출이 저장됩니다. 이후 웹 서비스를 1초에 6회 호출할 수 있을 것입니다. 이것은 버스트 제한 미만이고, 평균 호출이 일반 속도 제한으로 유지되기 때문에 호출이 정체되지 않습니다.
속도 제한과 버스트 제한을 초과하면 웹 서비스 호출이 안 되고 조절 예외가 반환됩니다. 작업자의 기본 구현인 Task Runner는 전송률 조절 예외로 인해 실패한 API 호출을 자동으로 재시도합니다. Task Runner에는 백오프 기능이 있어서 이후에 API를 호출하려는 시도가 점점 더 긴 간격으로 발생합니다. 작업자에게 알릴 경우 유사한 재시도 논리를 실행하는 것이 좋습니다.
이러한 제한은 개별 AWS 계정을 기준으로 적용됩니다.
| API | 일반 속도 제한 | 버스트 제한 |
|---|---|---|
| ActivatePipeline | 초당 호출 1회 | 100회 호출 |
| CreatePipeline | 초당 호출 1회 | 100회 호출 |
| DeletePipeline | 초당 호출 1회 | 100회 호출 |
| DescribeObjects | 초당 호출 2회 | 100회 호출 |
| DescribePipelines | 초당 호출 1회 | 100회 호출 |
| GetPipelineDefinition | 초당 호출 1회 | 100회 호출 |
| PollForTask | 초당 호출 2회 | 100회 호출 |
| ListPipelines | 초당 호출 1회 | 100회 호출 |
| PutPipelineDefinition | 초당 호출 1회 | 100회 호출 |
| QueryObjects | 초당 호출 2회 | 100회 호출 |
| ReportTaskProgress | 초당 호출 10회 | 100회 호출 |
| SetTaskStatus | 초당 호출 10회 | 100회 호출 |
| SetStatus | 초당 호출 1회 | 100회 호출 |
| ReportTaskRunnerHeartbeat | 초당 호출 1회 | 100회 호출 |
| ValidatePipelineDefinition | 초당 호출 1회 | 100회 호출 |
조정 고려 사항
AWS Data Pipeline은 동시에 엄청나게 많은 수의 작업을 감당할 수 있도록 조정되므로, 대용량 워크로드를 처리할 때 필요한 리소스를 자동으로 생성하도록 구성할 수 있습니다. 이렇게 자동으로 생성된 리소스는 사용자가 제어할 수 있으며, AWS 계정 리소스 제한을 기준으로 계수할 수 있습니다. 예를 들어, 20 노드 Amazon EMR 클러스터를 자동으로 생성하여 데이터를 처리하도록 AWS Data Pipeline을(를) 구성하고, AWS계정의 EC2 인스턴스 제한이 20으로 설정된 경우, 가용 채우기 리소스를 본의 아니게 소모할 수 있습니다. 따라서 디자인할 때 이러한 리소스 제한을 고려하거나 계정 한계를 알맞게 늘리는 것이 좋습니다.
추가 용량이 필요할 경우 Amazon Web Services Support Center 요청 양식
