EMR Serverless 애플리케이션의 작업 동시성 및 대기열 입력
Amazon EMR 버전 7.0.0 이상부터 애플리케이션에 대한 작업 실행 대기열 제한 시간 및 동시성 구성을 지정할 수 있습니다. 이 구성을 지정하면 Amazon EMR Serverless는 먼저 작업을 대기열에 입력하고 애플리케이션의 동시성 사용률을 기반으로 실행을 시작합니다. 예를 들어 작업 실행 동시성이 10인 경우 애플리케이션에서 한 번에 10개의 작업만 실행됩니다. 나머지 작업은 실행 중인 작업 중 하나가 종료될 때까지 대기합니다. 대기열 제한 시간에 일찍 도달하면 작업 제한 시간이 초과됩니다. 자세한 내용은 작업 실행 상태를 참조하세요.
동시성 및 대기열 입력의 주요 이점
작업 동시성 및 대기열 입력은 많은 작업 제출이 필요한 경우 다음과 같은 이점을 제공합니다.
애플리케이션 수준 용량 제한을 효율적으로 사용하기 위해 동시 실행 작업을 제어하는 데 도움이 됩니다.
대기열에는 구성 가능한 제한 시간 설정과 함께 갑작스러운 작업 제출 버스트가 포함될 수 있습니다.
동시성 및 대기열 입력 시작하기
다음 절차에서는 동시성과 대기열 입력을 구현하는 몇 가지 방법을 보여줍니다.
AWS CLI 사용하기
대기열 제한 시간 및 동시 작업 실행을 사용하여 Amazon EMR Serverless 애플리케이션을 생성합니다.
aws emr-serverless create-application \ --release-label emr-7.0.0 \ --type SPARK \ --scheduler-configuration '{"maxConcurrentRuns": 1, "queueTimeoutMinutes": 30}'애플리케이션을 업데이트하여 작업 대기열 제한 시간 및 동시성을 변경합니다.
aws emr-serverless update-application \ --application-idapplication-id\ --scheduler-configuration '{"maxConcurrentRuns": 5, "queueTimeoutMinutes": 30}'참고
기존 애플리케이션을 업데이트하여 작업 동시성 및 대기열 입력을 활성화할 수 있습니다. 이를 수행하려면 애플리케이션에서 릴리스 레이블이 emr-7.0.0 이상이어야 합니다.
AWS Management Console 사용하기
다음 단계에서는 AWS Management Console을 사용하여 작업 동시성과 대기열 입력을 시작하는 방법을 보여줍니다.
EMR Studio로 이동하여 릴리스 레이블 EMR-7.0.0 이상의 애플리케이션을 생성하도록 선택합니다.
애플리케이션 설정 옵션에서 사용자 지정 설정 사용 옵션을 선택합니다.
추가 구성 아래에 작업 실행 설정 섹션이 있습니다. 작업 동시성 활성화 옵션을 선택하여 기능을 활성화합니다.
이 옵션을 선택하면 동시 작업 실행 및 대기열 제한 시간을 모두 선택하여 동시 작업 실행 수와 대기열 제한 시간을 각각 구성할 수 있습니다. 이러한 설정에 값을 입력하지 않으면 기본값이 사용됩니다.
애플리케이션 생성을 선택하면 이 기능이 활성화된 상태로 애플리케이션이 생성됩니다. 확인하려면 대시보드로 이동하여 애플리케이션을 선택하고 속성 탭에서 해당 기능이 활성화되었는지 확인합니다.
구성 후 이 기능이 활성화된 작업을 제출할 수 있습니다.
동시성 및 대기열 입력에 대한 고려 사항
동시성 및 대기열 입력을 구현하는 경우 다음을 고려합니다.
작업 대기열 및 동시성은 Amazon EMR 릴리스 7.0.0 이상에서 지원됩니다.
시작됨 상태에서 애플리케이션의 동시성을 업데이트할 수 있습니다.
maxConcurrentRuns의 유효 범위는 1~1000이고queueTimeoutMinutes의 경우 15~720입니다.계정에 대해 최대 2,000개의 작업이 대기 중 상태에 있을 수 있습니다.
동시성과 대기열 입력은 배치 및 스트리밍 작업에 적용됩니다. 대화형 작업에는 사용할 수 없습니다. 자세한 내용은 EMR Studio를 통해 EMR Serverless에서 대화형 워크로드 실행을 참조하세요.
