기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EMR 노트북용 프로그래밍 방식 명령 샘플

개요

스크립트 또는 명령줄APIs에서 실행하여 EMR 노트북을 실행할 수 있습니다. AWS 콘솔 외부에서 EMR 노트북 실행을 시작, 중지, 나열 및 설명할 때 프로그래밍 방식으로 EMR 노트북을 제어할 수 있습니다. 파라미터화된 노트북 셀이 있는 노트북에 다양한 파라미터 값을 전달할 수 있습니다. 이렇게 하면 새 파라미터 값 세트마다 노트북 사본을 만들 필요가 없습니다. 자세한 내용은 Amazon EMR API 작업 을 참조하세요.

Amazon CloudWatch 이벤트 및 를 사용하여 EMR 노트북 실행을 예약하거나 배치할 수 있습니다 AWS Lambda. 자세한 내용은 Amazon CloudWatch Events AWS Lambda 에서 사용을 참조하세요.

프로그래밍 실행을 위한 역할 권한

EMR 노트북에서 프로그래밍 방식 실행을 사용하려면 다음 정책을 사용하여 사용자 권한을 구성해야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

EMR 노트북 클러스터에서 EMR 노트북을 프로그래밍 방식으로 실행할 때는 다음과 같은 추가 권한을 추가해야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

프로그래밍 방식 실행의 제한 사항

프로그래밍 노트북 EMR 실행의 예

다음 섹션에서는 AWS CLI, Boto3SDK(Python) 및 Ruby를 사용한 프로그래밍 노트북 EMR 실행의 몇 가지 예를 제공합니다.

Apache Airflow 또는 Amazon Managed Workflows for Apache Airflow()와 같은 오케스트레이션 도구를 사용하여 파라미터화된 노트북을 예약된 워크플로의 일부로 실행할 수도 있습니다MWAA. 자세한 내용은 AWS 빅 데이터 블로그 의 를 사용하여 EMR 노트북에서 분석 작업 조정MWAA을 참조하세요.