기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

EMR Notebooks에 대한 프로그래밍 명령 샘플

개요

스크립트 또는 명령줄에서 실행 API를 사용하여 EMR Notebooks를 실행할 수 있습니다. AWS 콘솔 외부에서 EMR 노트북 실행을 시작, 중지, 나열, 설명할 때 프로그래밍 방식으로 EMR 노트북을 제어할 수 있습니다. 파라미터화된 노트북 셀이 있는 노트북에 다양한 파라미터 값을 전달할 수 있습니다. 이렇게 하면 새 파라미터 값 세트마다 노트북 사본을 만들 필요가 없습니다. 자세한 내용은 Amazon EMR API 작업을 참조하세요.

Amazon CloudWatch 이벤트 및 AWS Lambda를 사용하여 EMR 노트북 실행을 예약하거나 배치 처리할 수 있습니다. 자세한 내용은 Amazon CloudWatch Events에서 AWS Lambda 사용을 참조하세요.

프로그래밍 실행을 위한 역할 권한

EMR Notebooks에서 프로그래밍 방식 실행을 사용하려면 다음 정책으로 사용자 권한을 구성해야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

EMR Notebooks 클러스터에서 프로그래밍 방식으로 EMR Notebooks를 실행할 때는 다음과 같은 추가 권한을 추가해야 합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

프로그래밍 방식 실행의 제한 사항

프로그래밍 방식의 EMR 노트북 실행 예제

다음 섹션에서는 AWS CLI, Boto3 SDK(Python), Ruby를 사용한 프로그래밍 방식의 EMR 노트북을 실행하는 몇 가지 예제를 제공합니다.

Apache Airflow 또는 Apache Airflow용 Amazon 관리형 워크플로(MWAA)와 같은 오케스트레이션 도구를 사용하여 예약된 워크플로의 일부로 파라미터화된 노트북을 실행할 수 있습니다. 자세한 내용은 AWS 빅 데이터 블로그에서 Orchestrating analytics jobs on EMR Notebooks using MWAA를 참조하세요.