翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR Notebooks のプログラムで実行するサンプルコマンド

概要

EMR Notebooks は、スクリプトまたはコマンドラインから実行 API で実行できます。 AWS コンソールの外部で EMR Notebooks の実行を開始、停止、一覧表示、および記述すると、EMR Notebooks をプログラムで制御できます。パラメータ化されたノートブックセルがあるノートブックには、さまざまなパラメータ値を渡すことができます。これにより、パラメータ値の新しいセットごとにノートブックのコピーを作成する必要がなくなります。詳細については、「Amazon EMR API actions」を参照してください。

EMR Notebooks の実行は、Amazon CloudWatch Events および AWS Lambdaを使用してスケジュールまたはバッチ処理できます。詳細については、Amazon CloudWatch Events AWS Lambda で を使用する」を参照してください。

プログラムによる実行のロール権限

EMR Notebooks でプログラムによる実行を使用するには、以下のポリシーを使用してユーザー権限を設定する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

EMR Notebooks クラスターで EMR Notebooks をプログラムで実行する場合、以下の権限を追加する必要があります。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

プログラムによる実行の制限事項

プログラムによる EMR Notebooks の実行例

以下のセクションでは、、Boto3 SDK (Python) AWS CLI、および Ruby を使用したプログラムによる EMR Notebook 実行の例をいくつか示します。

Apache Airflow や Amazon Managed Workflows for Apache Airflow (MWAA) などのオーケストレーションツールを使用して、スケジュールされたワークフローの一部としてパラメータ化されたノートブックを実行することもできます。詳細については、「AWS Big Data Blog」の「Orchestrating analytics jobs on EMR Notebooks using MWAA」を参照してください。