EMR Notebook 的程式設計命令範例 - Amazon EMR
概觀許可限制範例

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

EMR Notebook 的程式設計命令範例

概觀

您可以從APIs指令碼或命令列執行EMR筆記本。當您啟動、停止、列出和描述 AWS 主控台外部的EMR筆記本執行時，您可以程式設計方式控制EMR筆記本。可以將不同的參數值傳遞至具有參數化筆記本儲存格的筆記本。這樣就不需要為每組新參數值建立筆記本複本。如需詳細資訊，請參閱 Amazon EMRAPI動作 。

您可以使用 Amazon CloudWatch 事件 和 來排程或批次EMR筆記本執行 AWS Lambda。如需詳細資訊，請參閱AWS Lambda 搭配使用 Amazon CloudWatch Events。

注意

EMR 筆記本可在 主控台中作為 EMR Studio Workspaces 使用。主控台中的建立工作區按鈕可讓您建立新的筆記本。若要存取或建立工作區，EMRNotebooks 使用者需要額外IAM的角色許可。如需詳細資訊，請參閱 主控台中的 Amazon EMR Notebooks 是 Amazon EMR Studio Workspaces 和 Amazon EMR主控台 。

程式化執行的角色許可

若要搭配EMR筆記本使用程式設計執行，您必須使用下列政策設定使用者許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

當您以程式設計方式在EMR筆記本叢集上執行EMR筆記本時，您必須新增下列其他許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

程序化執行的限制

  • AWS 區域 每個帳戶最多支援 100 個並行執行。

  • 如果執行運作超過 30 天，則會終止。

  • Amazon EMR Serverless 互動式應用程式不支援筆記本的程式設計執行。

程式設計EMR筆記本執行的範例

下列各節提供數個使用 AWS CLI、Boto3 SDK（Python） 和 Ruby 執行程式設計EMR筆記本的範例：

您也可以使用 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow （） 等協調工具，在排程工作流程中執行參數化筆記本MWAA。如需詳細資訊，請參閱AWS 巨量資料部落格 中的使用 EMR 在筆記本上協調分析任務MWAA。