Exemplos de comandos para executar EMR Notebooks programaticamente - Amazon EMR
Visão geralPermissõesLimitaçõesExemplos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Exemplos de comandos para executar EMR Notebooks programaticamente

nota

EMROs notebooks estão disponíveis como espaços de trabalho do EMR Studio no console. O botão Criar espaço de trabalho no console permite criar novos cadernos. Para acessar ou criar espaços de trabalho, os usuários do EMR Notebooks precisam de permissões adicionais de IAM função. Para obter mais informações, consulte Amazon EMR Notebooks são espaços de trabalho do Amazon EMR Studio no console e no console da Amazon EMR.

Visão geral

Você pode executar EMR notebooks com execução a APIs partir de um script ou da linha de comando. Quando você inicia, interrompe, lista e descreve as execuções do EMR notebook fora do AWS console, você pode controlar programaticamente um notebook. EMR É possível transferir valores de parâmetros diferentes para um caderno com uma célula de caderno parametrizada. Isto elimina a necessidade de criar uma cópia do caderno para cada novo conjunto de valores de parâmetros. Para obter mais informações, consulte EMRAPIAções da Amazon.

Você pode agendar ou agrupar execuções de EMR cadernos com CloudWatch eventos da Amazon e. AWS Lambda Para obter mais informações, consulte Usando AWS Lambda com Amazon CloudWatch Events.

Permissões de perfil para a execução programática

Para usar a execução programática com EMR Notebooks, você deve configurar as permissões do usuário com as seguintes políticas:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Ao executar programaticamente EMR Notebooks em um cluster de EMR Notebooks, você deve adicionar estas permissões adicionais:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Limitações da execução programática

  • Há suporte para um máximo de 100 execuções simultâneas Região da AWS por conta.

  • Uma execução será encerrada se for executada por mais de 30 dias.

  • A execução programática de notebooks não é compatível com os aplicativos interativos Amazon EMR Serverless.

Exemplos de execução programática de EMR cadernos

As seções a seguir fornecem vários exemplos de execução programática de EMR notebooks com o AWS CLI, Boto3 (SDKPython) e Ruby:

Você também pode executar notebooks parametrizados como parte dos fluxos de trabalho programados com uma ferramenta de orquestração, como o Apache Airflow ou o Amazon Managed Workflows for Apache Airflow (). MWAA Para obter mais informações, consulte Orquestrando trabalhos de análise em EMR notebooks usando MWAA o AWS Big Data Blog.