Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Ejemplos de comandos para ejecutar EMR cuadernos mediante programación

Información general

Puede ejecutar EMR cuadernos ejecutándolos APIs desde un script o desde la línea de comandos. Al iniciar, detener, enumerar y describir las ejecuciones de EMR cuadernos fuera de la AWS consola, puede controlar un cuaderno mediante programación. EMR Puede pasar diferentes valores de parámetros a un cuaderno con una celda de cuaderno parametrizada. Esto elimina la necesidad de crear una copia del cuaderno para cada nuevo conjunto de valores de parámetros. Para obtener más información, consulta Amazon EMR API actions.

Puede programar ejecuciones de EMR cuadernos o por lotes con Amazon CloudWatch Events y AWS Lambda. Para obtener más información, consulte Uso AWS Lambda con Amazon CloudWatch Events.

Permisos de rol para la ejecución programática

Para utilizar la ejecución programática con EMR Notebooks, debe configurar los permisos de usuario con las siguientes políticas:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Al ejecutar EMR cuadernos mediante programación en un clúster de cuadernos, debe EMR añadir los siguientes permisos adicionales:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Limitaciones de la ejecución programática

Ejemplos de ejecución programática de cuadernos EMR

En las siguientes secciones se proporcionan varios ejemplos de ejecución programática de EMR cuadernos con Boto3 (SDKPython) y Ruby: AWS CLI

También puede ejecutar cuadernos parametrizados como parte de los flujos de trabajo programados con una herramienta de organización como Apache Airflow o Amazon Managed Workflows for Apache Airflow (). MWAA Para obtener más información, consulte Organizar trabajos de análisis en cuadernos mediante el uso del blog sobre EMR macrodatos. MWAA AWS