Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Ejemplos de comandos programáticos para Cuadernos de EMR

Información general

Puede ejecutar cuadernos de EMR con las API de ejecución desde un script o desde la línea de comandos. Al iniciar, detener, enumerar y describir las ejecuciones de cuadernos de EMR fuera de la consola de AWS, puede controlar un cuaderno de EMR mediante programación. Puede pasar diferentes valores de parámetros a un cuaderno con una celda de cuaderno parametrizada. Esto elimina la necesidad de crear una copia del cuaderno para cada nuevo conjunto de valores de parámetros. Para obtener más información, consulte Acciones de la API de Amazon EMR.

Puede programar o agrupar ejecuciones de cuadernos EMR con Eventos de Amazon CloudWatch y AWS Lambda. Para obtener más información, consulte Uso de AWS Lambda con Eventos de Amazon CloudWatch.

Permisos de rol para la ejecución programática

Para utilizar la ejecución programática con Cuadernos de EMR, debe configurar los permisos de usuario con las siguientes políticas:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowExecutionActions",
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "elasticmapreduce:ListNotebookExecutions"
            ],
            "Resource": "*"
        },
        {
            "Sid": "AllowPassingServiceRole",
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::account-id:role/EMR_Notebooks_DefaultRole"
        }
    ]
}

Al ejecutar mediante programación Cuadernos de EMR en un clúster de Cuadernos de EMR, debe agregar los siguientes permisos adicionales:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AllowRetrievingManagedEndpointCredentials",
            "Effect": "Allow",
            "Action": [
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ],
            "Condition": {
                "StringEquals": {
                    "emr-containers:ExecutionRoleArn": [
                        "arn:aws:iam::account-id:role/emr-on-eks-execution-role"
                    ]
                }
            }
        },
        {
            "Sid": "AllowDescribingManagedEndpoint",
            "Effect": "Allow",
            "Action": [
                "emr-containers:DescribeManagedEndpoint"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/managed-endpoint-id"
            ]
        }
    ]
}

Limitaciones de la ejecución programática

Ejemplos de ejecución programática de cuadernos de EMR

En las siguientes secciones se proporcionan varios ejemplos de ejecución programática de cuadernos de EMR con la AWS CLI, el SDK de Boto3 (Python) y Ruby:

También puede ejecutar cuadernos parametrizados como parte de los flujos de trabajo programados con una herramienta de orquestación como Apache Airflow o Amazon Managed Workflows para Apache Airflow (MWAA). Para obtener más información, consulte Orquestación de trabajos de análisis en Cuadernos de EMR mediante MWAA en el blog de macrodatos de AWS.