Creación de un punto de conexión interactivo para su clúster virtual - Amazon EMR
Crear un punto de conexión interactivoEspecificar parámetros personalizadosParámetros del punto de conexión interactivo

Creación de un punto de conexión interactivo para su clúster virtual

En este tema se describe un par de formas de cómo crear un punto de conexión mediante la AWS Interfaz de la línea de comandos (AWS CLI) e incluye detalles sobre los parámetros de configuración disponibles.

Crear un punto de conexión interactivo con el comando create-managed-endpoint

Especifique los parámetros en el comando create-managed-endpoint de la siguiente manera. Amazon EMR en EKS admite la creación de puntos de conexión interactivos con las versiones 6.7.0 y posteriores de Amazon EMR.

aws emr-containers create-managed-endpoint \
‐‐type JUPYTER_ENTERPRISE_GATEWAY \
‐‐virtual‐cluster‐id 1234567890abcdef0xxxxxxxx \
‐‐name example-endpoint-name \
‐‐execution-role-arn arn:aws:iam::444455556666:role/JobExecutionRole \
‐‐release-label emr-6.9.0-latest \
‐‐configuration-overrides '{
    "applicationConfiguration": [{
        "classification": "spark-defaults",
        "properties": {
            "spark.driver.memory": "2G"
        }
    }],
    "monitoringConfiguration": {
        "cloudWatchMonitoringConfiguration": {
            "logGroupName": "log_group_name",
            "logStreamNamePrefix": "log_stream_prefix"
        },
        "persistentAppUI": "ENABLED",
        "s3MonitoringConfiguration": {
            "logUri": "s3://my_s3_log_location"
        }
    }
}'

Para obtener más información, consulte Parámetros para crear un punto de conexión interactivo.

Crear un punto de conexión interactivo con parámetros especificados en un archivo JSON

  1. Cree un archivo create-managed-endpoint-request.json y especifique los parámetros necesarios para su punto de conexión, tal como se muestra en el siguiente archivo JSON:

    {
    "name": "MY_TEST_ENDPOINT",
    "virtualClusterId": "MY_CLUSTER_ID",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "arn:aws:iam::444455556666:role/JobExecutionRole",
    "configurationOverrides":
    {
        "applicationConfiguration": 
        [
            {
                "classification": "spark-defaults",
                "properties":
                {
                    "spark.driver.memory": "8G"
                }
            }
        ],
        "monitoringConfiguration":
        {
            "persistentAppUI": "ENABLED",
            "cloudWatchMonitoringConfiguration":
            {
                "logGroupName": "my_log_group",
                "logStreamNamePrefix": "log_stream_prefix"
            },
            "s3MonitoringConfiguration":
            {
                "logUri": "s3://my_s3_log_location"
            }
        }
    }
}

  2. Utilice el comando create-managed-endpoint con una ruta al archivo create-managed-endpoint-request.json que esté almacenado localmente o en Amazon S3.

    aws emr-containers create-managed-endpoint \
‐‐cli-input-json  file://./create-managed-endpoint-request.json ‐‐region AWS-Region

Resultado de crear un punto de conexión interactivo

Debería ver el siguiente resultado en el terminal. El resultado incluye el nombre y el identificador del nuevo punto de conexión interactivo:

{
    "id": "1234567890abcdef0",
    "name": "example-endpoint-name", 
    "arn": "arn:aws:emr-containers:us-west-2:111122223333:/virtualclusters/444455556666/endpoints/444455556666",
    "virtualClusterId": "111122223333xxxxxxxx"
}

La ejecución de aws emr-containers create-managed-endpoint crea un certificado autofirmado que permite la comunicación HTTPS entre EMR Studio y el servidor del punto de conexión interactivo.

Si ejecuta create-managed-endpoint y no ha completado los requisitos previos, Amazon EMR devuelve un mensaje de error con las acciones que debe llevar a cabo para continuar.

Parámetros para crear un punto de conexión interactivo

Parámetros obligatorios para los puntos de conexión interactivos

Debe especificar los siguientes parámetros cuando cree un punto de conexión interactivo:

‐‐type

Utilice JUPYTER_ENTERPRISE_GATEWAY. Este es el único tipo admitido.

‐‐virtual-cluster-id

El identificador del clúster virtual que registró con Amazon EMR en EKS.

‐‐name

Un nombre descriptivo para el punto de conexión interactivo que ayuda a los usuarios de EMR Studio a seleccionarlo de la lista desplegable.

‐‐execution-role-arn

El nombre de recurso de Amazon (ARN) de su rol de ejecución de trabajos de IAM para Amazon EMR en EKS que se creó como parte de los requisitos previos.

‐‐release-label

La etiqueta de versión de la versión de Amazon EMR que se utilizará en el punto de conexión. Por ejemplo, emr-6.9.0-latest. Amazon EMR en EKS admite puntos de conexión interactivos con las versiones 6.7.0 y posteriores de Amazon EMR.

Parámetros opcionales para los puntos de conexión interactivos

De forma opcional, también puede especificar los parámetros siguientes al crear un punto de conexión interactivo:

‐‐configuration-overrides

Para anular las configuraciones predeterminadas de las aplicaciones, proporcione un objeto de configuración. Puede utilizar una sintaxis abreviada para proporcionar la configuración o hacer referencia al objeto de configuración en un archivo JSON.

Los objetos de configuración se componen de una clasificación, propiedades y configuraciones anidadas opcionales. Las propiedades consisten en las configuraciones que desea anular en ese archivo. Es posible especificar varias clasificaciones para varias aplicaciones en un solo objeto JSON. Las clasificaciones de configuración disponibles varían en función de la versión de Amazon EMR en EKS. Para ver una lista de las clasificaciones de configuración que están disponibles para cada versión de lanzamiento de Amazon EMR en EKS, consulte Versiones de Amazon EMR en EKS. Además de las clasificaciones de configuración enumeradas para cada versión, los puntos de conexión interactivos incluyen la clasificación adicional jeg-config. Para obtener más información, consulte Opciones de configuración de Jupyter Enterprise Gateway (JEG).