Imagen de kernel personalizada con punto de conexión interactivo - Amazon EMR

Imagen de kernel personalizada con punto de conexión interactivo

Para asegurarse de que disponga de las dependencias correctas para su aplicación cuando ejecute cargas de trabajo interactivas desde Amazon EMR Studio, puede personalizar las imágenes de Docker para los puntos de conexión interactivos y ejecutar imágenes de kernel base personalizadas. Para crear un punto de conexión interactivo y conectarlo a una imagen de Docker personalizada, siga estos pasos.

nota

Solo puede anular las imágenes base. No puede agregar nuevos tipos de imágenes de kernel.

  1. Cree y publique una imagen de Docker personalizada. La imagen base contiene el tiempo de ejecución de Spark y los kernels del cuaderno que se ejecutan con él. Para crear la imagen, puede seguir los pasos del 1 al 4 de Cómo personalizar las imágenes de Docker. En el paso 1, notebook-spark debe usar el URI de imagen base del archivo de Docker en lugar de spark.

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    Para obtener más información sobre cómo seleccionar Regiones de AWS y las etiquetas de imagen de contenedor, consulte Información sobre cómo seleccionar un URI de imagen base.

  2. Cree un punto de conexión interactivo que se pueda utilizar con la imagen personalizada.

    1. Cree un archivo JSON denominado custom-image-managed-endpoint.json con el siguiente contenido. En este ejemplo, se utiliza la versión 6.9.0 de Amazon EMR.

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. Cree un punto de conexión interactivo con las configuraciones especificadas en el archivo JSON, tal como se muestra en el ejemplo siguiente. Para obtener más información, consulte Crear un punto de conexión interactivo con el comando create-managed-endpoint.

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. Conéctese al punto de conexión interactivo a través de EMR Studio. Para obtener más información y los pasos a seguir, consulte Conexión desde Studio en la sección Amazon EMR en EKS de los documentos de AWS Workshop Studio.