Immagine di kernel personalizzata con endpoint interattivo - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Immagine di kernel personalizzata con endpoint interattivo

Per assicurarti di disporre delle dipendenze corrette per l'applicazione quando esegui carichi di lavoro interattivi da Amazon EMR Studio, puoi personalizzare le immagini Docker per gli endpoint interattivi ed eseguire immagini di kernel personalizzate. Per creare un endpoint interattivo e collegarlo a un'immagine Docker personalizzata, completa la procedura seguente.

Nota

È possibile sovrascrivere solo le immagini di base. Non è possibile aggiungere nuovi tipi di immagini del kernel.

  1. Crea e pubblica un'immagine Docker personalizzata. L'immagine di base contiene il runtime Spark e i kernel del notebook che vengono eseguiti con esso. Per creare l'immagine, puoi seguire i passaggi da 1 a 4 riportati in Come personalizzare le immagini Docker. Nel passaggio 1, l'URI dell'immagine di base nel file Docker deve utilizzare notebook-spark al posto di spark.

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    Per ulteriori informazioni su come selezionare Regioni AWS e contenere i tag delle immagini, consulta. Dettagli per la selezione dell'URI di un'immagine di base

  2. Crea un endpoint interattivo che si possa utilizzare con l'immagine personalizzata.

    1. Crea un file JSON custom-image-managed-endpoint.json con i seguenti contenuti. Questo esempio utilizza la versione 6.9.0 di Amazon EMR.

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. Crea un endpoint interattivo utilizzando le configurazioni specificate nel file JSON come illustrato nell'esempio seguente. Per ulteriori informazioni, consulta Creazione di un endpoint interattivo con il comando create-managed-endpoint.

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. Connettiti all'endpoint interattivo attraverso EMR Studio. Per ulteriori informazioni e passaggi da completare, consulta Connecting from Studio nella sezione Amazon EMR on EKS dei documenti di AWS Workshop Studio.