Benutzerdefiniertes Kernel-Image mit interaktivem Endpunkt - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Benutzerdefiniertes Kernel-Image mit interaktivem Endpunkt

Um sicherzustellen, dass Sie die richtigen Abhängigkeiten für Ihre Anwendung haben, wenn Sie interaktive Workloads von Amazon EMR Studio aus ausführen, können Sie Docker-Images für interaktive Endpunkte anpassen und benutzerdefinierte Basis-Kernel-Images ausführen. Um einen interaktiven Endpunkt zu erstellen und ihn mit einem benutzerdefinierten Docker-Image zu verbinden, führen Sie die folgenden Schritte aus.

Anmerkung

Sie können nur Basis-Images überschreiben. Sie können keine neuen Kernel-Image-Typen hinzufügen.

  1. Erstellen und veröffentlichen Sie ein benutzerdefiniertes Docker-Image. Das Basis-Image enthält die Spark-Laufzeit und die Notebook-Kernel, die damit ausgeführt werden. Um das Image zu erstellen, können Sie die Schritte 1 bis 4 unter Wie passen Sie Docker-Images an ausführen. In Schritt 1 muss das Basis-Image URI in Ihrer Docker-Datei anstelle von verwendet notebook-spark werden. spark

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    Weitere Informationen zur Auswahl AWS-Regionen und zum Containern von Image-Tags finden Sie unterEinzelheiten zur Auswahl eines Basis-Images URI.

  2. Erstellen Sie einen interaktiven Endpunkt, der mit dem benutzerdefinierten Image verwendet werden kann.

    1. Erstellen Sie eine JSON Datei custom-image-managed-endpoint.json mit dem folgenden Inhalt. In diesem Beispiel wird EMR Amazon-Version 6.9.0 verwendet.

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. Erstellen Sie einen interaktiven Endpunkt mit den in der JSON Datei angegebenen Konfigurationen, wie im folgenden Beispiel gezeigt. Weitere Informationen finden Sie unter Erstellen Sie einen interaktiven Endpunkt mit dem create-managed-endpoint-Befehl.

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. Stellen Sie über EMR Studio Connect zum interaktiven Endpunkt her. Weitere Informationen und auszuführende Schritte finden Sie im EKS Abschnitt Connecting from Studio in Amazon EMR on der AWS Workshop Studio-Dokumentation.