為互動端點自訂 Docker 映像檔 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

為互動端點自訂 Docker 映像檔

也可以為互動端點自訂 Docker 映像檔,以便執行自訂的基礎核心映像。這有助於確保您擁有從 EMR Studio 執行互動式工作負載時所需的相依性。

  1. 請依照上述步驟 1-4 自訂 Docker 映像檔。對於 Amazon EMR 6.9.0 版及更新版本,您可以從 Amazon ECR Public Gallery URI 取得基本映像。對於 Amazon EMR 6.9.0 之前的版本,您可以在每個 中的 Amazon ECR Registry 帳戶中取得映像 AWS 區域,唯一的區別是 Dockerfile URI中的基本映像。基本映像URI遵循格式:

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    您需要在基本映像 notebook-spark 中使用 URI,而不是 spark。基礎映像包含 Spark 執行期和隨之一起執行的筆記本核心。如需有關選取區域和容器映像標籤的詳細資訊,請參閱 選取基礎映像的詳細資訊 URI

    注意

    目前僅支援覆寫基礎映像,且不支援引入基礎映像 AWS 以外的其他類型的全新核心。

  2. 建立可與自訂映像搭配使用的互動端點。

    首先,建立名為 JSON的檔案custom-image-managed-endpoint.json,其中包含下列內容。

    { "name": "endpoint-name", "virtualClusterId": "virtual-cluster-id", "type": "JUPYTER_ENTERPRISE_GATEWAY", "releaseLabel": "emr-6.6.0-latest", "executionRoleArn": "execution-role-arn", "certificateArn": "certificate-arn", "configurationOverrides": { "applicationConfiguration": [ { "classification": "jupyter-kernel-overrides", "configurations": [ { "classification": "python3", "properties": { "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest" } }, { "classification": "spark-python-kubernetes", "properties": { "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest" } } ] } ] } }

    接下來,使用JSON檔案中指定的組態建立互動式端點,如下列範例所示。

    aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

    如需詳細資訊,請參閱為虛擬叢集建立互動端點

  3. 透過 EMR Studio 連線至互動式端點。如需詳細資訊,請參閱從 Studio 連接