Gambar kernel kustom dengan endpoint interaktif - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gambar kernel kustom dengan endpoint interaktif

Untuk memastikan bahwa Anda memiliki dependensi yang benar untuk aplikasi saat menjalankan beban kerja interaktif dari Amazon EMR Studio, Anda dapat menyesuaikan gambar Docker untuk titik akhir interaktif dan menjalankan image kernel dasar yang disesuaikan. Untuk membuat endpoint interaktif dan menghubungkannya dengan image Docker kustom, lakukan langkah-langkah berikut.

catatan

Anda hanya dapat mengganti gambar dasar. Anda tidak dapat menambahkan jenis gambar kernel baru.

  1. Buat dan publikasikan gambar Docker yang disesuaikan. Gambar dasar berisi runtime Spark dan kernel notebook yang berjalan dengannya. Untuk membuat gambar, Anda dapat mengikuti langkah 1 hingga 4 inCara menyesuaikan gambar Docker. Pada langkah 1, URI gambar dasar dalam file Docker Anda harus digunakan notebook-spark sebagai pengganti. spark

    ECR-registry-account.dkr.ecr.Region.amazonaws.com/notebook-spark/container-image-tag

    Untuk informasi selengkapnya tentang cara memilih Wilayah AWS dan menampung tag gambar, lihatDetail untuk memilih URI gambar dasar.

  2. Buat endpoint interaktif yang dapat digunakan dengan gambar kustom.

    1. Buat file JSON custom-image-managed-endpoint.json dengan konten berikut. Contoh ini menggunakan Amazon EMR rilis 6.9.0.

      {
    "name": "endpoint-name",
    "virtualClusterId": "virtual-cluster-id",
    "type": "JUPYTER_ENTERPRISE_GATEWAY",
    "releaseLabel": "emr-6.9.0-latest",
    "executionRoleArn": "execution-role-arn",
    "configurationOverrides": {
        "applicationConfiguration": [
            {
                "classification": "jupyter-kernel-overrides",
                "configurations": [
                    {
                        "classification": "python3",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-python:latest"
                        }
                    },
                    {
                        "classification": "spark-python-kubernetes",
                        "properties": {
                            "container-image": "123456789012.dkr.ecr.us-west-2.amazonaws.com/custom-notebook-spark:latest"
                        }
                    }
                ] 
            }
        ]
    }
}

    2. Buat endpoint interaktif dengan konfigurasi yang ditentukan dalam file JSON seperti yang ditunjukkan pada contoh berikut. Untuk informasi selengkapnya, lihat Buat endpoint interaktif dengan perintah create-managed-endpoint.

      aws emr-containers create-managed-endpoint --cli-input-json custom-image-managed-endpoint.json

  3. Connect ke endpoint interaktif melalui EMR Studio. Untuk informasi selengkapnya dan langkah-langkah yang harus diselesaikan, lihat Menghubungkan dari Studio di bagian Amazon EMR di EKS pada dokumen AWS Workshop Studio.