Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Jalankan sesi interaktif dengan Amazon EMR di EKS melalui Spark Connect

Dengan Amazon EMR pada rilis EKS emr-7.14.0 dan yang lebih baru (atau yang emr-spark-8.1.0 lebih baru), Anda dapat terhubung ke titik akhir Spark Connect yang dikelola dari PySpark klien yang dikelola sendiri sepertiVS Code,PyCharm, dan Jupyter notebook. Spark Connect menggunakan arsitektur client-server yang memisahkan kode aplikasi Anda dari proses driver Spark. Anda mengembangkan dan men-debug PySpark kode di IDE lokal Anda sementara operasi Spark berjalan di cluster EKS Anda melalui Amazon EMR di EKS. Spark Connect menawarkan manfaat berikut:

Titik akhir Spark Connect adalah titik akhir terkelola pada cluster virtual Anda yang menghosting server Spark Connect. Saat Anda membuat titik akhir Spark Connect, Amazon EMR di EKS menyediakan driver Spark dengan server gRPC di cluster EKS Anda. PySpark Klien lokal Anda mengirim DataFrame dan operasi SQL ke driver melalui titik akhir gRPC. Untuk berinteraksi dengan titik akhir, Anda mendapatkan kredenSIAL sesi menggunakan GetManagedEndpointSessionCredentials API. Setiap titik akhir mendukung beberapa sesi bersamaan.

Prasyarat

Sebelum Anda membuat titik akhir Spark Connect, pastikan Anda memiliki yang berikut ini.

Persyaratan berikut khusus untuk titik akhir Spark Connect:

Anda juga memerlukan Amazon EMR standar berikut pada sumber daya EKS. Jika Anda sudah menjalankan pekerjaan di Amazon EMR di EKS, Anda mungkin memiliki ini:

Izin yang diperlukan

Tambahkan izin berikut ke peran IAM Anda untuk membuat dan berinteraksi dengan titik akhir Spark Connect:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRContainersEndpointAccess",
            "Effect": "Allow",
            "Action": [
                "emr-containers:CreateManagedEndpoint",
                "emr-containers:DescribeManagedEndpoint",
                "emr-containers:DeleteManagedEndpoint",
                "emr-containers:ListManagedEndpoints",
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id",
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/*"
            ]
        },
        {
            "Sid": "PassRoleToEKSPodIdentity",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/ExecutionRole",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "pods.eks.amazonaws.com"
                },
                "ArnLike": {
                    "iam:AssociatedResourceARN": [
                        "arn:aws:eks:region:account-id:cluster/eks-cluster-name"
                    ]
                }
            }
        }
    ]
}

Membuat konfigurasi keamanan

Titik akhir Spark Connect memerlukan konfigurasi keamanan yang terkait dengan cluster virtual Anda. Konfigurasi keamanan menentukan pengaturan otentikasi dan otorisasi untuk titik akhir, dan menentukan namespace sistem tempat infrastruktur Spark Connect berjalan.

Buat konfigurasi keamanan dengan namespace sistem:

aws emr-containers create-security-configuration \
  --name "security-config-name" \
  --security-configuration-data '{
    "authenticationConfiguration": {
      "identityCenterConfiguration": {
        "enableIdentityCenter": false
      }
    }
  }' \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "system-namespace"
      }
    }
  }'

namespaceDalam konfigurasi keamanan adalah namespace sistem tempat komponen infrastruktur Spark Connect berjalan. Ini terpisah dari namespace pengguna yang ditentukan saat membuat cluster virtual.

Buat cluster virtual dengan Spark Connect diaktifkan

Buat cluster virtual yang terkait dengan konfigurasi keamanan. Anda harus sessionEnabled mengatur true dan memberikan securityConfigurationId dari langkah sebelumnya.

aws emr-containers create-virtual-cluster \
  --name "virtual-cluster-name" \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "user-namespace"
      }
    }
  }' \
  --security-configuration-id SECURITY_CONFIGURATION_ID \
  --session-enabled true

Membuat titik akhir Spark Connect

Setelah membuat konfigurasi keamanan, buat titik akhir terkelola Spark Connect di cluster virtual Anda.

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60

Contoh berikut mencakup penggantian konfigurasi Spark dengan alokasi dinamis dan konfigurasi pemantauan untuk mengekspor log Spark ke Amazon S3:

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60 \
  --configuration-overrides '{
    "applicationConfiguration": [
      {
        "classification": "spark-defaults",
        "properties": {
          "spark.driver.memory": "4g",
          "spark.executor.memory": "4g",
          "spark.executor.cores": "2",
          "spark.executor.instances": "3",
          "spark.dynamicAllocation.enabled": "true",
          "spark.dynamicAllocation.minExecutors": "3",
          "spark.dynamicAllocation.maxExecutors": "5"
        }
      }
    ],
    "monitoringConfiguration": {
      "s3MonitoringConfiguration": {
        "logUri": "s3://your-bucket/spark-connect-logs/"
      },
      "persistentAppUI": "ENABLED"
    }
  }'

Pantau status titik akhir:

aws emr-containers describe-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --id ENDPOINT_ID

Tunggu hingga status titik akhir ACTIVE sebelum menghubungkan.

Menghubungkan ke titik akhir Spark Connect

Setelah titik akhir aktif, dapatkan kredentif sesi dan sambungkan dari PySpark klien.

Skrip Python berikut memperoleh URL proxy autentikasi dan token sesi, lalu terhubung ke titik akhir Spark Connect:

import boto3
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

REGION = 'REGION'
VIRTUAL_CLUSTER_ID = 'VIRTUAL_CLUSTER_ID'
ENDPOINT_ID = 'ENDPOINT_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/ExecutionRole'

client = boto3.client('emr-containers', region_name=REGION)

# Get the auth proxy URL from DescribeManagedEndpoint
endpoint_response = client.describe_managed_endpoint(
    virtualClusterId=VIRTUAL_CLUSTER_ID,
    id=ENDPOINT_ID
)
auth_proxy_url = endpoint_response['endpoint']['authProxyUrl']

# Get session token
creds_response = client.get_managed_endpoint_session_credentials(
    virtualClusterIdentifier=VIRTUAL_CLUSTER_ID,
    endpointIdentifier=ENDPOINT_ID,
    executionRoleArn=EXECUTION_ROLE,
    credentialType='TOKEN'
)
token = creds_response['credentials']['token']

# Connect via Spark Connect using auth proxy URL and credentials token
connect_url = f"{auth_proxy_url}/;use_ssl=true;x-aws-proxy-auth={token}"
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

spark.stop()

Pertimbangan dan batasan

Pertimbangkan hal berikut saat menjalankan beban kerja interaktif melalui Spark Connect di Amazon EMR di EKS.