Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Esegui sessioni interattive con Amazon EMR su EKS tramite Spark Connect

Con Amazon EMR nella versione EKS emr-7.14.0 e successive (o emr-spark-8.1.0 successive), puoi connetterti a un endpoint Spark Connect gestito da PySpark client autogestiti come, e notebook. VS Code PyCharm Jupyter Spark Connect utilizza un'architettura client-server che separa il codice dell'applicazione dal processo del driver Spark. Sviluppi ed esegui il debug PySpark del codice nel tuo IDE locale mentre le operazioni Spark vengono eseguite sul tuo cluster EKS tramite Amazon EMR su EKS. Spark Connect offre i seguenti vantaggi:

Un endpoint Spark Connect è un endpoint gestito sul tuo cluster virtuale che ospita un server Spark Connect. Quando crei un endpoint Spark Connect, Amazon EMR su EKS esegue il provisioning di un driver Spark con un server gRPC sul tuo cluster EKS. Il PySpark client locale invia DataFrame operazioni SQL al driver tramite l'endpoint gRPC. Per interagire con l'endpoint, si ottengono le credenziali di sessione utilizzando l'API. GetManagedEndpointSessionCredentials Ogni endpoint supporta più sessioni simultanee.

Prerequisiti

Prima di creare un endpoint Spark Connect, assicurati di avere quanto segue.

I seguenti requisiti sono specifici per gli endpoint Spark Connect:

Sono inoltre necessarie le seguenti risorse Amazon EMR on EKS standard. Se esegui già processi su Amazon EMR su EKS, probabilmente li hai già pronti:

Autorizzazioni richieste

Aggiungi le seguenti autorizzazioni al tuo ruolo IAM per creare e interagire con un endpoint Spark Connect:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRContainersEndpointAccess",
            "Effect": "Allow",
            "Action": [
                "emr-containers:CreateManagedEndpoint",
                "emr-containers:DescribeManagedEndpoint",
                "emr-containers:DeleteManagedEndpoint",
                "emr-containers:ListManagedEndpoints",
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id",
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/*"
            ]
        },
        {
            "Sid": "PassRoleToEKSPodIdentity",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/ExecutionRole",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "pods.eks.amazonaws.com"
                },
                "ArnLike": {
                    "iam:AssociatedResourceARN": [
                        "arn:aws:eks:region:account-id:cluster/eks-cluster-name"
                    ]
                }
            }
        }
    ]
}

Creazione di una configurazione di sicurezza

Gli endpoint Spark Connect richiedono una configurazione di sicurezza associata al cluster virtuale. La configurazione di sicurezza definisce le impostazioni di autenticazione e autorizzazione per l'endpoint e specifica lo spazio dei nomi di sistema in cui viene eseguita l'infrastruttura Spark Connect.

Crea una configurazione di sicurezza con uno spazio dei nomi di sistema:

aws emr-containers create-security-configuration \
  --name "security-config-name" \
  --security-configuration-data '{
    "authenticationConfiguration": {
      "identityCenterConfiguration": {
        "enableIdentityCenter": false
      }
    }
  }' \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "system-namespace"
      }
    }
  }'

namespaceNella configurazione di sicurezza si trova lo spazio dei nomi di sistema in cui vengono eseguiti i componenti dell'infrastruttura Spark Connect. Questo è separato dallo spazio dei nomi utente specificato durante la creazione del cluster virtuale.

Crea un cluster virtuale con Spark Connect abilitato

Crea un cluster virtuale associato alla configurazione di sicurezza. È necessario sessionEnabled impostare true e fornire quanto securityConfigurationId indicato nel passaggio precedente.

aws emr-containers create-virtual-cluster \
  --name "virtual-cluster-name" \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "user-namespace"
      }
    }
  }' \
  --security-configuration-id SECURITY_CONFIGURATION_ID \
  --session-enabled true

Crea un endpoint Spark Connect

Dopo aver creato una configurazione di sicurezza, crea un endpoint gestito da Spark Connect sul tuo cluster virtuale.

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60

L'esempio seguente include le sostituzioni della configurazione di Spark con allocazione dinamica e una configurazione di monitoraggio per esportare i log di Spark in Amazon S3:

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60 \
  --configuration-overrides '{
    "applicationConfiguration": [
      {
        "classification": "spark-defaults",
        "properties": {
          "spark.driver.memory": "4g",
          "spark.executor.memory": "4g",
          "spark.executor.cores": "2",
          "spark.executor.instances": "3",
          "spark.dynamicAllocation.enabled": "true",
          "spark.dynamicAllocation.minExecutors": "3",
          "spark.dynamicAllocation.maxExecutors": "5"
        }
      }
    ],
    "monitoringConfiguration": {
      "s3MonitoringConfiguration": {
        "logUri": "s3://your-bucket/spark-connect-logs/"
      },
      "persistentAppUI": "ENABLED"
    }
  }'

Monitora lo stato dell'endpoint:

aws emr-containers describe-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --id ENDPOINT_ID

Attendi lo stato dell'endpoint ACTIVE prima di connetterti.

Connettiti a un endpoint Spark Connect

Dopo che l'endpoint è attivo, ottieni le credenziali di sessione e connettiti da un client. PySpark

Il seguente script Python ottiene l'URL del proxy di autenticazione e il token di sessione, quindi si connette all'endpoint Spark Connect:

import boto3
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

REGION = 'REGION'
VIRTUAL_CLUSTER_ID = 'VIRTUAL_CLUSTER_ID'
ENDPOINT_ID = 'ENDPOINT_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/ExecutionRole'

client = boto3.client('emr-containers', region_name=REGION)

# Get the auth proxy URL from DescribeManagedEndpoint
endpoint_response = client.describe_managed_endpoint(
    virtualClusterId=VIRTUAL_CLUSTER_ID,
    id=ENDPOINT_ID
)
auth_proxy_url = endpoint_response['endpoint']['authProxyUrl']

# Get session token
creds_response = client.get_managed_endpoint_session_credentials(
    virtualClusterIdentifier=VIRTUAL_CLUSTER_ID,
    endpointIdentifier=ENDPOINT_ID,
    executionRoleArn=EXECUTION_ROLE,
    credentialType='TOKEN'
)
token = creds_response['credentials']['token']

# Connect via Spark Connect using auth proxy URL and credentials token
connect_url = f"{auth_proxy_url}/;use_ssl=true;x-aws-proxy-auth={token}"
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

spark.stop()

Considerazioni e limitazioni

Considera quanto segue quando esegui carichi di lavoro interattivi tramite Spark Connect su Amazon EMR su EKS.