Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Realice sesiones interactivas con Amazon EMR en EKS a través de Spark Connect

Con Amazon EMR en la versión EKS emr-7.14.0 y posteriores (o emr-spark-8.1.0 posteriores), puede conectarse a un punto de enlace gestionado de Spark Connect desde PySpark clientes autogestionadosVS Code, como ordenadores portátilesPyCharm, y Jupyter ordenadores portátiles. Spark Connect utiliza una arquitectura cliente-servidor que desvincula el código de la aplicación del proceso del controlador de Spark. Desarrollas y depuras PySpark código en tu IDE local mientras las operaciones de Spark se ejecutan en tu clúster de EKS a través de Amazon EMR en EKS. Spark Connect ofrece las siguientes ventajas:

Un punto final de Spark Connect es un punto final administrado en su clúster virtual que aloja un servidor de Spark Connect. Al crear un punto de enlace de Spark Connect, Amazon EMR en EKS aprovisiona un controlador de Spark con un servidor gRPC en su clúster de EKS. Su PySpark cliente local envía DataFrame operaciones de SQL al controlador a través del punto de enlace de gRPC. Para interactuar con el punto final, obtienes las credenciales de sesión mediante la GetManagedEndpointSessionCredentials API. Cada punto final admite varias sesiones simultáneas.

Requisitos previos

Antes de crear un punto final de Spark Connect, asegúrate de tener lo siguiente.

Los siguientes requisitos son específicos de los terminales de Spark Connect:

También necesita los siguientes recursos estándar de Amazon EMR en EKS. Si ya ejecuta trabajos en Amazon EMR en EKS, es probable que ya disponga de los siguientes:

Permisos necesarios

Añade los siguientes permisos a tu rol de IAM para crear un punto final de Spark Connect e interactuar con él:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRContainersEndpointAccess",
            "Effect": "Allow",
            "Action": [
                "emr-containers:CreateManagedEndpoint",
                "emr-containers:DescribeManagedEndpoint",
                "emr-containers:DeleteManagedEndpoint",
                "emr-containers:ListManagedEndpoints",
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id",
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/*"
            ]
        },
        {
            "Sid": "PassRoleToEKSPodIdentity",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/ExecutionRole",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "pods.eks.amazonaws.com"
                },
                "ArnLike": {
                    "iam:AssociatedResourceARN": [
                        "arn:aws:eks:region:account-id:cluster/eks-cluster-name"
                    ]
                }
            }
        }
    ]
}

Creación de una configuración de seguridad

Los terminales de Spark Connect requieren una configuración de seguridad asociada a tu clúster virtual. La configuración de seguridad define los ajustes de autenticación y autorización del punto final y especifica el espacio de nombres del sistema en el que se ejecuta la infraestructura de Spark Connect.

Cree una configuración de seguridad con un espacio de nombres del sistema:

aws emr-containers create-security-configuration \
  --name "security-config-name" \
  --security-configuration-data '{
    "authenticationConfiguration": {
      "identityCenterConfiguration": {
        "enableIdentityCenter": false
      }
    }
  }' \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "system-namespace"
      }
    }
  }'

La configuración de seguridad es el espacio de nombres del sistema namespace en el que se ejecutan los componentes de la infraestructura de Spark Connect. Es independiente del espacio de nombres de usuario especificado al crear el clúster virtual.

Crea un clúster virtual con Spark Connect activado

Cree un clúster virtual asociado a la configuración de seguridad. Debe establecer true y sessionEnabled proporcionar el valor securityConfigurationId del paso anterior.

aws emr-containers create-virtual-cluster \
  --name "virtual-cluster-name" \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "user-namespace"
      }
    }
  }' \
  --security-configuration-id SECURITY_CONFIGURATION_ID \
  --session-enabled true

Crea un punto final de Spark Connect

Tras crear una configuración de seguridad, crea un punto final administrado de Spark Connect en tu clúster virtual.

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60

El siguiente ejemplo incluye las anulaciones de configuración de Spark con asignación dinámica y una configuración de supervisión para exportar los registros de Spark a Amazon S3:

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60 \
  --configuration-overrides '{
    "applicationConfiguration": [
      {
        "classification": "spark-defaults",
        "properties": {
          "spark.driver.memory": "4g",
          "spark.executor.memory": "4g",
          "spark.executor.cores": "2",
          "spark.executor.instances": "3",
          "spark.dynamicAllocation.enabled": "true",
          "spark.dynamicAllocation.minExecutors": "3",
          "spark.dynamicAllocation.maxExecutors": "5"
        }
      }
    ],
    "monitoringConfiguration": {
      "s3MonitoringConfiguration": {
        "logUri": "s3://your-bucket/spark-connect-logs/"
      },
      "persistentAppUI": "ENABLED"
    }
  }'

Supervise el estado del punto final:

aws emr-containers describe-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --id ENDPOINT_ID

Espere hasta que el estado del punto final esté ACTIVE antes de conectarse.

Conéctate a un punto final de Spark Connect

Cuando el punto final esté activo, obtenga las credenciales de la sesión y conéctese desde un PySpark cliente.

La siguiente secuencia de comandos de Python obtiene la URL del proxy de autenticación y el token de sesión y, a continuación, se conecta al punto final de Spark Connect:

import boto3
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

REGION = 'REGION'
VIRTUAL_CLUSTER_ID = 'VIRTUAL_CLUSTER_ID'
ENDPOINT_ID = 'ENDPOINT_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/ExecutionRole'

client = boto3.client('emr-containers', region_name=REGION)

# Get the auth proxy URL from DescribeManagedEndpoint
endpoint_response = client.describe_managed_endpoint(
    virtualClusterId=VIRTUAL_CLUSTER_ID,
    id=ENDPOINT_ID
)
auth_proxy_url = endpoint_response['endpoint']['authProxyUrl']

# Get session token
creds_response = client.get_managed_endpoint_session_credentials(
    virtualClusterIdentifier=VIRTUAL_CLUSTER_ID,
    endpointIdentifier=ENDPOINT_ID,
    executionRoleArn=EXECUTION_ROLE,
    credentialType='TOKEN'
)
token = creds_response['credentials']['token']

# Connect via Spark Connect using auth proxy URL and credentials token
connect_url = f"{auth_proxy_url}/;use_ssl=true;x-aws-proxy-auth={token}"
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

spark.stop()

Consideraciones y limitaciones

Tenga en cuenta lo siguiente al ejecutar cargas de trabajo interactivas a través de Spark Connect en Amazon EMR en EKS.