As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Execute sessões interativas com o Amazon EMR no EKS por meio do Spark Connect

Com o Amazon EMR na versão EKS emr-7.14.0 e posterior (ou emr-spark-8.1.0 posterior), você pode se conectar a um endpoint gerenciado do Spark Connect a partir de PySpark clientes autogerenciadosVS Code, como, PyCharm e notebooks. Jupyter O Spark Connect usa uma arquitetura cliente-servidor que separa o código do aplicativo do processo do driver do Spark. Você desenvolve e depura PySpark código em seu IDE local enquanto as operações do Spark são executadas em seu cluster EKS por meio do Amazon EMR no EKS. O Spark Connect oferece os seguintes benefícios:

Um endpoint Spark Connect é um endpoint gerenciado em seu cluster virtual que hospeda um servidor Spark Connect. Quando você cria um endpoint Spark Connect, o Amazon EMR no EKS provisiona um driver Spark com um servidor gRPC em seu cluster EKS. Seu PySpark cliente local envia operações DataFrame de SQL para o driver por meio do endpoint gRPC. Para interagir com o endpoint, você obtém as credenciais da sessão usando a GetManagedEndpointSessionCredentials API. Cada endpoint oferece suporte a várias sessões simultâneas.

Pré-requisitos

Antes de criar um endpoint do Spark Connect, verifique se você tem o seguinte.

Os requisitos a seguir são específicos dos endpoints do Spark Connect:

Você também precisa dos seguintes recursos padrão do Amazon EMR em EKS. Se você já executa trabalhos no Amazon EMR no EKS, provavelmente tem os seguintes:

Permissões obrigatórias

Adicione as seguintes permissões à sua função do IAM para criar e interagir com um endpoint do Spark Connect:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRContainersEndpointAccess",
            "Effect": "Allow",
            "Action": [
                "emr-containers:CreateManagedEndpoint",
                "emr-containers:DescribeManagedEndpoint",
                "emr-containers:DeleteManagedEndpoint",
                "emr-containers:ListManagedEndpoints",
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id",
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/*"
            ]
        },
        {
            "Sid": "PassRoleToEKSPodIdentity",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/ExecutionRole",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "pods.eks.amazonaws.com"
                },
                "ArnLike": {
                    "iam:AssociatedResourceARN": [
                        "arn:aws:eks:region:account-id:cluster/eks-cluster-name"
                    ]
                }
            }
        }
    ]
}

Criar uma configuração de segurança

Os endpoints do Spark Connect exigem uma configuração de segurança associada ao seu cluster virtual. A configuração de segurança define as configurações de autenticação e autorização para o endpoint e especifica o namespace do sistema em que a infraestrutura do Spark Connect é executada.

Crie uma configuração de segurança com um namespace do sistema:

aws emr-containers create-security-configuration \
  --name "security-config-name" \
  --security-configuration-data '{
    "authenticationConfiguration": {
      "identityCenterConfiguration": {
        "enableIdentityCenter": false
      }
    }
  }' \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "system-namespace"
      }
    }
  }'

namespaceNa configuração de segurança está o namespace do sistema em que os componentes da infraestrutura do Spark Connect são executados. Isso é separado do namespace do usuário especificado ao criar o cluster virtual.

Crie um cluster virtual com o Spark Connect ativado

Crie um cluster virtual associado à configuração de segurança. Você deve sessionEnabled definir true e fornecer o securityConfigurationId da etapa anterior.

aws emr-containers create-virtual-cluster \
  --name "virtual-cluster-name" \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "user-namespace"
      }
    }
  }' \
  --security-configuration-id SECURITY_CONFIGURATION_ID \
  --session-enabled true

Crie um endpoint Spark Connect

Depois de criar uma configuração de segurança, crie um endpoint gerenciado pelo Spark Connect no seu cluster virtual.

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60

O exemplo a seguir inclui substituições de configuração do Spark com alocação dinâmica e uma configuração de monitoramento para exportar registros do Spark para o Amazon S3:

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60 \
  --configuration-overrides '{
    "applicationConfiguration": [
      {
        "classification": "spark-defaults",
        "properties": {
          "spark.driver.memory": "4g",
          "spark.executor.memory": "4g",
          "spark.executor.cores": "2",
          "spark.executor.instances": "3",
          "spark.dynamicAllocation.enabled": "true",
          "spark.dynamicAllocation.minExecutors": "3",
          "spark.dynamicAllocation.maxExecutors": "5"
        }
      }
    ],
    "monitoringConfiguration": {
      "s3MonitoringConfiguration": {
        "logUri": "s3://your-bucket/spark-connect-logs/"
      },
      "persistentAppUI": "ENABLED"
    }
  }'

Monitore o status do endpoint:

aws emr-containers describe-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --id ENDPOINT_ID

Espere até que o estado do endpoint esteja ACTIVE antes de se conectar.

Conecte-se a um endpoint Spark Connect

Depois que o endpoint estiver ativo, obtenha as credenciais da sessão e conecte-se a partir de um PySpark cliente.

O script Python a seguir obtém a URL do proxy de autenticação e o token de sessão e, em seguida, se conecta ao endpoint do Spark Connect:

import boto3
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

REGION = 'REGION'
VIRTUAL_CLUSTER_ID = 'VIRTUAL_CLUSTER_ID'
ENDPOINT_ID = 'ENDPOINT_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/ExecutionRole'

client = boto3.client('emr-containers', region_name=REGION)

# Get the auth proxy URL from DescribeManagedEndpoint
endpoint_response = client.describe_managed_endpoint(
    virtualClusterId=VIRTUAL_CLUSTER_ID,
    id=ENDPOINT_ID
)
auth_proxy_url = endpoint_response['endpoint']['authProxyUrl']

# Get session token
creds_response = client.get_managed_endpoint_session_credentials(
    virtualClusterIdentifier=VIRTUAL_CLUSTER_ID,
    endpointIdentifier=ENDPOINT_ID,
    executionRoleArn=EXECUTION_ROLE,
    credentialType='TOKEN'
)
token = creds_response['credentials']['token']

# Connect via Spark Connect using auth proxy URL and credentials token
connect_url = f"{auth_proxy_url}/;use_ssl=true;x-aws-proxy-auth={token}"
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

spark.stop()

Considerações e limitações

Considere o seguinte ao executar cargas de trabalho interativas por meio do Spark Connect no Amazon EMR no EKS.