Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Führen Sie interaktive Sitzungen mit Amazon EMR auf EKS über Spark Connect durch

Mit Amazon EMR in der EKS-Version emr-7.14.0 und höher (oder später) können Sie von selbstverwalteten PySpark Clients wieVS Code,, emr-spark-8.1.0 und Notebooks aus eine Verbindung zu einem verwalteten Spark Connect-Endpunkt herstellen. PyCharm Jupyter Spark Connect verwendet eine Client-Server-Architektur, die Ihren Anwendungscode vom Spark-Treiberprozess entkoppelt. Sie entwickeln und debuggen PySpark Code in Ihrer lokalen IDE, während Spark-Operationen auf Ihrem EKS-Cluster über Amazon EMR auf EKS ausgeführt werden. Spark Connect bietet die folgenden Vorteile:

Ein Spark Connect-Endpunkt ist ein verwalteter Endpunkt in Ihrem virtuellen Cluster, der einen Spark Connect-Server hostet. Wenn Sie einen Spark Connect-Endpunkt erstellen, stellt Amazon EMR auf EKS einen Spark-Treiber mit einem gRPC-Server auf Ihrem EKS-Cluster bereit. Ihr lokaler PySpark Client sendet DataFrame SQL-Operationen über den gRPC-Endpunkt an den Treiber. Um mit dem Endpunkt zu interagieren, erhalten Sie mithilfe der GetManagedEndpointSessionCredentials API Anmeldeinformationen für die Sitzung. Jeder Endpunkt unterstützt mehrere gleichzeitige Sitzungen.

Voraussetzungen

Bevor Sie einen Spark Connect-Endpunkt erstellen, stellen Sie sicher, dass Sie über Folgendes verfügen.

Die folgenden Anforderungen gelten spezifisch für Spark Connect-Endpoints:

Sie benötigen außerdem den folgenden Standard-Amazon EMR für EKS-Ressourcen. Wenn Sie bereits Jobs auf Amazon EMR auf EKS ausführen, haben Sie diese wahrscheinlich eingerichtet:

Erforderliche Berechtigungen

Fügen Sie Ihrer IAM-Rolle die folgenden Berechtigungen hinzu, um einen Spark Connect-Endpoint zu erstellen und mit ihm zu interagieren:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EMRContainersEndpointAccess",
            "Effect": "Allow",
            "Action": [
                "emr-containers:CreateManagedEndpoint",
                "emr-containers:DescribeManagedEndpoint",
                "emr-containers:DeleteManagedEndpoint",
                "emr-containers:ListManagedEndpoints",
                "emr-containers:GetManagedEndpointSessionCredentials"
            ],
            "Resource": [
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id",
                "arn:aws:emr-containers:region:account-id:/virtualclusters/virtual-cluster-id/endpoints/*"
            ]
        },
        {
            "Sid": "PassRoleToEKSPodIdentity",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::account-id:role/ExecutionRole",
            "Condition": {
                "StringEquals": {
                    "iam:PassedToService": "pods.eks.amazonaws.com"
                },
                "ArnLike": {
                    "iam:AssociatedResourceARN": [
                        "arn:aws:eks:region:account-id:cluster/eks-cluster-name"
                    ]
                }
            }
        }
    ]
}

Eine Sicherheitskonfiguration erstellen

Für Spark Connect-Endpunkte ist eine Sicherheitskonfiguration erforderlich, die Ihrem virtuellen Cluster zugeordnet ist. Die Sicherheitskonfiguration definiert die Authentifizierungs- und Autorisierungseinstellungen für den Endpunkt und gibt den System-Namespace an, auf dem die Spark Connect-Infrastruktur ausgeführt wird.

Erstellen Sie eine Sicherheitskonfiguration mit einem System-Namespace:

aws emr-containers create-security-configuration \
  --name "security-config-name" \
  --security-configuration-data '{
    "authenticationConfiguration": {
      "identityCenterConfiguration": {
        "enableIdentityCenter": false
      }
    }
  }' \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "system-namespace"
      }
    }
  }'

namespaceIn der Sicherheitskonfiguration ist dies der System-Namespace, in dem die Infrastrukturkomponenten von Spark Connect ausgeführt werden. Dieser ist getrennt von dem Benutzernamespace, der bei der Erstellung des virtuellen Clusters angegeben wurde.

Erstellen Sie einen virtuellen Cluster mit aktiviertem Spark Connect

Erstellen Sie einen virtuellen Cluster, der der Sicherheitskonfiguration zugeordnet ist. Sie müssen sessionEnabled den Wert securityConfigurationId aus dem vorherigen Schritt auswählen true und angeben.

aws emr-containers create-virtual-cluster \
  --name "virtual-cluster-name" \
  --container-provider '{
    "type": "EKS",
    "id": "eks-cluster-name",
    "info": {
      "eksInfo": {
        "namespace": "user-namespace"
      }
    }
  }' \
  --security-configuration-id SECURITY_CONFIGURATION_ID \
  --session-enabled true

Erstellen Sie einen Spark Connect-Endpunkt

Nachdem Sie eine Sicherheitskonfiguration erstellt haben, erstellen Sie einen von Spark Connect verwalteten Endpunkt in Ihrem virtuellen Cluster.

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60

Das folgende Beispiel beinhaltet Spark-Konfigurationsüberschreibungen mit dynamischer Zuweisung und eine Überwachungskonfiguration für den Export von Spark-Protokollen nach Amazon S3:

aws emr-containers create-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --name "spark-connect-endpoint" \
  --type "SPARK_CONNECT" \
  --release-label "emr-7.14.0-latest" \
  --execution-role-arn "arn:aws:iam::account-id:role/ExecutionRole" \
  --session-idle-timeout-in-minutes 60 \
  --configuration-overrides '{
    "applicationConfiguration": [
      {
        "classification": "spark-defaults",
        "properties": {
          "spark.driver.memory": "4g",
          "spark.executor.memory": "4g",
          "spark.executor.cores": "2",
          "spark.executor.instances": "3",
          "spark.dynamicAllocation.enabled": "true",
          "spark.dynamicAllocation.minExecutors": "3",
          "spark.dynamicAllocation.maxExecutors": "5"
        }
      }
    ],
    "monitoringConfiguration": {
      "s3MonitoringConfiguration": {
        "logUri": "s3://your-bucket/spark-connect-logs/"
      },
      "persistentAppUI": "ENABLED"
    }
  }'

Überwachen Sie den Endpunktstatus:

aws emr-containers describe-managed-endpoint \
  --virtual-cluster-id VIRTUAL_CLUSTER_ID \
  --id ENDPOINT_ID

Warten Sie, bis der Endpunktstatus erreicht ist, ACTIVE bevor Sie eine Verbindung herstellen.

Stellen Sie eine Verbindung zu einem Spark Connect-Endpunkt her

Nachdem der Endpunkt aktiv ist, rufen Sie die Anmeldeinformationen für die Sitzung ab und stellen Sie von einem PySpark Client aus eine Verbindung her.

Das folgende Python-Skript ruft die Auth-Proxy-URL und das Sitzungstoken ab und stellt dann eine Verbindung zum Spark Connect-Endpunkt her:

import boto3
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

REGION = 'REGION'
VIRTUAL_CLUSTER_ID = 'VIRTUAL_CLUSTER_ID'
ENDPOINT_ID = 'ENDPOINT_ID'
EXECUTION_ROLE = 'arn:aws:iam::account-id:role/ExecutionRole'

client = boto3.client('emr-containers', region_name=REGION)

# Get the auth proxy URL from DescribeManagedEndpoint
endpoint_response = client.describe_managed_endpoint(
    virtualClusterId=VIRTUAL_CLUSTER_ID,
    id=ENDPOINT_ID
)
auth_proxy_url = endpoint_response['endpoint']['authProxyUrl']

# Get session token
creds_response = client.get_managed_endpoint_session_credentials(
    virtualClusterIdentifier=VIRTUAL_CLUSTER_ID,
    endpointIdentifier=ENDPOINT_ID,
    executionRoleArn=EXECUTION_ROLE,
    credentialType='TOKEN'
)
token = creds_response['credentials']['token']

# Connect via Spark Connect using auth proxy URL and credentials token
connect_url = f"{auth_proxy_url}/;use_ssl=true;x-aws-proxy-auth={token}"
spark = SparkSession.builder.remote(connect_url).getOrCreate()
print(f"Connected. Spark version: {spark.version}")

# Run DataFrame operations
df = spark.range(100).withColumn("squared", col("id") * col("id"))
df.show(10)
print(f"Count: {df.count()}")

spark.stop()

Überlegungen und Einschränkungen

Beachten Sie Folgendes, wenn Sie interaktive Workloads über Spark Connect auf Amazon EMR auf EKS ausführen.