Cómo empezar con el operador Spark para Amazon EMR en EKS

Si aún no lo ha hecho, complete los pasos de Configuración del operador Spark para Amazon EMR en EKS.

Autentica tu cliente Helm en el ECR registro de Amazon. En el siguiente comando, sustituye los region-id valores de la Cuentas de ECR registro de Amazon por región página por los que prefieras Región de AWS y por el ECR-registry-account valor correspondiente a la región.

aws ecr get-login-password \
--region region-id | helm registry login \
--username AWS \
--password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com

Instale el operador de Spark con el siguiente comando.

Para el --version parámetro del gráfico Helm, usa tu etiqueta de EMR lanzamiento de Amazon sin el emr- prefijo y el sufijo de fecha. Por ejemplo, con la versión emr-6.12.0-java17-latest, especifique 6.12.0-java17. El ejemplo del siguiente comando usa la versión emr-7.3.0-latest, por lo que especifica 7.3.0 para el gráfico de Helm --version.

helm install spark-operator-demo \
  oci://895885662937.dkr.ecr.region-id.amazonaws.com/spark-operator \
  --set emrContainers.awsRegion=region-id \
  --version 7.3.0 \
  --namespace spark-operator \
  --create-namespace 

De forma predeterminada, el comando crea una cuenta de servicio emr-containers-sa-spark-operator para el operador de Spark. Para usar una cuenta de servicio diferente, proporcione el argumento serviceAccounts.sparkoperator.name. Por ejemplo:

--set serviceAccounts.sparkoperator.name my-service-account-for-spark-operator

Si quiere usar el escalado automático vertical con el operador de Spark, agregue la siguiente línea al comando de instalación para admitir webhooks para el operador:

--set webhook.enable=true

Compruebe que haya instalado el gráfico de Helm con el comando helm list:

helm list --namespace spark-operator -o yaml

El comando helm list debería devolver la información de lanzamiento del gráfico de Helm recién implementado:

app_version: v1beta2-1.3.8-3.1.1
chart: spark-operator-7.3.0
name: spark-operator-demo
namespace: spark-operator
revision: "1"
status: deployed
updated: 2023-03-14 18:20:02.721638196 +0000 UTC

Complete la instalación con todas las opciones adicionales que necesite. Para obtener más información, consulta la spark-on-k8s-operatordocumentación sobre. GitHub

Antes de poder ejecutar una aplicación de Spark con el operador de Spark, complete los pasos indicados en Configuración del operador Spark para Amazon EMR en EKS y Instalar el operador de Spark.

Cree un archivo de definición de SparkApplication spark-pi.yaml con el siguiente contenido:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar"
  sparkVersion: "3.3.1"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.3.1
    serviceAccount: emr-containers-sa-spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.3.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

Luego, implemente la aplicación de Spark con el siguiente comando. Esto también creará un objeto SparkApplication denominado spark-pi:

kubectl apply -f spark-pi.yaml

Compruebe los eventos del objeto SparkApplication con el siguiente comando:

kubectl describe sparkapplication spark-pi --namespace spark-operator