Cómo comenzar a utilizar el operador de Spark para Amazon EMR en EKS

Si aún no lo ha hecho, complete los pasos de Configuración del operador de Spark para Amazon EMR en EKS.

Autentique su cliente de Helm en el registro de Amazon ECR. En el siguiente comando, sustituya los valores de region-id por la Región de AWS que prefiera y el valor correspondiente de la cuenta ECR-Registry-Account para la región de la página Cuentas de registro de Amazon ECR por región.

aws ecr get-login-password \
--region region-id | helm registry login \
--username AWS \
--password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com

Instale el operador de Spark con el siguiente comando.

Para el parámetro --version del gráfico de Helm, use su etiqueta de lanzamiento de Amazon EMR sin el prefijo emr- y sin el sufijo de fecha. Por ejemplo, con la versión emr-6.12.0-java17-latest, especifique 6.12.0-java17. El ejemplo del siguiente comando usa la versión emr-7.3.0-latest, por lo que especifica 7.3.0 para el gráfico de Helm --version.

helm install spark-operator-demo \
  oci://895885662937.dkr.ecr.region-id.amazonaws.com/spark-operator \
  --set emrContainers.awsRegion=region-id \
  --version 7.3.0 \
  --namespace spark-operator \
  --create-namespace 

De forma predeterminada, el comando crea una cuenta de servicio emr-containers-sa-spark-operator para el operador de Spark. Para usar una cuenta de servicio diferente, proporcione el argumento serviceAccounts.sparkoperator.name. Por ejemplo:

--set serviceAccounts.sparkoperator.name my-service-account-for-spark-operator

Si quiere usar el escalado automático vertical con el operador de Spark, agregue la siguiente línea al comando de instalación para admitir webhooks para el operador:

--set webhook.enable=true

Compruebe que haya instalado el gráfico de Helm con el comando helm list:

helm list --namespace spark-operator -o yaml

El comando helm list debería devolver la información de lanzamiento del gráfico de Helm recién implementado:

app_version: v1beta2-1.3.8-3.1.1
chart: spark-operator-7.3.0
name: spark-operator-demo
namespace: spark-operator
revision: "1"
status: deployed
updated: 2023-03-14 18:20:02.721638196 +0000 UTC

Complete la instalación con todas las opciones adicionales que necesite. Para obtener más información, consulte la documentación de spark-on-k8s-operator en GitHub.

Antes de poder ejecutar una aplicación de Spark con el operador de Spark, complete los pasos indicados en Configuración del operador de Spark para Amazon EMR en EKS y Instalar el operador de Spark.

Cree un archivo de definición de SparkApplication spark-pi.yaml con el siguiente contenido:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar"
  sparkVersion: "3.3.1"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.3.1
    serviceAccount: emr-containers-sa-spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.3.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

Luego, implemente la aplicación de Spark con el siguiente comando. Esto también creará un objeto SparkApplication denominado spark-pi:

kubectl apply -f spark-pi.yaml

Compruebe los eventos del objeto SparkApplication con el siguiente comando:

kubectl describe sparkapplication spark-pi --namespace spark-operator