Uso do ajuste de escala automático vertical com o operador do Spark para Amazon EMR no EKS

A partir do Amazon EMR 7.0, você pode usar o ajuste de escala automático vertical do Amazon EMR no EKS para simplificar o gerenciamento de recursos. Ela ajusta automaticamente os recursos de memória e de CPU para se adaptar às necessidades da workload fornecida para aplicações do Spark no Amazon EMR. Para ter mais informações, consulte Uso da escalabilidade automática vertical com trabalhos do Spark no Amazon EMR.

Esta seção descreve como configurar o operador Spark para usar o ajuste de escala automático vertical.

Pré-requisitos

Antes de usar continuar, verifique se você concluiu estas configurações:

Execute um trabalho com ajuste de escala automático vertical no operador do Spark

Antes de executar uma aplicação do Spark com o operador do Spark, conclua as etapas em Pré-requisitos.

Para usar o ajuste de escala automático vertical com o operador do Spark, adicione a seguinte configuração ao driver da especificação da aplicação do Spark para ativar o ajuste de escala automático vertical:

dynamicSizing:
  mode: Off
  signature: "my-signature"

Essa configuração permite o ajuste de escala automático vertical e é uma configuração de assinatura obrigatória que permite escolher uma assinatura para o trabalho.

Para obter mais informações sobre as configurações e os valores dos parâmetros, consulte Configuring vertical autoscaling for Amazon EMR on EKS. Por padrão, seu trabalho é enviado com a opção somente monitoramento no modo Desativado para a escalabilidade automática vertical. Esse estado de monitoramento permite calcular e visualizar recomendações de recursos sem realizar a escalabilidade automática. Para obter mais informações, consulte Vertical autoscaling modes.

O exemplo a seguir mostra um arquivo de definição SparkApplication chamado spark-pi.yaml com as configurações necessárias para usar ajuste de escala automático vertical.

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-7.3.0:latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar"
  sparkVersion: "3.4.1"
  dynamicSizing:
    mode: Off
    signature: "my-signature"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.4.1
    serviceAccount: emr-containers-sa-spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.4.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

Agora, envie a aplicação do Spark com o comando apresentado a seguir. Isso também criará um objeto SparkApplication chamado spark-pi:

kubectl apply -f spark-pi.yaml

Para obter mais informações sobre o envio de aplicações ao Spark usando o operador do Spark, consulte Using a SparkApplication na documentação spark-on-k8s-operator no GitHub.

Verificação de funcionalidade da escalabilidade automática vertical

Para verificar se a escalabilidade automática vertical está funcionando corretamente para o trabalho enviado, use kubectl para obter o recurso personalizado verticalpodautoscaler e visualizar suas recomendações de escalabilidade.

kubectl get verticalpodautoscalers --all-namespaces \ 
-l=emr-containers.amazonaws.com/dynamic.sizing.signature=my-signature

A saída desta consulta deve ser semelhante à seguinte:

NAMESPACE        NAME                                                          MODE   CPU   MEM         PROVIDED   AGE
spark-operator   ds-p73j6mkosvc4xeb3gr7x4xol2bfcw5evqimzqojrlysvj3giozuq-vpa   Off          580026651   True       15m

Se a saída não for semelhante ou tiver um código de erro, consulte Solução de problemas de escalabilidade automática vertical do Amazon EMR no EKS para obter passos que ajudam a resolver o problema.

Para remover pods e aplicações, execute o seguinte comando:

kubectl delete sparkapplication spark-pi