Amazon EMR on EKS에 대한 Spark 운영자 시작하기

아직 실행하지 않았다면, Amazon EMR on EKS에 대한 Spark 운영자 구성의 단계를 완료합니다.

Helm 클라이언트를 Amazon ECR 레지스트리에 인증합니다. 다음 명령에서 region-id 값을 원하는 AWS 리전및 리전별 Amazon ECR 레지스트리 계정 페이지에 있는 해당 리전에 대응하는 ECR-registry-account 값으로 바꿉니다.

aws ecr get-login-password \
--region region-id | helm registry login \
--username AWS \
--password-stdin ECR-registry-account.dkr.ecr.region-id.amazonaws.com

다음 명령을 사용하여 Spark 운영자를 설치합니다.

차트 Helm --version 파라미터의 경우 emr- 접두사 및 날짜 접미사가 제거된 Amazon EMR 릴리스 레이블을 사용합니다. 예를 들어, emr-6.12.0-java17-latest 릴리스에서 6.12.0-java17을 지정합니다. 다음 명령의 예제에서는 emr-7.6.0-latest 릴리스를 사용하므로 차트 Helm --version에 대해 7.6.0을 지정합니다.

helm install spark-operator-demo \
  oci://895885662937.dkr.ecr.region-id.amazonaws.com/spark-operator \
  --set emrContainers.awsRegion=region-id \
  --version 7.6.0 \
  --namespace spark-operator \
  --create-namespace 

기본적으로 이 명령은 Spark 운영자에 대한 서비스 계정 emr-containers-sa-spark-operator를 생성합니다. 다른 서비스 계정을 사용하려면 serviceAccounts.sparkoperator.name 인수를 제공합니다. 예시:

--set serviceAccounts.sparkoperator.name my-service-account-for-spark-operator

Spark 운영자에서 수직 자동 조정을 사용하려면 운영자에게 웹후크를 허용하도록 설치 명령에 다음 줄을 추가합니다.

--set webhook.enable=true

helm list 명령을 사용하여 차트 Helm을 설치했는지 확인합니다.

helm list --namespace spark-operator -o yaml

helm list 명령은 새로 배포된 차트 Helm 릴리스 정보를 반환해야 합니다.

app_version: v1beta2-1.3.8-3.1.1
chart: spark-operator-7.6.0
name: spark-operator-demo
namespace: spark-operator
revision: "1"
status: deployed
updated: 2023-03-14 18:20:02.721638196 +0000 UTC

필요한 추가 옵션을 사용하여 설치를 완료합니다. 자세한 내용은 GitHub의 spark-on-k8s-operator 설명서를 참조하세요.

Spark 운영자와 함께 Spark 애플리케이션을 실행하려면 먼저 Amazon EMR on EKS에 대한 Spark 운영자 구성 및 Spark 운영자 설치의 단계를 완료합니다.

다음 콘텐츠 예제가 포함된 SparkApplication 정의 파일 spark-pi.yaml을 생성합니다.

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: spark-operator
spec:
  type: Scala
  mode: cluster
  image: "895885662937.dkr.ecr.us-west-2.amazonaws.com/spark/emr-6.10.0:latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///usr/lib/spark/examples/jars/spark-examples.jar"
  sparkVersion: "3.3.1"
  restartPolicy:
    type: Never
  volumes:
    - name: "test-volume"
      hostPath:
        path: "/tmp"
        type: Directory
  driver:
    cores: 1
    coreLimit: "1200m"
    memory: "512m"
    labels:
      version: 3.3.1
    serviceAccount: emr-containers-sa-spark
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"
  executor:
    cores: 1
    instances: 1
    memory: "512m"
    labels:
      version: 3.3.1
    volumeMounts:
      - name: "test-volume"
        mountPath: "/tmp"

이제, 다음 명령을 사용하여 Spark 애플리케이션을 제출합니다. 이렇게 하면 이름이 spark-pi인 SparkApplication 객체도 생성됩니다.

kubectl apply -f spark-pi.yaml

다음 명령을 사용하여 SparkApplication 객체에 대한 이벤트를 확인합니다.

kubectl describe sparkapplication spark-pi --namespace spark-operator