기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon SageMaker HyperPod 추론 릴리스 정보

이 주제에서는 Amazon SageMaker HyperPod 추론의 업데이트, 수정 사항 및 새로운 기능을 추적하는 릴리스 정보를 다룹니다. SageMaker HyperPod 추론을 사용하면 엔터프라이즈급 안정성으로 HyperPod 클러스터에 기계 학습 모델을 배포하고 확장할 수 있습니다. 일반적인 Amazon SageMaker HyperPod 플랫폼 릴리스, 업데이트 및 개선 사항은 섹션을 참조하세요Amazon SageMaker HyperPod 릴리스 정보.

SageMaker HyperPod 추론 기능 및 배포 옵션에 대한 자세한 내용은 섹션을 참조하세요Amazon SageMaker HyperPod에 모델 배포.

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v2.0.0-eksbuild.2 및 추론 연산자 v3.6

릴리스 날짜: 2026년 9월 10일

요약

HyperPod Inference Amazon EKS 추가 기능의 v2.0.0-eksbuild.2 릴리스에는 요청 본문 콘텐츠 및 GPU 인식 엔드포인트 선택을 사용하여 모델 서비스 포드 간에 추론 트래픽을 분산하는 Kubernetes 네이티브 LLM 인식 라우팅 계층인 HyperPod Inference Gateway가 도입되었습니다. 추론 연산자와 추론 게이트웨이는 모두이 추가 기능 릴리스의 일부로 함께 제공됩니다.

이는에서 v1.6.0-eksbuild.1 로 추가 기능의 메이저 버전 업데이트입니다v2.0.0-eksbuild.2. 버전 업데이트는 Inference Gateway의 추가를 반영하며 릴리스는 기존 추가 기능들과 이전 버전과의 호환성을 유지합니다. 두 구성 요소가 모두 필요하지 않은 경우 inferenceGateway.enabled 또는를 로 설정하여 추가 기능 구성에서 해당 구성 요소를 비활성화inferenceOperator.enabled할 수 있습니다false.

추론 게이트웨이

추론 연산자

v2.0.0-eksbuild.2 또는 v3.6으로 업그레이드

구성 스키마 변경 사항:

이 릴리스에서 추가 기능 구성 스키마가 변경되었습니다. inferenceGateway는 새로 추가되고 HyperPod Inference Gateway를 구성합니다. 또한 스키마는를 추가하여 추론 연산자를 독립적으로 켜거나 끌 수 inferenceOperator있는 유연성을 제공합니다. 두 구성 요소 모두 기본적으로 활성화inferenceGateway.enabled되며 및는 로 inferenceOperator.enabled 설정됩니다true. 두 구성 요소 중 하나를 비활성화하려면 false에서 해당 enabled 필드를 로 설정합니다--configuration-values.

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 다음 명령을 v2.0.0-eksbuild.2 사용하여 로 업그레이드합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION
ACCOUNT=AWS_ACCOUNT_ID

aws eks update-addon \
  --cluster-name $CLUSTER --region $REGION \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v2.0.0-eksbuild.2 \
  --resolve-conflicts OVERWRITE \
  --configuration-values '{
    "executionRoleArn": "arn:aws:iam::<ACCOUNT>:role/<EXEC_ROLE>",
    "tlsCertificateS3Bucket": "<TLS_BUCKET>",
    "inferenceOperator": { "enabled": true },
    "inferenceGateway": {
      "enabled": true,
      "serviceAccount": { "roleArn": "arn:aws:iam::<ACCOUNT>:role/<CERT_ISSUER_ROLE>" }
    },
    "keda": { "enabled": true, "auth": { "aws": { "irsa": { "enabled": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<KEDA_IRSA_ROLE>" } } } },
    "alb": { "enabled": true, "serviceAccount": { "create": true, "roleArn": "arn:aws:iam::<ACCOUNT>:role/<ALB_IRSA_ROLE>" } },
    "jumpstartGatedModelDownloadRoleArn": "arn:aws:iam::<ACCOUNT>:role/<JUMPSTART_ROLE>"
  }'

Helm 업그레이드:

추론 게이트웨이는 Amazon EKS 추가 기능을 통해서만 사용할 수 있습니다. Helm으로 추론 연산자를 관리하고 연산자 전용 기능을 계속 사용하려면 다음 명령을 사용하여 Helm 릴리스를 업그레이드하세요. 추론 연산자와 추론 게이트웨이의 전체 기능을 얻으려면 추가 기능으로 마이그레이션하는 것이 좋습니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.6

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Helm에서 Amazon EKS 추가 기능으로 마이그레이션하려면 섹션을 참조하세요Helm에서 EKS로 추가 기능 마이그레이션.

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v1.6.0-eksbuild.1 및 추론 연산자 v3.5

릴리스 날짜: 2026년 9월 3일

요약

Amazon SageMaker HyperPod 추론 연산자 v3.5를 사용하면 모델 가중치가 사전 캐시되는 위치를 직접 제어할 수 있습니다. 이제 운영자가 배포에서 파생한 인스턴스 유형을 대상으로 하는 인스턴스 유형에만 의존하는 대신 자체 노드 선호도 규칙을 가중치 캐시에 연결할 수 있습니다. 또한이 릴리스에는 인바운드 요청 볼륨에 대한 두 개의 Prometheus 지표가 추가되며 몇 가지 보안 수정 사항이 포함되어 있습니다.

Amazon SageMaker HyperPod 추론 연산자 v3.5는 SageMaker HyperPod가 지원되는 모든 AWS 리전에서 사용할 수 있습니다.

새로운 기능

v3.5 또는 v1.6.0-eksbuild.1로 업그레이드

Helm 업그레이드:

Helm을 사용하여 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.5

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 최신 버전으로 업그레이드합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.6.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v1.5.0-eksbuild.1 및 추론 연산자 v3.4

릴리스 날짜: 2026년 8월 21일

요약

Amazon SageMaker HyperPod Inference Operator v3.4는 CRD를 통해 관리형 사이드카 컨테이너의 리소스 요청 및 제한을 구성할 수 있도록 합니다. 이제 고정 기본값을 사용하는 대신 워크로드에 맞게 역방향 프록시, 지표 수집기 및 데이터 캡처 업로더 컨테이너의 크기를 조정할 수 있습니다.

Amazon SageMaker HyperPod 추론 연산자 v3.4는 SageMaker HyperPod가 지원되는 모든 AWS 리전에서 사용할 수 있습니다.

새로운 기능

v3.4 또는 v1.5.0-eksbuild.1로 업그레이드

Helm 업그레이드:

Helm을 사용하여 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.4

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 최신 버전으로 업그레이드합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.5.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v1.4.0-eksbuild.1 및 추론 연산자 v3.3

릴리스 날짜: 2026년 8월 4일

요약

Amazon SageMaker HyperPod Inference Operator v3.3에는 호스트-로컬 모델 캐싱이 도입되었습니다. 이렇게 하면 추론 배포를 확장할 때 콜드 스타트 지연 시간이 줄어듭니다. 또한이 릴리스에서는 각 배포에 대해 Application Load Balancer 유휴 제한 시간을 구성할 수 있습니다.

Amazon SageMaker HyperPod 추론 연산자 v3.3은 SageMaker HyperPod가 지원되는 모든 AWS 리전에서 사용할 수 있습니다.

새로운 기능

버그 수정

v3.3 또는 v1.4.0-eksbuild.1로 업그레이드

Helm 업그레이드:

Helm을 사용하여 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.3

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 최신 버전으로 업그레이드합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.4.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v1.3.0-eksbuild.1 및 추론 연산자 v3.2

릴리스 날짜: 2026년 6월 12일

요약

Inference Operator v3.2를 사용하면 고객은 동시 로드 시 토큰당 지연 시간을 예측할 수 있는 긴 컨텍스트 LLMs(예: Llama 3.3 70B)을 배포할 수 있습니다. 이 릴리스에는 컴퓨팅 바운드 사전 채우기 단계와 memory-bandwidth-bound드 디코딩 단계를 별도의 GPU 풀로 분리하고 GPU-Direct RDMA를 사용하여 EFA를 통해 KV 캐시를 전송하는 DPD(Disaggregated Prefill and Decode)가 도입되었습니다. DPD는 테일 토큰당 지연 시간을 줄이고 처리량을 늘리며 사전 채우기 및 디코딩 용량을 독립적으로 확장할 수 있습니다. 이 릴리스에는 DPD 외에도 다른 버그 수정이 포함되어 있습니다.

주요 기능

분해된 사전 채우기 및 디코딩(DPD)

버그 수정

v3.2 또는 v1.3.0-eksbuild.1로 업그레이드

Helm 업그레이드:

Helm을 통해 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.2

# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 최신 버전으로 업그레이드합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.3.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

SageMaker HyperPod 추론 릴리스 정보: HyperPod 추론 Amazon EKS v1.2.0-eksbuild.1 및 추론 연산자 v3.1.2

릴리스 날짜: 2026년 5월 6일

요약

추론 연산자 v3.1.2는 엔드포인트 트래픽 로깅을 위한 추론 데이터 캡처, 직접 모델 배포를 위한 HuggingFace Hub 통합, 사용자 지정 도메인을 위한 Route 53 DNS 관리, 콜드 스타트 지연 시간을 줄이기 위한 로컬 NVMe 모델 배포, IRSA를 지원하는 사용자 지정 서비스 계정을 도입합니다.

새로운 기능

버그 수정

v3.1.2 또는 v1.2.0-eksbuild.1로 업그레이드

Helm 업그레이드:

Helm을 통해 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1.2
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

EKS 추가 기능 업그레이드:

추론 연산자를 EKS 추가 기능으로 설치한 경우 최신 버전으로 업그레이드합니다.

먼저 hyperpodClusterArn가 이미 추가 기능 구성에 있는지 확인합니다.

CLUSTER=EKS_CLUSTER_NAME
REGION=REGION

aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text | jq .

hyperpodClusterArn가 출력에 있는 경우 다음 명령을 실행하여 업그레이드합니다.

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --resolve-conflicts OVERWRITE \
  --region $REGION

hyperpodClusterArn이 없는 경우 현재 구성을 가져와 추가하고 업그레이드합니다.

HP_ARN=HYPERPOD_CLUSTER_ARN

CURRENT_CONFIG=$(aws eks describe-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --region $REGION \
  --query 'addon.configurationValues' --output text)

# Add hyperpodClusterArn to the configuration
NEW_CONFIG=$(echo "$CURRENT_CONFIG" | jq --arg arn "$HP_ARN" \
  '. + {hyperpodClusterArn: $arn}')

aws eks update-addon \
  --cluster-name $CLUSTER \
  --addon-name amazon-sagemaker-hyperpod-inference \
  --addon-version v1.2.0-eksbuild.1 \
  --configuration-values "$NEW_CONFIG" \
  --resolve-conflicts OVERWRITE \
  --region $REGION

모델을 배포하기 전에 추가 기능이 활성화될 때까지 기다립니다.

SageMaker HyperPod 추론 릴리스 정보: 추론 연산자 v3.1

릴리스 날짜: 2026년 4월 3일

요약

추론 연산자 v3.1에는 사용자 지정 Kubernetes 포드 구성, 사용자 지정 인증서 지원 및 포드당 요청 제한이 도입되었습니다.

주요 기능

사전 조건 및 업그레이드 지침을 포함한 자세한 내용은 아래 섹션을 참조하세요.

사전 조건

사용자 지정 인증서 기능을 사용하려면 추론 연산자 실행 역할에 다음 권한을 추가합니다.

{  
    "Sid": "ACMCertificateAccess",  
    "Effect": "Allow",  
    "Action": [  
        "acm:DescribeCertificate",  
        "acm:GetCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*"  
}

v3.1로 업그레이드

Helm을 통해 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.1
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

SageMaker HyperPod 추론 릴리스 정보: 추론 연산자 v3.0

릴리스 날짜: 2026년 2월 23일

요약

추론 연산자 3.0에는 간소화된 수명 주기 관리를 위한 EKS 추가 기능 통합, 세분화된 일정 제어를 위한 노드 선호도 지원, 향상된 리소스 태그 지정이 도입되었습니다. 제공된 마이그레이션 스크립트를 사용하여 기존 Helm 기반 설치를 EKS 추가 기능으로 마이그레이션할 수 있습니다. 업그레이드하기 전에 새 태그 지정 권한으로 추론 연산자 실행 역할을 업데이트합니다.

주요 기능

사전 조건, 업그레이드 지침 및 마이그레이션 지침을 포함한 자세한 내용은 아래 섹션을 참조하세요.

사전 조건

Helm 버전을 3.0으로 업그레이드하기 전에 고객은 추론 연산자 실행 역할에 태그 지정 권한을 추가해야 합니다. 리소스 태그 지정 및 보안 개선의 일환으로 추론 연산자는 이제 ALB, S3 및 ACM 리소스에 태그를 지정합니다. 이 개선 사항에는 추론 연산자 실행 역할에 대한 추가 권한이 필요합니다. 추론 연산자 실행 역할에 다음 권한을 추가합니다.

{  
    "Sid": "CertificateTagginPermission",  
    "Effect": "Allow",  
    "Action": [  
        "acm:AddTagsToCertificate"  
    ],  
    "Resource": "arn:aws:acm:*:*:certificate/*",  
},  
{  
    "Sid": "S3PutObjectTaggingAccess",  
    "Effect": "Allow",  
    "Action": [  
        "s3:PutObjectTagging"  
    ],  
    "Resource": [  
        "arn:aws:s3:::<TLS_BUCKET>/*" # Replace * with your TLS bucket  
    ]  
}

v3.0으로 업그레이드

Helm을 통해 추론 연산자를 이미 설치한 경우 다음 명령을 사용하여 업그레이드합니다.

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm upgrade hyperpod-inference-operator . -n kube-system \
  -f current-values.yaml --set image.tag=v3.0
    
# Verification
kubectl get deployment hyperpod-inference-operator-controller-manager \
  -n hyperpod-inference-system \
  -o jsonpath='{.spec.template.spec.containers[0].image}'

Helm에서 EKS로 추가 기능 마이그레이션

3.0 버전 이전의 Helm을 통해 추론 연산자를 설치하는 경우 EKS 추가 기능으로 마이그레이션하여 추론 연산자에 대해 릴리스될 새 기능에 대한 업데이트를 적시에 받는 것이 좋습니다. 이 스크립트는 SageMaker HyperPod 추론 연산자를 Helm 기반 설치에서 EKS 추가 기능 설치로 마이그레이션합니다.

개요: 스크립트는 클러스터 이름과 리전을 파라미터로 사용하고, 기존 Helm 설치 구성을 검색하고, EKS 추가 기능 배포로 마이그레이션합니다. 추론 연산자, ALB 컨트롤러 및 KEDA 연산자에 대한 새 IAM 역할을 생성합니다.

추론 연산자를 마이그레이션하기 전에 스크립트는 필수 종속성(S3 CSI 드라이버, FSx CSI 드라이버, cert-manager 및 metrics-server)이 존재하는지 확인합니다. 존재하지 않는 경우 추가 기능으로 배포됩니다.

추론 연산자 추가 기능 마이그레이션이 완료되면 스크립트는 원래 추론 연산자 Helm 차트를 통해 설치된 경우 S3, FSx 및 기타 종속성(ALB, KEDA, cert-manager, metrics-server)도 마이그레이션합니다. --skip-dependencies-migration를 사용하여 S3 CSI 드라이버, FSx CSI 드라이버, cert-manager 및 metrics-server에 대해이 단계를 건너뜁니다. ALB 및 KEDA는 추론 연산자와 동일한 네임스페이스에 추가 기능의 일부로 설치되며 추론 연산자 추가 기능의 일부로 마이그레이션됩니다.

마이그레이션 사전 조건:

마이그레이션 스크립트 가져오기:

git clone https://github.com/aws/sagemaker-hyperpod-cli.git
cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator/migration

사용량:

./helm_to_addon.sh [OPTIONS] \
  --cluster-name <cluster-name> (Required) \
  --region <region> (Required) \
  --helm-namespace kube-system (Optional) \
  --auto-approve (Optional) \
  --skip-dependencies-migration (Optional) \
  --s3-mountpoint-role-arn <s3-mountpoint-role-arn> (Optional) \
  --fsx-role-arn <fsx-role-arn> (Optional)

옵션:

예:

기본 마이그레이션(종속성 마이그레이션):

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1

프롬프트 없이 자동 승인:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --auto-approve

FSx, S3 탑재 지점, 인증서 관리자 및 지표 서버에 대한 종속성 마이그레이션 건너뛰기:

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --skip-dependencies-migration

기존 S3 및 FSx IAM 역할을 제공합니다.

./helm_to_addon.sh \
  --cluster-name my-cluster \
  --region us-east-1 \
  --s3-mountpoint-role-arn arn:aws:iam::123456789012:role/s3-csi-role \
  --fsx-role-arn arn:aws:iam::123456789012:role/fsx-csi-role

백업 위치:

백업은에 저장됩니다. /tmp/hyperpod-migration-backup-<timestamp>/

백업을 통해 안전한 마이그레이션 및 복구가 가능합니다.

롤백:

마이그레이션에 실패하면 이전 상태를 복원하기 위해 롤백을 시작하기 전에 스크립트에 사용자 확인 메시지가 표시됩니다.

SageMaker HyperPod 추론 릴리스 정보: 추론 연산자 v2.3

새로운 기능

이 릴리스에서는 배포 구성 유연성을 높이기 위해 사용자 지정 리소스 정의(CRDs)에 새로운 선택적 필드를 도입합니다.

Features

버그 수정

이제 invocationEndpoint 사양의 필드에 대한 변경 사항이 적용됩니다InferenceEndpointConfig.

Helm 설치:

팔로우: https://github.com/aws/sagemaker-hyperpod-cli/tree/main/helm_chart

추론 연산자만 설치하는 데 중점을 두는 경우 1단계, 즉 후에 Set Up Your Helm Environment를 수행합니다cd HyperPodHelmChart/charts/inference-operator. 추론 연산자 차트 디렉터리 자체에 있으므로 명령에서가 표시되는 모든 곳에서를 . 로 바helm_chart/HyperPodHelmChart꿉니다.

이미 설치된 경우 연산자를 v2.3으로 업그레이드합니다.

cd sagemaker-hyperpod-cli/helm_chart/HyperPodHelmChart/\
charts/inference-operator

helm get values -n kube-system hyperpod-inference-operator \
> current-values.yaml

helm upgrade hyperpod-inference-operator . \
  -n kube-system \
  -f current-values.yaml \
  --set image.tag=v2.3