섀도우 테스트 생성 - Amazon SageMaker
사전 조건섀도우 테스트 세부 정보 입력 섀도우 테스트 설정 입력

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

섀도우 테스트 생성

섀도우 테스트를 생성하여 섀도우 변형의 성능을 프로덕션 변형과 비교할 수 있습니다. 추론 요청을 처리할 기존 엔드포인트에서 테스트를 실행하거나, 테스트 실행 위치가 될 새 엔드포인트를 생성할 수 있습니다.

섀도우 테스트를 생성하려면 다음 항목을 지정해야 합니다.

  • 프로덕션 변형: 들어오는 추론 요청의 100%를 수신하고 이에 응답하는 변형입니다.

  • 섀도우 변형: 들어오는 요청의 일정 비율을 프로덕션 변형으로부터 복제하여 수신하지만, 어떤 응답도 반환하지 않는 변형입니다.

각 변형에 대해 SageMaker 를 사용하여 모델, 인스턴스 유형 및 인스턴스 수를 제어할 수 있습니다. 섀도우 변형에 복제할 트래픽 샘플링 백분율로 알려진 수신 요청의 백분율을 구성할 수 있습니다. 는 섀도우 변형에 대한 요청 복제를 SageMaker 관리하고 테스트가 예약되거나 실행될 때 트래픽 샘플링 백분율을 수정할 수 있습니다. 아니면 데이터 캡처를 켜서 프로덕션 변형 및 섀도우 변형의 요청과 응답을 기록할 수도 있습니다.

참고

SageMaker 는 엔드포인트당 최대 하나의 섀도우 변형을 지원합니다. 섀도우 변형이 있는 엔드포인트의 경우에는 최대 1개의 프로덕션 변형이 있을 수 있습니다.

사용자는 언제든지 시작되고 지정된 기간 동안 계속되도록 테스트를 예약할 수 있습니다. 기본 기간은 7일이고 최대 기간은 30일입니다. 테스트가 완료된 후에는 엔드포인트가 테스트 시작 전 상태로 되돌아갑니다. 이렇게 되면 테스트 완료 시 리소스를 수동으로 정리하지 않아도 됩니다.

SageMaker 콘솔의 대시보드를 통해 실행 중인 테스트를 모니터링할 수 있습니다. 대시보드는 관련 지표 통계가 포함된 표 형식 보기와 함께 프로덕션 변형 및 섀도우 변형 간의 호출 지표와 인스턴스 지표를 나란히 비교합니다. 이 대시보드는 완료된 테스트에 대해서도 사용할 수 있습니다. 지표를 검토하고 나면 섀도우 변형을 새 프로덕션 변형으로 승격시키거나 기존 프로덕션 변형을 유지하도록 선택할 수 있습니다. 섀도우 변형을 승격시키고 나면 해당 변형이 들어오는 요청에 전부 응답합니다. 자세한 내용은 섀도우 변형 승격 단원을 참조하십시오.

다음 절차에서는 SageMaker 콘솔을 통해 섀도우 테스트를 생성하는 방법을 설명합니다. 기존 엔드포인트를 사용할지, 아니면 섀도우 테스트를 위한 새 엔드포인트를 생성할지 여부에 따라 워크플로가 달라집니다.

사전 조건

SageMaker 콘솔을 사용하여 섀도우 테스트를 생성하기 전에 SageMaker 모델을 사용할 준비가 되어 있어야 합니다. SageMaker 모델을 생성하는 방법에 대한 자세한 내용은 섹션을 참조하세요실시간 추론을 위한 모델 배포.

프로덕션 변형 및 섀도우 변형이 있는 기존 엔드포인트, 프로덕션 변형만 있는 기존 엔드포인트 또는 비교하려는 SageMaker 모델만 사용하여 섀도우 테스트를 시작할 수 있습니다. 섀도우 테스트는 테스트 시작 전에 엔드포인트를 생성하고 변형을 추가할 수 있도록 지원합니다.

참고

특정 엔드포인트 기능으로 인해 엔드포인트가 섀도우 테스트와 호환되지 않을 수 있습니다. 엔드포인트에서 다음 기능 중 하나를 사용하는 경우 엔드포인트에서 섀도우 테스트를 사용할 수 없으며 섀도우 테스트 설정 요청은 검증 오류로 이어집니다.

  • 서버리스 추론

  • 비동기식 추론

  • Marketplace 컨테이너너

  • 다중 컨테이너 엔드포인트

  • 다중 모델 엔드포인트

  • Inf1(추론 기반) 인스턴스를 사용하는 엔드포인트

섀도우 테스트 세부 정보 입력

섀도우 테스트 생성을 시작하려면 다음 방법대로 하여 섀도우 테스트 세부 정보 입력 페이지를 작성하세요.

  1. SageMaker 콘솔 을 엽니다.

  2. 왼쪽 탐색 창에서 추론을 선택한 다음 섀도우 테스트를 선택하세요.

  3. 섀도우 테스트 생성을 선택하세요.

  4. 이름 란에 테스트의 이름을 입력하세요.

  5. (선택 사항) 설명 란에 테스트에 대한 설명을 입력하세요.

  6. (선택 사항) 키와 값의 여러 쌍을 사용하여 태그를 지정하세요.

  7. Next(다음)를 선택합니다.

섀도우 테스트 설정 입력

섀도우 테스트 세부 정보 입력 페이지를 작성한 후 섀도우 테스트 설정 입력 페이지를 작성하세요. SageMaker 추론 엔드포인트와 프로덕션 변형이 이미 있는 경우 기존 엔드포인트 사용 워크플로를 따르세요. 엔드포인트가 아직 없다면 새 엔드포인트 생성 워크플로를 따르세요.

Use an existing endpoint

테스트에 기존 엔드포인트를 사용하려면 다음 방법대로 하여 섀도우 테스트 설정 입력 페이지를 작성하세요.

  1. AmazonSageMakerFullAccess IAM 정책이 연결된 역할을 선택합니다.

  2. 기존 엔드포인트 사용을 선택한 다음 사용 가능한 엔드포인트 중 하나를 선택하세요.

  3. (선택 사항) 엔드포인트의 스토리지 볼륨을 암호화하려면 기존 KMS 키를 선택하거나 암호화 KMS 키 의 드롭다운 목록에서 키 입력을 ARN 선택합니다. 두 번째 옵션을 선택하면 KMS 키를 입력할 필드가 ARN 나타납니다. 해당 ARN 필드에 KMS 키를 입력합니다.

  4. 해당 엔드포인트 뒤에 프로덕션 변형이 여러 개 있다면 테스트에 사용하지 않을 변형을 제거하세요. 모델 변형을 선택한 다음 제거를 선택하면 해당 변형을 제거할 수 있습니다.

  5. 섀도우 변형이 아직 없다면 섀도우 변형을 추가하세요. 섀도우 변형을 추가하려면 다음 방법대로 하세요.

    1. 추가를 선택합니다.

    2. 섀도우 변형을 선택하세요.

    3. 모델 추가 대화 상자에서 섀도우 변형에 사용할 모델을 선택하세요.

    4. 저장(Save)을 선택합니다.

  6. (선택 사항) 이전 단계에서 섀도우 변형이 기본 설정으로 추가되었습니다. 이 설정을 수정하려면 섀도우 변형을 선택하고 편집을 선택하세요. 섀도우 변형 편집 대화 상자가 나타납니다. 이 대화 상자에 내용을 입력하는 방법에 대한 자세한 내용은 섀도우 테스트 편집을(를) 참조하세요.

  7. 일정 섹션에서 다음 방법대로 하여 테스트 기간을 입력하세요.

    1. 기간 란에서 상자를 선택하세요. 팝업 캘린더가 나타납니다.

    2. 캘린더에서 시작 날짜와 종료 날짜를 선택하거나, 시작 날짜 필드와 종료 날짜 필드에 시작 날짜와 종료 날짜를 각각 입력하세요.

    3. (선택 사항) 시작 시간 필드와 종료 시간 필드에 시작 시간과 종료 시간을 24시간 형식으로 각각 입력하세요.

    4. 적용을 선택합니다.

    최소 기간은 1시간이고 최대 기간은 30일입니다.

  8. (선택 사항) 엔드포인트의 추론 요청 및 응답 정보를 Amazon S3 버킷에 저장하려면 데이터 캡처 활성화를 켠 다음, Amazon S3 버킷의 위치를 입력하세요.

  9. 섀도우 테스트 생성을 선택하세요.

Create a new endpoint

기존 엔드포인트가 없거나 테스트를 위해 새 엔드포인트를 생성하려는 경우, 다음 방법대로 하여 섀도우 테스트 설정 입력 페이지를 작성하세요.

  1. AmazonSageMakerFullAccess IAM 정책이 연결된 역할을 선택합니다.

  2. 새 엔드포인트 생성을 선택하세요.

  3. 이름 란에 해당 엔드포인트의 이름을 입력하세요.

  4. 다음 방법대로 프로덕션 변형 1개와 섀도우 변형 1개를 엔드포인트에 추가하세요.

    • 프로덕션 변형을 추가하려면 추가를 선택한 다음 프로덕션 변형을 선택하세요. 모델 추가 대화 상자에서 프로덕션 변형에 사용할 모델을 선택한 다음 저장을 선택하세요.

    • 섀도우 변형을 추가하려면 추가를 선택한 다음 섀도우 변형을 선택하세요. 모델 추가 대화 상자에서 섀도우 변형에 사용할 모델을 선택한 다음 저장을 선택하세요.

  5. (선택 사항) 이전 단계에서 섀도우 변형이 기본 설정으로 추가되었습니다. 이 설정을 수정하려면 섀도우 변형을 선택하고 편집을 선택하세요. 섀도우 변형 편집 대화 상자가 나타납니다. 이 대화 상자에 내용을 입력하는 방법에 대한 자세한 내용은 섀도우 테스트 편집을(를) 참조하세요.

  6. 일정 섹션에서 다음 방법대로 하여 테스트 기간을 입력하세요.

    1. 기간 란에서 상자를 선택하세요. 팝업 캘린더가 나타납니다.

    2. 캘린더에서 시작 날짜와 종료 날짜를 선택하거나, 시작 날짜 란과 종료 날짜 란에 시작 날짜와 종료 날짜를 각각 입력하세요.

    3. (선택 사항) 시작 시간 란과 종료 시간 란에 시작 시간과 종료 시간을 24시간 형식으로 각각 입력하세요.

    4. 적용을 선택합니다.

    최소 기간은 1시간이고 최대 기간은 30일입니다.

  7. (선택 사항) 엔드포인트의 추론 요청 및 응답 정보를 Amazon S3 버킷에 저장하려면 데이터 캡처 활성화를 켠 다음, Amazon S3 버킷의 위치를 입력하세요.

  8. 섀도우 테스트 생성을 선택하세요.

이전 절차를 완료하고 나면 이제 지정된 시작 날짜 및 시간에 시작되도록 테스트를 예약할 수 있습니다. 테스트 진행 상태는 대시보드에서 확인할 수 있습니다. 테스트를 보는 방법 및 수행 가능한 작업에 대한 자세한 내용은 섀도우 테스트를 보고 모니터링하고 편집하는 방법을(를) 참조하세요.