Studio에서 자동 모델 평가 작업 생성

사전 조건

• Studio UI에서 모델 평가를 실행하려면 ( AWS Identity and Access Management IAM) 역할 및 입력 데이터 세트에 올바른 권한이 있어야 합니다. SageMaker 도메인 또는 IAM 역할이 없는 경우 의 단계를 따릅니다Amazon 설정 가이드 SageMaker.

S3 버킷에 대한 권한을 설정하려면

도메인과 역할을 생성한 후 다음 단계에 따라 모델을 평가하는 데 필요한 권한을 추가합니다.

1. 에서 Amazon SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/.

2. 탐색 창에서 페이지 상단의 S3 검색 창에 를 입력합니다.

3. 서비스에서 S3를 선택합니다.

4. 탐색 창에서 버킷을 선택합니다.

5. 범용 버킷 섹션의 이름에서 사용자 지정 프롬프트 데이터 세트를 저장하는 데 사용할 Amazon S3 버킷의 이름과 모델 평가 작업의 결과를 저장할 위치를 선택합니다. Amazon S3 버킷은 Studio 인스턴스 AWS 리전 와 동일해야 합니다. Amazon S3 버킷이 없는 경우 다음을 수행합니다.

   1. 버킷 생성을 선택하여 새 버킷 생성 페이지를 엽니다.

   2. 일반 구성 섹션의 AWS 리전에서 파운데이션 모델이 위치한 리전을 선택합니다 AWS .

   3. 버킷 이름 아래의 입력 상자에서 S3 버킷의 이름을 지정합니다.

   4. 모든 기본 선택을 수락합니다.

   5. 버킷 생성 을 선택합니다.

   6. 범용 버킷 섹션의 이름에서 생성한 S3 버킷의 이름을 선택합니다.

6. 권한 탭을 선택합니다.

7. 창 하단의 크로스 오리진 리소스 공유(CORS) 섹션으로 스크롤합니다. 편집을 선택합니다.

8. 버킷에 CORS 권한을 추가하려면 다음 코드를 입력 상자에 복사합니다.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Save changes(변경 사항 저장)를 선택합니다.

IAM 정책에 권한을 추가하려면

1. 페이지 상단의 검색 창에 를 입력합니다IAM.

2. 서비스에서 자격 증명 및 액세스 관리(IAM)를 선택합니다.

3. 탐색 창에서 정책을 선택합니다.

4. 정책 생성을 선택합니다. 정책 편집기가 열리면 를 선택합니다JSON.

5. Next(다음)를 선택합니다.

6. 정책 편집기 에 다음 권한이 표시되는지 확인합니다. 정책 편집기 에 다음을 복사하여 붙여넣을 수도 있습니다.

   {
   "Version": "2012-10-17",
   "Statement": [
       {
           "Effect": "Allow",
           "Action": [
               "cloudwatch:PutMetricData",
               "logs:CreateLogStream",
               "logs:PutLogEvents",
               "logs:CreateLogGroup",
               "logs:DescribeLogStreams",
               "s3:GetObject",
               "s3:PutObject",
               "s3:ListBucket",
               "ecr:GetAuthorizationToken",
               "ecr:BatchCheckLayerAvailability",
               "ecr:GetDownloadUrlForLayer",
               "ecr:BatchGetImage"
            ],
               "Resource": "*"
       },
       {
               "Effect": "Allow",
               "Action": [
                   "sagemaker:Search",
                   "sagemaker:CreateProcessingJob",
                   "sagemaker:DescribeProcessingJob"
                ],
                "Resource": "*"
       }
   ]
   }

7. Next(다음)를 선택합니다.

8. 정책 이름 아래의 정책 세부 정보 섹션에 정책 이름을 입력합니다. 또한 설명을 입력할 수 있습니다(선택 사항). 역할에 할당할 때 이 정책 이름을 검색합니다.

9. 정책 생성을 선택합니다.

IAM 역할에 권한을 추가하려면

1. 탐색 창에서 역할을 선택합니다. 사용하려는 역할의 이름을 입력합니다.

2. 역할 이름 아래에서 역할 이름을 선택합니다. 기본 창이 변경되어 역할에 대한 정보가 표시됩니다.

3. 권한 정책 섹션에서 권한 추가 옆의 아래쪽 화살표를 선택합니다.

4. 표시되는 옵션에서 정책 연결 을 선택합니다.

5. 표시되는 정책 목록에서 5단계에서 생성한 정책을 검색합니다. 정책 이름 옆의 확인란을 선택합니다.

6. 작업 옆의 아래쪽 화살표를 선택합니다.

7. 표시되는 옵션에서 연결 을 선택합니다.

8. 생성한 역할의 이름을 검색합니다. 이름 옆의 확인란을 선택합니다.

9. 권한 추가를 선택합니다. 페이지 상단의 배너에 정책이 역할 에 성공적으로 연결되었다는 메시지가 표시되어야 합니다.

• .

Studio에서 자동 모델 평가 작업을 시작합니다.

1. 에서 Amazon SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/.

2. 페이지 상단의 검색 창에 를 입력합니다SageMaker.

3. 서비스에서 Amazon 을 SageMaker 선택합니다.

4. 탐색 창에서 Studio를 선택합니다.

5. 도메인 선택 아래의 아래쪽 화살표를 확장한 후 시작하기 섹션에서 도메인을 선택합니다.

6. 사용자 프로필 선택 아래의 아래쪽 화살표를 확장한 후 시작하기 섹션에서 사용자 프로필을 선택합니다.

7. Open Studio를 선택하여 Studio의 랜딩 페이지를 엽니다.

8. 기본 탐색 창에서 작업을 선택합니다.

9. 그런 다음 모델 평가 를 선택합니다.

평가 작업을 설정하려면

1. 다음으로 모델 평가를 선택합니다.

2. 1단계: 작업 세부 정보 지정에서 다음을 수행합니다.

   1. 모델 평가의 이름을 입력합니다. 이 이름은 모델 평가 작업이 제출된 후 이를 식별하는 데 도움이 됩니다.

   2. 이름에 컨텍스트를 추가하려면 설명을 입력합니다.

   3. Next(다음)를 선택합니다.

3. 2단계: 평가 설정에서 다음을 수행합니다.

   1. 평가 유형에서 자동 을 선택합니다.

   2. 그런 다음 평가에 모델 추가를 선택합니다.

   3. 모델 추가 모달에서 사전 훈련된 Jumpstart 파운데이션 모델 또는 SageMaker 엔드포인트 를 사용하도록 선택할 수 있습니다. JumpStart 모델을 이미 배포한 경우 SageMaker 엔드포인트를 선택하거나 사전 훈련된 Jumpstart 파운데이션 모델 을 선택합니다.

   4. 그런 다음 저장을 선택합니다.

   5. (선택 사항 ) 모델을 추가한 후 프롬프트 템플릿을 선택하여 선택한 모델에 따라 프롬프트의 예상 입력 형식을 확인합니다. 데이터 세트에 대한 프롬프트 템플릿을 구성하는 방법에 대한 자세한 내용은 섹션을 참조하세요프롬프트 템플릿.

      • 기본 프롬프트 템플릿을 사용하려면 다음 단계를 완료합니다.

        1. 데이터 세트 에서 제공하는 기본 프롬프트 템플릿 사용을 토글합니다.

        2. (선택 사항) 각 데이터 세트에 대해 Clarify에서 제공하는 프롬프트를 검토합니다.

        3. 저장(Save)을 선택합니다.

      • 사용자 지정 프롬프트 템플릿을 사용하려면 다음 단계를 완료합니다.

        1. 끄기 데이터 세트 에서 제공하는 기본 프롬프트 템플릿을 사용합니다.

        2. Clarify가 기본 프롬프트를 표시하는 경우 기본 프롬프트를 사용자 지정하거나 제거한 후 직접 제공할 수 있습니다. 프롬프트 템플릿에 $model_input 변수를 포함해야 합니다.

        3. 저장(Save)을 선택합니다.

   6. 그런 다음 작업 유형에서 작업 유형을 선택합니다.

      작업 유형 및 관련 평가 차원에 대한 자세한 내용은 의 자동 평가를 참조하세요모델 평가 작업에서 프롬프트 데이터 세트 및 사용 가능한 평가 차원 사용 .

   7. 평가 지표 섹션에서 평가 차원을 선택합니다. 설명 아래의 텍스트 상자에는 차원에 대한 추가 컨텍스트가 포함되어 있습니다.

      작업을 선택하면 작업과 연결된 지표가 지표 아래에 나타납니다. 이 섹션에서는 다음을 수행합니다.

   8. 평가 차원 의 아래쪽 화살표에서 평가 차원을 선택합니다.

   9. 평가 데이터 세트를 선택합니다. 자체 데이터 세트를 사용하거나 내장 데이터 세트를 사용하도록 선택할 수 있습니다. 자체 데이터 세트를 사용하여 모델을 평가하려면 에서 사용할 FMEval 수 있는 방식으로 형식을 지정해야 합니다. 또한 이전 환경을 설정합니다 섹션에서 참조된 CORS 권한이 있는 S3 버킷에 있어야 합니다. 사용자 지정 데이터 세트를 포맷하는 방법에 대한 자세한 내용은 섹션을 참조하세요사용자 지정 입력 데이터 세트 사용.

   10. 출력 평가 결과를 저장할 S3 버킷 위치를 입력합니다. 이 파일은 jsonlines(.jsonl) 형식입니다.

   11. 다음 파라미터를 사용하여 프로세서 구성 섹션에서 프로세서를 구성합니다.

       • 인스턴스 수를 사용하여 모델을 실행하는 데 사용할 컴퓨팅 인스턴스 수를 지정합니다. 개 이상의 1 인스턴스를 사용하는 경우 모델은 병렬 인스턴스에서 실행됩니다.

       • 인스턴스 유형을 사용하여 모델을 실행하는 데 사용할 컴퓨팅 인스턴스 유형을 선택합니다. 인스턴스 유형에 대한 자세한 내용은 섹션을 참조하세요Studio Classic과 함께 사용할 수 있는 인스턴스 유형.

       • 볼륨 KMS 키를 사용하여 AWS Key Management Service (AWS KMS) 암호화 키를 지정합니다. AWS KMS 키를 SageMaker 사용하여 모델 및 Amazon S3 버킷에서 들어오는 트래픽을 암호화합니다. 키에 대한 자세한 내용은 섹션을 참조하세요AWS Key Management Service.

       • 출력 KMS 키를 사용하여 송신 트래픽에 대한 AWS KMS 암호화 키를 지정합니다.

       • IAM 역할을 사용하여 기본 프로세서에 대한 액세스 및 권한을 지정합니다. 에서 설정한 IAM 역할을 입력합니다. 환경을 설정합니다

   12. 모델과 기준을 지정한 후 다음 를 선택합니다. 기본 창은 5단계 검토 및 저장 으로 건너뜁니다.

평가 작업 검토 및 실행

1. 평가를 위해 선택한 모든 파라미터, 모델 및 데이터를 검토합니다.

2. 리소스 생성을 선택하여 평가를 실행합니다.

3. 작업 상태를 확인하려면 페이지의 모델 평가 섹션 상단으로 이동합니다.