fmeval 라이브러리를 사용하여 자동 평가 실행

사전 조건

• Studio UI에서 모델 평가를 실행하려면 ( AWS Identity and Access Management IAM) 역할과 입력 데이터 세트에 올바른 권한이 있어야 합니다. SageMaker 도메인 또는 IAM 역할이 없는 경우 의 단계를 따릅니다Amazon 설정 가이드 SageMaker.

Amazon S3 버킷에 대한 권한을 설정하려면

도메인과 역할을 생성한 후 다음 단계에 따라 모델을 평가하는 데 필요한 권한을 추가합니다.

1. 에서 Amazon SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/.

2. 탐색 창에서 페이지 상단의 S3 검색 창에 를 입력합니다.

3. 서비스에서 S3를 선택합니다.

4. 탐색 창에서 버킷을 선택합니다.

5. 범용 버킷 섹션의 이름에서 모델 입력 및 출력을 콘솔에 저장하는 데 사용할 S3 버킷의 이름을 선택합니다. S3 버킷이 없는 경우 다음을 수행합니다.

   1. 버킷 생성을 선택하여 새 버킷 생성 페이지를 엽니다.

   2. 일반 구성 섹션의 AWS 리전에서 파운데이션 모델이 위치한 리전을 선택합니다 AWS .

   3. 버킷 이름 아래의 입력 상자에서 S3 버킷의 이름을 지정합니다.

   4. 모든 기본 선택을 수락합니다.

   5. 버킷 생성 을 선택합니다.

   6. 범용 버킷 섹션의 이름에서 생성한 S3 버킷의 이름을 선택합니다.

6. 권한 탭을 선택합니다.

7. 창 하단의 크로스 오리진 리소스 공유(CORS) 섹션으로 스크롤합니다. 편집을 선택합니다.

8. 파운데이션 평가를 위해 버킷에 권한을 추가하려면 입력 상자에 다음 코드가 표시되는지 확인합니다. 다음을 복사하여 입력 상자에 붙여넣을 수도 있습니다.

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. Save changes(변경 사항 저장)를 선택합니다.

IAM 정책에 권한을 추가하려면

1. 페이지 상단의 검색 창에 를 입력합니다IAM.

2. 서비스에서 자격 증명 및 액세스 관리(IAM)를 선택합니다.

3. 탐색 창에서 정책을 선택합니다.

4. 검색 창에 AmazonSageMakerFullAccess 를 입력합니다. 나타나는 정책 옆에 있는 라디오 버튼을 선택합니다. 이제 작업 버튼을 선택할 수 있습니다.

5. 작업 옆의 아래쪽 화살표를 선택합니다. 두 가지 옵션이 나타납니다.

6. 연결을 선택합니다.

7. 표시되는 IAM 목록에서 생성한 역할의 이름을 검색합니다. 이름 옆의 확인란을 선택합니다.

8. 정책 연결을 선택합니다.

Studio 사용 시작하기

1. 페이지 상단의 검색 창에 를 입력합니다SageMaker.

2. 서비스에서 Amazon SageMaker을 선택합니다.

3. 탐색 창에서 Studio를 선택합니다.

4. 도메인 선택 아래의 아래쪽 화살표를 확장한 후 시작하기 섹션에서 도메인을 선택합니다.

5. 사용자 프로필 선택 아래의 아래쪽 화살표를 확장한 후 시작하기 섹션에서 사용자 프로필을 선택합니다.

6. Open Studio를 선택하여 Studio의 랜딩 페이지를 엽니다.

7. 탐색 창에서 파일 브라우저를 선택하고 루트 디렉터리로 이동합니다.

8. 노트북 생성 을 선택합니다.

9. 열리는 노트북 환경 대화 상자에서 Data Science 3.0 이미지를 선택합니다.

10. 선택을 선택하세요.

11. 다음 코드 예제와 같이 개발 환경에 fmeval 패키지를 설치합니다.

    !pip install fmeval

    참고

    를 사용하는 환경에 fmeval 라이브러리 설치 Python 3.10. fmeval 실행에 필요한 요구 사항에 대한 자세한 내용은 fmeval 종속성 섹션을 참조하세요.

JumpStart 모델 정의 및 구성 ModelRunner

1. 다음 중 하나를 수행하여 엔드포인트를 제공합니다.

   • EndpointName 기존 JumpStart 엔드포인트, model_id및 에 를 지정합니다model_version.

   • model_version 모델의 model_id 및 를 지정하고 JumpStart 엔드포인트를 생성합니다.

   다음 코드 예제는 에 대한 엔드포인트를 생성하는 방법을 보여줍니다. Llama 2 foundation model 를 통해 사용할 수 있습니다 JumpStart.

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   이전 코드 예제는 ()를 EULA나타내는 를 참조합니다 end-use-license-agreementEULA. 는 사용 중인 모델의 모델 카드 설명에서 찾을 EULA 수 있습니다. 일부 JumpStart 모델을 사용하려면 에 대한 이전 호출과 accept_eula=true같이 를 지정해야 합니다predict. 에 대한 자세한 내용은 모델 소스 및 라이선스 계약 의 라이선스 및 모델 소스 섹션을 EULA참조하세요.

   사전 훈련된 JumpStart 모델 테이블이 있는 기본 제공 알고리즘에서 사용 가능한 모델 목록을 찾을 수 있습니다. https://sagemaker.readthedocs.io/en/stable/doc_utils/pretrainedmodels.html#built-in-algorithms-with-pre-trained-model-table

2. 다음 구성 예제와 JumpStartModelRunner같이 를 ModelRunner 사용하여 를 구성합니다.

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   이전 구성 예제에서는 엔드포인트를 생성하는 데 사용한 model_version 것과 동일한 값을 model_id, 및 endpoint_name에 사용합니다.

3. 를 테스트합니다ModelRunner. 다음 코드 예제와 같이 샘플 요청을 모델에 전송합니다.

   js_model_runner.predict("What is the capital of London")

Amazon Bedrock 모델 정의 및 구성 ModelRunner

1. 모델 세부 정보를 정의하고 인쇄하려면 Amazon Bedrock을 통해 사용할 수 있는 Titan 모델에 다음 코드 예제를 사용합니다.

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   이전 코드 예제에서 accept 파라미터는 를 평가하는 데 사용할 데이터의 형식을 지정합니다LLM. 는 요청의 입력 데이터 형식을 contentType 지정합니다. Amazon Bedrock 모델의 경우 accept 및 contentType 에서만 지원MIME_TYPE_JSON됩니다. 이러한 파라미터에 대한 자세한 내용은 섹션을 참조하세요InvokeModelWithResponseStream.

2. 를 구성하려면 다음 구성 예제와 BedrockModelRunner같이 를 ModelRunner사용합니다.

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   다음과 같이 ModelRunner 구성을 Parametrize합니다.

   • 모델을 배포하는 데 model_id 사용한 값과 동일한 값을 사용합니다.

   • output 를 사용하여 생성된 json 응답의 형식을 지정합니다. 예를 들어 가 응답을 LLM 제공한 경우 [{"results": "this is the output"}]는 를 output='results[0].outputText' 반환합니다this is the output.

   • 가 요청과 LLM 상호 작용하는 방법을 지정하는 content_template 데 사용합니다. 다음 구성 템플릿은 이전 구성 예제를 설명하기 위한 목적으로만 자세히 설명되어 있으며 필수는 아닙니다.

     • 이전 구성 예제에서 변수는 사용자의 요청을 캡처하는 프롬프트를 inputText 지정합니다.

     • 변수는 가 다음과 같이 응답을 LLM 생성하는 방법을 textGenerationConfig 지정합니다.

       • 파라미터maxTokenCount는 에서 반환하는 토큰 수를 제한하여 응답의 길이를 제한하는 데 사용됩니다LLM.

       • 파라미터stopSequences는 에 응답 생성을 중지LLM하도록 지시하는 문자 시퀀스 목록을 지정하는 데 사용됩니다. 모델 출력은 나열된 문자열이 출력에서 처음 발견될 때 중지됩니다. 예를 들어 캐리지 반환 시퀀스를 사용하여 모델 응답을 한 줄로 제한할 수 있습니다.

       • 파라미터는 다음 토큰을 생성할 때 고려할 토큰 세트를 제한하여 무작위성을 topP 제어합니다. 이 파라미터는 0.0 ~ 사이의 값을 허용합니다1.0. 값이 높을수록 더 넓은 어휘가 포함된 세트가 topP 허용되고 값이 낮을수록 토큰 세트가 더 가능성이 높은 단어로 제한됩니다.

       • 파라미터는 생성된 텍스트의 무작위성을 temperature 제어하고 양수 값을 허용합니다. 값이 높을수록 모델에 더 무작위적이고 다양한 응답을 생성하도록 temperature 지시합니다. 값이 낮으면 예측 가능한 응답이 생성됩니다. 의 일반적인 범위는 0.2 ~ 사이temperature입니다2.0.

       특정 Amazon Bedrock 파운데이션 모델의 파라미터에 대한 자세한 내용은 파운데이션 모델의 추론 파라미터를 참조하세요.

     content_template 파라미터의 형식은 에서 지원하는 입력 및 파라미터에 따라 달라집니다LLM. 예제: Anthropic’s Claude 2 모델은 다음을 지원할 수 있습니다content_template.

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     또 다른 예로 Falcon 7b 모델은 다음 를 지원할 수 있습니다content_template.

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     마지막으로 를 테스트합니다ModelRunner. 다음 코드 예제와 같이 샘플 요청을 모델에 전송합니다.

     bedrock_model_runner.predict("What is the capital of London?")