추론 최적화 작업 생성

최적화 작업 생성을 시작하려면

1. SageMaker AI Studio에서 다음 경로 중 하나를 통해 최적화 작업을 생성합니다.

   • JumpStart 모델에 대한 작업을 생성하려면 다음을 수행합니다.

     1. 탐색 메뉴에서 JumpStart를 선택합니다.

     2. 모든 퍼블릭 모델 페이지에서 모델 공급자를 선택한 다음 최적화를 지원하는 모델 중 하나를 선택합니다.

     3. 모델 세부 정보 페이지에서 최적화를 선택합니다. 이 버튼은 최적화를 지원하는 모델에 대해서만 활성화됩니다.

     4. 추론 최적화 작업 생성 페이지에서 일부 JumpStart 모델은 계속 진행하기 전에 최종 사용자 라이선스 계약(EULA)에 서명해야 합니다. 요청된 경우 라이선스 계약 섹션의 라이선스 조건을 검토합니다. 사용 사례에 적합한 용어인 경우 동의함 확인란을 선택하고 사용 약관을 EULA읽습니다.

   • 미세 조정된 JumpStart 모델에 대한 작업을 생성하려면 다음을 수행합니다.

     1. 탐색 창의 작업에서 훈련을 선택합니다.

     2. 훈련 작업 페이지에서 모델을 미세 조정 JumpStart하는 데 사용한 작업의 이름을 선택합니다. 이러한 작업의 작업 유형 열에는 유형 JumpStart 훈련이 있습니다.

     3. 훈련 작업의 세부 정보 페이지에서 최적화를 선택합니다.

   • 사용자 지정 모델에 대한 작업을 생성하려면 다음을 수행합니다.

     1. 탐색 메뉴의 작업 에서 추론 최적화를 선택합니다.

     2. 새 작업 생성을 선택합니다.

     3. 추론 최적화 작업 생성 페이지에서 모델 추가를 선택합니다.

     4. 모델 추가 창에서 사용자 지정 모델을 선택합니다.

     5. 사용자 지정 모델 이름에 이름을 입력합니다.

     6. S3 URI에 모델 아티팩트를 저장한 Amazon S3의 위치에 URI 대한를 입력합니다.

2. 추론 최적화 작업 생성 페이지의 작업 이름에서 SageMaker AI가 할당하는 기본 이름을 수락할 수 있습니다. 또는 사용자 지정 작업 이름을 입력하려면 작업 이름 필드를 선택하고 작업 이름 입력을 선택합니다.

최적화 구성을 설정하려면

1. 배포 인스턴스 유형에서 모델을 최적화할 인스턴스 유형을 선택합니다.

   인스턴스 유형은 선택할 수 있는 최적화 기술에 영향을 미칩니다. GPU 하드웨어를 사용하는 대부분의 유형의 경우 지원되는 기법은 퀀타이즈 및 투기 디코딩입니다. AWS Inferentia 인스턴스 ml.inf2.8xlarge와 같이 사용자 지정 실리콘을 사용하는 인스턴스를 선택하는 경우 지원되는 기법은 컴파일이며, 이를 사용하여 특정 하드웨어 유형에 대한 모델을 컴파일할 수 있습니다.

2. Studio에서 제공하는 최적화 기술 중 하나 이상을 선택합니다.

   • 양자화를 선택한 경우 정밀도 데이터 유형에 대한 데이터 유형을 선택합니다.

   • 투기성 디코딩을 선택한 경우 다음 옵션 중 하나를 선택합니다.

     • SageMaker AI 초안 모델 사용 - SageMaker AI가 제공하는 초안 모델을 사용하도록 선택합니다.

       참고

       SageMaker AI 초안 모델을 사용하도록 선택한 경우 네트워크 격리도 활성화해야 합니다. Studio는 보안에서이 옵션을 제공합니다.

     • JumpStart 초안 모델 선택 - 카탈로그에서 JumpStart 초안 모델로 사용할 모델을 선택합니다.

     • 자체 초안 모델 선택 - 자체 초안 모델을 사용하도록 선택하고 해당 모델을 URI 찾는 S3를 제공합니다.

   • 빠른 모델 로딩을 선택하면 Studio에 OPTION_TENSOR_PARALLEL_DEGREE 환경 변수가 표시됩니다. 값 필드를 사용하여 텐서 병렬 처리 정도를 설정합니다. 값은 배포 인스턴스 유형에 선택한 인스턴스GPUs의 수를 균등하게 나누어야 합니다. 예를 들어 8 인 인스턴스를 사용하는 동안 모델을 샤딩하려면 값 2, 4 또는 8을 GPUs사용합니다.

   • 배포 인스턴스 유형을 AWS Inferentia 또는 AWS Trainium 인스턴스로 설정하면 Studio에서 컴파일이 지원되는 옵션 중 하나임을 표시할 수 있습니다. 이 경우 Studio가 이 옵션을 선택합니다.

3. 출력에 Amazon S3에 위치URI의를 입력합니다. 여기서 SageMaker AI는 작업이 생성하는 최적화된 모델의 아티팩트를 저장합니다.

4. (선택 사항) IAM 역할, VPC및 환경 변수와 같은 설정을 보다 세밀하게 제어하려면 고급 옵션을 확장합니다. 자세한 내용은 아래 고급 옵션 섹션을 참조하세요.

5. 작업 구성이 완료되면 작업 생성을 선택합니다.

   Studio는 작업 상태 및 모든 설정을 보여주는 작업 세부 정보 페이지를 표시합니다.

프로젝트를 설정하려면

1. 애플리케이션 코드에서 필요한 라이브러리를 가져옵니다. 다음 예제에서는 for Python(Boto3)SDK을 가져옵니다. 또한 모델을 정의하고 작업SDK하는 데 사용하는 SageMaker AI Python에서 클래스를 가져옵니다.

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. SageMaker AI 세션을 초기화합니다. 다음 예제에서는 Session() 클래스를 사용합니다.

   sagemaker_session = Session()

모델을 정의하려면

1. SchemaBuilder 인스턴스를 생성하고 입력 및 출력 샘플을 제공합니다. 모델을 정의할 때 이 인스턴스를 ModelBuilder 클래스에 제공합니다. 이를 통해 SageMaker AI는 입력 및 출력을 직렬화 및 역직렬화하기 위한 마샬링 함수를 자동으로 생성합니다.

   SchemaBuilder 또는 ModelBuilder 클래스 사용에 대한 자세한 내용은 를 사용하여 Amazon SageMaker AI에서 모델 생성 ModelBuilder 섹션을 참조하세요.

   다음 예제에서는 SchemaBuilder 클래스에 샘플 입력 및 출력 문자열을 제공합니다.

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. 모델을 SageMaker AI로 정의합니다. 다음 예제에서는 ModelBuilder 인스턴스를 초기화하기 위한 파라미터를 설정합니다.

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   이 예제에서는 JumpStart 모델을 사용합니다. 를 jumpstart-model-id와 같은 JumpStart 모델의 ID로 바꿉니다meta-textgeneration-llama-3-70b.

   참고

   투기성 디코딩으로 최적화하고 SageMaker AI 초안을 사용하려면 네트워크 격리를 활성화해야 합니다. 이를 활성화하려면 ModelBuilder 인스턴스를 초기화할 때 다음 인수를 포함합니다.

   enable_network_isolation=True,

   네트워크 격리에 대한 자세한 내용은 섹션을 참조하세요네트워크 격리.

퀀타이즈로 최적화하려면

1. 양자화 작업을 실행하려면 optimize() 메서드를 사용하고 quantization_config 인수를 설정합니다. 다음 예제에서는 최적화 컨테이너에서 환경 변수OPTION_QUANTIZE로를 설정합니다.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   이 예제에서는를 instance-type와 같은 ML 인스턴스로 바꿉니다ml.p4d.24xlarge. 를 작업이 생성하는 최적화된 모델을 저장하는 S3 위치의 경로s3://output-path로 바꿉니다.

   optimize() 메서드는 모델을 엔드포인트에 배포하는 데 사용할 수 있는 Model 객체를 반환합니다.

2. 작업이 완료되면 모델을 배포합니다. 다음 예제에서는 deploy() 메서드를 사용합니다.

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   이 예제에서는를 instance-type와 같은 ML 인스턴스로 바꿉니다ml.p4d.24xlarge.

   deploy() 메서드는 모델을 호스팅하는 엔드포인트로 추론 요청을 보내는 데 사용할 수 있는 예측기 객체를 반환합니다.

SageMaker AI 초안 모델을 사용하여 투기 디코딩으로 최적화하려면

투기성 디코딩으로 모델을 최적화할 때 SageMaker AI가 제공하는 초안 모델을 사용하거나 자체 모델을 사용할 수 있습니다. 다음 예제에서는 SageMaker AI 초안 모델을 사용합니다.

1. 투기성 디코딩 작업을 실행하려면 optimize() 메서드를 사용하고 speculative_decoding_config 인수를 설정합니다. 다음 예제에서는 SageMaker AI가 제공하는 초안 모델을 사용하기 SAGEMAKER 위해 ModelProvider 키를 로 설정합니다.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   이 예제에서는를 instance-type와 같은 ML 인스턴스로 바꿉니다ml.p4d.24xlarge.

   optimize() 메서드는 모델을 엔드포인트에 배포하는 데 사용할 수 있는 Model 객체를 반환합니다.

2. 작업이 완료되면 모델을 배포합니다. 다음 예제에서는 deploy() 메서드를 사용합니다.

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() 메서드는 모델을 호스팅하는 엔드포인트로 추론 요청을 보내는 데 사용할 수 있는 예측기 객체를 반환합니다.

사용자 지정 초안 모델을 사용하여 투기 디코딩으로 최적화하려면

사용자 지정 초안 모델을 SageMaker AI에 제공하려면 먼저 모델 아티팩트를 Amazon S3에 업로드해야 합니다.

다음 예제에서는 사용자 지정 초안 모델을 제공하는 한 가지 방법을 보여줍니다. 이 예제에서는 Hugging Face Hub에서 초안 모델을 다운로드하고 Amazon S3에 업로드한 다음 speculative_decoding_config 인수에 S3URI를 제공합니다.

1. Hugging Face Hub에서 모델을 다운로드하려면 프로젝트에 huggingface_hub 라이브러리를 추가하고 snapshot_download() 메서드를 사용하여 모델을 다운로드합니다. 다음 예제에서는 모델을 로컬 디렉터리에 다운로드합니다.

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   이 예제에서는 model-id를와 같은 Hugging Face Hub 모델의 ID로 바꿉니다meta-llama/Meta-Llama-3-8B. 를 로컬 디렉터리download-dir로 바꿉니다. 를 사용자 액세스 토큰hf-access-token으로 바꿉니다. 액세스 토큰을 가져오는 방법을 알아보려면 Hugging Face 설명서의 사용자 액세스 토큰을 참조하세요.

   huggingface_hub 라이브러리에 대한 자세한 내용은 Hugging Face 설명서의 Hub 클라이언트 라이브러리를 참조하세요.

2. 다운로드한 모델을 SageMaker AI에 제공하려면 Amazon S3에 업로드합니다. 다음 예제에서는 sagemaker_session 객체와 함께 모델을 업로드합니다.

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   이 예제에서는를 prefix와 같이 S3의 초안 모델을 구분하는 데 도움이 되는 한정자로 바꿉니다spec-dec-custom-draft-model.

   upload_data() 메서드는 모델 아티팩트에 URI 대한 S3를 반환합니다.

3. 투기성 디코딩 작업을 실행하려면 optimize() 메서드를 사용하고 speculative_decoding_config 인수를 설정합니다. 다음 예제에서는 ModelSource 키를 사용자 지정 초안 모델의 S3URI로 설정합니다.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   이 예제에서는를 instance-type와 같은 ML 인스턴스로 바꿉니다ml.p4d.24xlarge.

   optimize() 메서드는 모델을 엔드포인트에 배포하는 데 사용할 수 있는 Model 객체를 반환합니다.

4. 작업이 완료되면 모델을 배포합니다. 다음 예제에서는 deploy() 메서드를 사용합니다.

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() 메서드는 모델을 호스팅하는 엔드포인트로 추론 요청을 보내는 데 사용할 수 있는 예측기 객체를 반환합니다.

컴파일로 최적화하려면

1. 컴파일 작업을 실행하려면 optimize() 메서드를 사용하고 compilation_config 인수를 설정합니다. 다음 예제에서는 OverrideEnvironment 키를 사용하여 최적화 컨테이너에서 필요한 환경 변수를 설정합니다.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   이 예제에서는 가속 하드웨어가 있는 ML 인스턴스 유형instance-type으로를 설정합니다. 예를 들어 AWS Inferentia를 사용한 가속화된 추론의 경우 유형을와 같은 Inf2 인스턴스로 설정할 수 있습니다ml.inf2.48xlarge. 를 작업이 생성하는 최적화된 모델을 저장하는 S3 위치의 경로s3://output-path로 바꿉니다.

2. 작업이 완료되면 모델을 배포합니다. 다음 예제에서는 deploy() 메서드를 사용합니다.

   predictor = optimized_model.deploy(accept_eula=True)

   deploy() 메서드는 모델을 호스팅하는 엔드포인트로 추론 요청을 보내는 데 사용할 수 있는 예측기 객체를 반환합니다.

추론 요청을 사용하여 모델을 테스트하려면

• 배포된 모델에 테스트 추론 요청을 보내려면 예측기 객체의 predict() 메서드를 사용합니다. 다음 예제에서는 예제에서 SchemaBuilder 클래스로 전달된 sample_input 변수를 전달하여 모델을 정의합니다.

  predictor.predict(sample_input)

  샘플 입력에는 프롬프트가 있습니다"What is the largest planet in the solar system?". predict() 메서드는 다음 예제와 같이 모델이 생성한 응답을 반환합니다.

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}