자동 모델 평가 작업 생성 - Amazon Bedrock
사전 조건튜토리얼: 자동 모델 평가 작업 생성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자동 모델 평가 작업 생성

자동 모델 평가를 통해 권장 지표를 사용하여 단일 모델의 응답을 평가할 수 있습니다. 내장형 프롬프트 데이터 세트를 사용하거나 자체 사용자 지정 프롬프트 데이터 세트를 사용할 수도 있습니다. AWS 리전별 계정당 진행 중인 자동 모델 평가 작업을 최대 10개까지 보유할 수 있습니다.

자동 모델 평가 작업을 설정하면 선택한 작업 유형에 가장 적합한 사용 가능한 지표와 내장형 데이터 세트가 작업에 자동으로 추가됩니다. 미리 선택한 측정항목 또는 데이터세트를 추가하거나 제거할 수 있습니다. 사용자 지정 프롬프트 데이터세트를 제공할 수도 있습니다.

사전 조건

Amazon Bedrock 콘솔을 사용하여 첫 번째 모델 평가 작업을 생성하려면 다음을 수행해야 합니다.

참고

Amazon Bedrock 콘솔을 사용하여 모델 평가 작업을 생성할 때는 지정한 Amazon S3 버킷에 올바른 CORS 권한을 설정해야 합니다.

  1. Amazon Bedrock에 있는 모델에 액세스할 수 있어야 합니다.

  2. Amazon Bedrock 서비스 역할이 있어야 합니다. 서비스 역할을 아직 생성하지 않은 경우 모델 평가 작업을 설정하는 동안 Amazon Bedrock 콘솔에서 생성할 수 있습니다. 사용자 지정 정책을 생성하려는 경우 연결된 정책을 통해 다음 리소스, 즉 모델 평가 작업에 사용된 모든 S3 버킷 및 작업에 지정된 모델에 ARN 대한 액세스 권한을 부여해야 합니다. 또한 서비스 역할에는 Amazon Bedrock이 역할의 신뢰 정책에서 서비스 보안 주체로 정의되어 있어야 합니다. 자세한 내용은 필수 권한을 참조하십시오.

  3. Amazon Bedrock 콘솔에 액세스하는 사용자, 그룹 또는 역할은 필수 Amazon S3 버킷에 액세스하는 데 필요한 권한을 갖고 있어야 합니다. 자세한 내용은 필수 권한 섹션을 참조하십시오.

  4. 출력 Amazon S3 버킷과 모든 사용자 지정 프롬프트 데이터 세트 버킷에는 필요한 CORS 권한이 추가되어야 합니다. 필수 CORS 권한에 대한 자세한 내용은 을 참조하십시오. S3 버킷에 대한 원본 간 리소스 공유 (CORS) 권한이 필요합니다.

튜토리얼: 자동 모델 평가 작업 생성

다음 절차는 자습서입니다. 이 자습서에서는 Amazon Titan Text G1 - Lite 모델을 사용하는 자동 모델 평가 작업을 생성하고 IAM 서비스 역할을 생성하는 방법을 다룹니다.

Amazon Bedrock 콘솔을 사용하여 모델 평가 작업 결과 보기

모델 평가 작업이 완료되면 지정한 Amazon S3bucket에 결과가 저장됩니다. 어떤 식으로든 결과 위치를 수정하면 콘솔에 모델 평가 보고서 카드가 더 이상 표시되지 않습니다.

(튜토리얼) Amazon Titan Text G1 - Lite를 사용하여 자동 모델 평가를 생성하려면

  1. 아마존 베드락 콘솔 열기:. https://console.aws.amazon.com/bedrock/

  2. 탐색 창에서 모델 평가를 선택합니다.

  3. 평가 작성하기 카드의 자동에서 자동 평가 생성을 선택합니다.

  4. 자동 평가 생성 페이지에서 다음 정보를 제공하십시오.

    1. 평가 이름 - 모델 평가 작업에 작업을 설명하는 이름을 지정합니다. 이 이름은 모델 평가 작업 테이블에 표시됩니다. 이름은 inan에서 고유해야 합니다. AWS 계정 AWS 리전

    2. 설명(선택 사항) - 필요에 따라 설명을 입력합니다.

    3. 모델 선택기 — Amazon Titan Text G1 — Lite 모델을 선택하십시오.

      Amazon Bedrock에서 사용 가능한 모델 및 해당 모델에 액세스하는 방법에 대해 자세히 알아보려면 을 참조하십시오. Amazon 베드락 기반 모델에 대한 액세스 관리

    4. (선택 사항) 추론 구성을 변경하려면 업데이트를 선택합니다.

      추론 구성을 변경하면 선택한 모델에서 생성된 응답이 변경됩니다. 사용 가능한 추론 파라미터에 대한 자세한 내용은 파운데이션 모델의 추론 파라미터 섹션을 참조하세요.

    5. 작업 유형 — 일반 텍스트 생성을 선택합니다.

    6. 지표 및 데이터셋 카드에서 — 사용 가능한 측정항목 및 내장된 프롬프트 데이터세트 목록을 볼 수 있습니다. 데이터세트는 선택한 작업에 따라 달라집니다. 이 자습서에서는 기본 옵션을 선택된 상태로 둡니다.

    7. 평가 결과 - 모델 평가 작업의 결과를 저장하려는 디렉토리의 URI S3를 지정합니다. Amazon S3에서 위치를 검색하려면 [S3 찾아보기] 를 선택합니다.

    8. Amazon Bedrock IAM역할 — 새 역할 생성 라디오 버튼을 선택합니다.

    9. (선택 사항) 서비스 역할 이름에서 사용자 대신 생성될 역할의 접미사를 변경합니다. 이렇게 생성된 역할은 항상 Amazon-Bedrock- --Role - 로 시작됩니다. IAM

    10. 자동 모델 평가 작업에는 항상 출력 버킷이 필요하며 서비스 역할에 따라 구체적이어야 합니다. IAM 평가 결과에서 이미 버킷을 지정한 경우 이 필드는 미리 채워집니다.

    11. 다음으로 역할 생성을 선택합니다.

  5. 모델 평가 작업을 시작하려면 생성을 선택합니다.

작업이 성공적으로 시작되면 상태가 진행 중으로 바뀝니다. 작업이 완료되면 이 상태는 완료됨으로 바뀝니다.

현재 진행 중인 모델 평가 작업을 중지하려면 평가 중지를 선택합니다. 모델 평가 작업의 상태가 진행 중에서 중지로 변경됩니다. 작업 상태가 중지됨으로 변경된 후

모델 평가 작업의 결과를 평가, 확인 및 다운로드하는 방법을 알아보려면 모델 평가 작업 결과 섹션을 참조하세요.