프로비저닝된 처리량을 Amazon Bedrock 리소스와 함께 사용 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

프로비저닝된 처리량을 Amazon Bedrock 리소스와 함께 사용

프로비저닝된 처리량을 구매한 후 다음 기능과 함께 사용하여 처리량을 늘릴 수 있습니다.

  • 모델 추론 - Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 테스트할 수 있습니다. 프로비저닝된 처리량을 배포할 준비가 되면 프로비저닝된 모델을 간접 호출하도록 애플리케이션을 설정합니다. 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.

    Console
    Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 사용하는 방법

    1. Amazon Bedrock 권한이 있는 IAM 역할을 AWS Management Console 사용하여에 로그인하고 https://console.aws.amazon.com/bedrock/ Amazon Bedrock 콘솔을 엽니다.

    2. 왼쪽 탐색 창에서 사용 사례에 따라 플레이그라운드에서 채팅, 텍스트 또는 이미지를 선택합니다.

    3. 모델 선택을 선택합니다.

    4. 1. 카테고리 열에서 제공업체 또는 사용자 지정 모델 카테고리를 선택합니다. 그런 다음 2. 모델 열에서 프로비저닝된 처리량이 연결된 모델을 선택합니다.

    5. 3. 처리량 열에서 프로비저닝된 처리량을 선택합니다.

    6. 적용을 선택합니다.

    Amazon Bedrock 플레이그라운드를 사용하는 방법을 알아보려면 플레이그라운드를 사용하여 콘솔에서 응답 생성 섹션을 참조하세요.

    API

    프로비저닝된 처리량을 사용하여 추론을 실행하려면 Amazon Bedrock 런타임 엔드포인트를 사용하여 InvokeModel, InvokeModelWithResponseStream, Converse 또는 ConverseStream 요청을 전송합니다. 프로비저닝된 모델 ARN을 modelId 파라미터로 지정합니다. 다양한 모델의 요청 본문에 대한 요구 사항을 보려면 파운데이션 모델의 추론 요청 파라미터 및 응답 필드 섹션을 참조하세요.

    코드 예시 보기

  • 프로비저닝된 처리량을 에이전트 별칭과 연결 - 에이전트 별칭을 생성하거나 업데이트할 때 프로비저닝된 처리량을 연결할 수 있습니다. Amazon Bedrock 콘솔에서 별칭을 설정하거나 편집할 때 프로비저닝된 처리량을 선택합니다. Amazon Bedrock API에서 CreateAgentAlias 또는 UpdateAgentAlias; 요청을 보낼 때 routingConfiguration에서 provisionedThroughput을 지정합니다.