Amazon Bedrock의 프로비저닝된 처리량으로 모델 호출 용량 증가 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock의 프로비저닝된 처리량으로 모델 호출 용량 증가

처리량은 모델이 처리하고 반환하는 입력 및 출력의 수와 속도를 나타냅니다. 프로비저닝된 처리량을 구매하여 고정 비용으로 모델에 더 높은 수준의 처리량을 프로비저닝할 수 있습니다. 모델을 사용자 지정한 경우 프로비저닝된 처리량을 구매해야 모델을 사용할 수 있습니다.

구매한 프로비저닝된 처리량에 대해서는 시간당 요금이 청구됩니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금 섹션을 참조하세요. 시간당 요금은 다음 요인에 따라 달라집니다.

  1. 선택한 모델(사용자 지정 모델의 경우 가격은 사용자 지정했던 기본 모델과 동일함).

  2. 프로비저닝된 처리량에 대해 지정하는 모델 단위(MUs)의 수입니다. MU는 지정된 모델에 대한 특정 처리량 수준을 제공합니다. MU의 처리량 수준은 다음을 지정합니다.

    • MU가 1분 내에 모든 요청에서 처리할 수 있는 입력 토큰 수입니다.

    • MU가 1분 내에 모든 요청에서 생성할 수 있는 출력 토큰 수입니다.

    참고

    MU가 지정하는 사항에 대한 자세한 내용은 관리자에게 문의하세요 AWS 계정 .

  3. 프로비저닝된 처리량을 유지하기 위해 커밋하는 기간입니다. 약정 기간이 길수록 시간당 요금이 더 할인됩니다. 다음 약정 수준 중에서 선택할 수 있습니다.

    • 약정 없음 - 언제든지 프로비저닝된 처리량을 삭제할 수 있습니다.

    • 1개월 - 1개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.

    • 6개월 - 6개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.

    참고

    프로비저닝된 처리량을 삭제할 때까지 결제가 계속됩니다.

다음 단계에서는 프로비저닝된 처리량을 설정하고 사용하는 프로세스를 간략하게 설명합니다.

  1. 프로비저닝된 처리량에 대해 구매MUs하려는 수와 프로비저닝된 처리량을 사용하여 커밋하려는 시간을 결정합니다.

  2. 기본 또는 사용자 지정 모델의 프로비저닝된 처리량을 구매합니다.

  3. 프로비저닝된 모델을 생성한 후 이를 사용하여 모델 추론 을 실행할 수 있습니다.