Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock에서 프로비저닝된 처리량으로 모델 간접 호출 용량 증대

처리량은 모델이 처리하고 반환하는 입력 및 출력의 수와 속도를 나타냅니다. 프로비저닝된 처리량을 구매하여 고정 비용으로 모델에 더 높은 수준의 처리량을 프로비저닝할 수 있습니다. 모델을 사용자 지정한 경우 프로비저닝된 처리량을 구매해야 모델을 사용할 수 있습니다.

구매한 프로비저닝된 처리량에 대해서는 시간당 요금이 청구됩니다. 요금에 대한 자세한 내용은 Amazon Bedrock 요금을 참조하세요. 시간당 요금은 다음 요인에 따라 달라집니다.

  1. 선택한 모델(사용자 지정 모델의 경우 요금은 사용자 지정했던 기본 모델과 동일함)

  2. 프로비저닝된 처리량에 대해 지정하는 모델 단위(MUs)의 수입니다. MU는 지정된 모델에 대해 특정 수준의 처리량을 제공합니다. MU의 처리량 수준은 다음 항목을 지정합니다.

    • MU가 1분 동안 모든 요청 전체에서 처리할 수 있는 입력 토큰 수.

    • MU가 1분 동안 모든 요청 전체에서 생성할 수 있는 출력 토큰 수.

    참고

    MU가 지정하는 사항에 대한 자세한 내용은 AWS 계정 관리자에게 문의하세요.

  3. 프로비저닝된 처리량을 유지하기 위해 약정하는 기간. 약정 기간이 길수록 시간당 요금이 더 할인됩니다. 다음 약정 수준 중에서 선택할 수 있습니다.

    • 약정 없음 - 언제든지 프로비저닝된 처리량을 삭제할 수 있습니다.

    • 1개월 - 1개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.

    • 6개월 - 6개월 약정 기간이 끝날 때까지 프로비저닝된 처리량을 삭제할 수 없습니다.

    참고

    결제는 프로비저닝된 처리량을 삭제할 때까지 계속됩니다.

다음 단계에서는 프로비저닝된 처리량을 설정하고 사용하는 프로세스를 간략하게 설명합니다.

  1. 프로비저닝된 처리량에 대해 구매MUs하려는 수와 프로비저닝된 처리량을 사용하여 커밋하려는 시간을 결정합니다.

  2. 기본 모델 또는 사용자 지정 모델을 위한 프로비저닝된 처리량을 구매합니다.

  3. 프로비저닝된 모델을 만든 후 이를 사용하여 모델 추론을 실행할 수 있습니다.