추론 프로파일을 사용하여 모델 호출 리소스 설정

사용량 지표 추적 - CloudWatch 로그를 설정하고 애플리케이션 추론 프로필로 모델 호출 요청을 제출하여 모델 호출에 대한 사용량 지표를 수집합니다. 추론 프로파일에 대한 정보를 보고 이를 사용하여 결정을 알릴 때 이러한 지표를 검사할 수 있습니다. CloudWatch 로그를 설정하는 방법에 대한 자세한 내용은 섹션을 참조하세요 CloudWatch 로그를 사용하여 모델 호출 모니터링.

태그를 사용하여 비용 모니터링 - 온디맨드 모델 호출 요청을 제출할 때 비용을 추적하기 위해 애플리케이션 추론 프로파일에 태그를 연결합니다. 비용 할당에 태그를 사용하는 방법에 대한 자세한 내용은 AWS Billing 사용 설명서의 비용 할당 태그를 사용하여 AWS 비용 구성 및 추적을 참조하세요.

리전 간 추론 - 여러 개가 포함된 추론 프로파일을 사용하여 처리량을 늘립니다 AWS 리전. 추론 프로파일은 이러한 리전에 모델 호출 요청을 분산하여 처리량과 성능을 높입니다. 리전 간 추론에 대한 자세한 내용은 섹션을 참조하세요리전 간 추론을 통한 처리량 증가.

교차 리전(시스템 정의) 추론 프로필 - Amazon Bedrock에서 사전 정의되고 모델에 대한 요청을 라우팅할 수 있는 여러 리전을 포함하는 추론 프로필입니다.

애플리케이션 추론 프로필 - 사용자가 비용 및 모델 사용량을 추적하기 위해 생성하는 추론 프로필입니다. 모델 호출 요청을 한 리전 또는 여러 리전으로 라우팅하는 추론 프로파일을 생성할 수 있습니다.

모델 추론 - Amazon Bedrock 콘솔의 플레이그라운드에서 추론 프로파일을 선택하거나 InvokeModel, InvokeModelWithResponseStream, Converse 및 ConverseStream 작업을 호출할 때 추론 프로파일ARN의를 지정하여 모델 호출을 실행할 때 추론 프로파일을 사용합니다. 자세한 내용은 모델 추론을 사용하여 프롬프트 제출 및 응답 생성 단원을 참조하십시오.

지식 기반 벡터 임베딩 및 응답 생성 - 지식 기반을 쿼리한 후 응답을 생성하거나 데이터 소스에서 비텍스트 정보를 구문 분석할 때 추론 프로파일을 사용합니다. 자세한 내용은 쿼리 및 응답을 사용하여 지식 기반 테스트 및 데이터 소스에 대한 구문 분석 옵션 단원을 참조하세요.

모델 평가 - 모델 평가 작업을 제출할 때 평가할 모델로 추론 프로파일을 제출할 수 있습니다. 자세한 내용은 Amazon Bedrock 리소스의 성능 평가 단원을 참조하십시오.

프롬프트 관리 - 프롬프트 관리에서 생성한 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock에서 프롬프트 관리를 사용하여 재사용 가능한 프롬프트 구성 및 저장 단원을 참조하세요.

흐름 - 흐름의 프롬프트 노드에서 인라인으로 정의하는 프롬프트에 대한 응답을 생성할 때 추론 프로파일을 사용할 수 있습니다. 자세한 내용은 Amazon Bedrock Flows를 end-to-end 사용하여 생성형 AI 워크플로 구축 단원을 참조하십시오.