Amazon Bedrock에서 모델의 성능 평가

모델 평가를 사용하여 Amazon Bedrock 모델의 성능과 효과를 평가합니다. 모델의 의미적 견고성과 같은 성능 지표를 보기 위해 자동 모델 작업을 생성할 수 있습니다. 또한 인적 작업자 팀을 활용하여 평가에 대한 의견을 평가하고 제공할 수 있습니다.

자동 평가는 모델의 효과를 평가하는 데 도움이 되는 계산된 점수와 지표를 생성합니다. 인적 기반 평가는 특정 지표와 관련하여 평가 및 선호도를 제공하는 사람들로 구성된 팀을 사용합니다.

모델 평가 작업을 생성하려면 하나 이상의 Amazon Bedrock 모델에 액세스할 수 있어야 합니다. 모델 평가 작업은 파운데이션 모델, 사용자 지정 파운데이션 모델 및 프로비저닝된 처리량을 구매한 모델을 사용할 수 있도록 지원합니다.