기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock에서 모델의 인적 평가를 위한 작업 팀 관리

인적 작업자를 사용하는 평가 작업의 경우 작업 팀이 있어야 합니다. 작업 팀은 사용자가 선택할 수 있는 작업자 그룹입니다. 이들은 회사 직원이거나 업계의 분야별 전문가 그룹일 수 있습니다.

Amazon SageMaker Ground Truth에서 관리하는 프라이빗 인력으로 평가 작업 인력을 설정하는 동안 인적 작업 팀을 생성하거나 기존 작업 팀을 관리할 수 있습니다. Amazon SageMaker Ground Truth는 고급 인력 관리 기능을 지원합니다. Amazon SageMaker Ground Truth에서 인력을 관리하는 방법에 대한 자세한 내용은 인력 생성 및 관리를 참조하세요.

새 평가 작업을 설정하는 동안 작업 팀에서 작업자를 삭제할 수 있습니다. 그렇지 않으면 Amazon Cognito 콘솔 또는 Amazon SageMaker Ground Truth 콘솔을 사용하여 Amazon Bedrock에서 생성한 작업 팀을 관리해야 합니다.

IAM 사용자, 그룹 또는 역할에 필요한 권한이 있는 경우 인간 작업자를 사용하는 평가 작업을 생성할 때 Amazon Cognito , Amazon SageMaker Ground Truth 또는 Amazon Augmented AI에서 생성한 기존 프라이빗 인력 및 작업 팀이 표시됩니다.

Amazon Bedrock은 작업 팀당 최대 50명의 작업자를 지원합니다.

이메일 주소 필드에 최대 50명의 이메일 주소를 한번에 입력합니다. 평가 작업에 작업자를 더 추가하려면 Amazon Cognito 콘솔 또는 Ground Truth 콘솔을 사용합니다. 주소는 쉼표로 구분해야 합니다. 자신의 이메일 주소를 포함해야 합니다. 그래야 작업 인력의 일원이 되어 라벨링 작업을 볼 수 있습니다.

인간 작업자를 위한 지침 생성

모델 평가 작업에 대해 유용한 지침을 생성하면 작업자의 작업 완료 정확도가 향상됩니다. 모델 평가 작업을 생성할 때 콘솔에 제공되는 기본 지침을 수정할 수 있습니다. 이러한 지침은 레이블 지정 작업을 완료하는 UI 페이지의 작업자에게 표시됩니다.

작업자가 배정된 작업을 완료할 수 있도록 두 곳에 지침을 제공할 수 있습니다.

각 평가 및 등급 지정 방법에 대한 적절한 설명을 입력합니다.

설명에는 선택한 지표에 대한 간결한 설명이 포함되어야 합니다. 설명은 지표를 확장하고 작업자가 선택한 등급 지정 방법을 어떻게 평가하기를 원하는지 명확하게 설명해야 합니다.

작업자의 전반적인 평가 지침 제공

이러한 지침은 작업자가 작업을 완료하는 동일한 웹 페이지에 표시됩니다. 이 공간을 사용하여 모델 평가 작업에 대한 고수준의 방향을 제시하고 실측 응답을 프롬프트 데이터 세트에 포함시킨 경우 이를 설명할 수 있습니다.