작업자 성과 지표 추적 - Amazon SageMaker
추적 활성화로그를 사용하여 지표 추적 CloudWatch 콘솔을 사용하여 지표 추적

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

작업자 성과 지표 추적

Amazon SageMaker Ground Truth는 작업자가 작업을 시작하거나 제출할 때와 CloudWatch같은 작업자 이벤트를 Amazon 에 기록합니다. Amazon CloudWatch 지표를 사용하여 팀 전체 또는 개별 작업자의 처리량을 측정하고 추적할 수 있습니다.

중요

작업자 이벤트 추적은 Amazon Augmented AI 인적 검토 워크플로우에서 사용할 수 없습니다.

추적 활성화

새 작업 팀에 대한 설정 프로세스 중에 작업자 이벤트의 Amazon CloudWatch 로깅에 대한 권한이 생성됩니다. 이 기능은 2019년 8월에 추가되었으므로 이전에 작성된 작업 팀은 올바른 권한이 없을 수 있습니다. 2019년 8월 이전에 모든 작업 팀을 만든 경우 새 작업 팀을 만듭니다. 구성원이 필요하지 않으며 생성 후에 삭제될 수 있지만, 생성하면 권한이 설정되어 모든 작업 팀에 생성 시점에 관계 없이 적용됩니다.

로그를 사용하여 지표 추적

추적이 활성화되면 작업자의 활동이 기록됩니다. Amazon CloudWatch 콘솔을 열고 탐색 창에서 로그를 선택합니다. /aws/sagemaker/groundtruth/WorkerActivity라는 로그 그룹이 표시됩니다.

완료된 각 작업은 작업자, 팀, 작업, 작업이 수락된 시간, 작업이 제출된 시간에 대한 정보가 포함된 로그 항목으로 표시됩니다.

예 로그 항목
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

각 이벤트에서 유용한 데이터 포인트는 cognito_sub_id입니다. 그것을 개별 작업자와 일치시킬 수 있습니다.

  1. 에서 Amazon SageMaker 콘솔을 엽니다https://console.aws.amazon.com/sagemaker/.

  2. Ground Truth 섹션에서 작업 인력을 선택합니다.

  3. 프라이빗(Private)을 선택합니다.

  4. Private teams(프라이빗 팀) 섹션에서 팀 이름을 선택합니다.

  5. Team summary(팀 요약) 섹션에서 Amazon Cognito user group(Amazon Cognito 사용자 그룹) 아래 식별된 사용자 그룹을 선택합니다. Amazon Cognito 콘솔의 그룹으로 이동합니다.

  6. 그룹 페이지에 그룹의 사용자가 나열됩니다. 사용자 이름 열에서 사용자 링크를 선택하면 고유한 하위 ID를 포함하여 사용자에 대한 추가 정보를 볼 수 있습니다.

팀의 모든 구성원에 대한 정보를 얻으려면 Amazon Cognito 의 ListUsers 작업(예)을 사용합니다API.

CloudWatch 콘솔을 사용하여 지표 추적

원시 로그 정보를 처리하고 시각화하기 위해 자체 스크립트를 작성하지 않으려는 경우 Amazon CloudWatch 지표는 작업자 활동에 대한 인사이트를 제공합니다.

측정치를 보려면

  1. 에서 CloudWatch 콘솔을 엽니다https://console.aws.amazon.com/cloudwatch/.

  2. 탐색 창에서 지표(Metrics)를 선택합니다.

  3. AWS/SageMaker/Workteam 네임 스페이스를 선택한 다음, 사용 가능한 지표를 탐색합니다. 예를 들어 작업 팀, 작업 인력 지표를 선택하면 특정 레이블 지정 작업에 대해 제출된 작업 당 평균 시간을 계산할 수 있습니다.

자세한 내용은 Amazon CloudWatch 지표 사용을 참조하세요.