작업자 성과 지표 추적 - Amazon SageMaker AI
추적 활성화로그를 사용하여 지표 추적CloudWatch 콘솔을 사용한 지표 추적

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

작업자 성과 지표 추적

Amazon SageMaker Ground Truth는 작업자가 작업을 시작하거나 제출하는 시기 등과 같은 작업자 이벤트를 Amazon CloudWatch에 기록합니다. Amazon CloudWatch 지표를 사용하여 팀 전체 또는 개별 작업자의 처리량을 측정하고 추적하세요.

중요

작업자 이벤트 추적은 Amazon Augmented AI 인적 검토 워크플로우에서 사용할 수 없습니다.

추적 활성화

새 작업 팀의 설정 프로세스 중에 작업자 이벤트의 Amazon CloudWatch 로깅 권한이 생성됩니다. 이 기능은 2019년 8월에 추가되었으므로 이전에 작성된 작업 팀은 올바른 권한이 없을 수 있습니다. 2019년 8월 이전에 모든 작업 팀을 만든 경우 새 작업 팀을 만듭니다. 구성원이 필요하지 않으며 생성 후에 삭제될 수 있지만, 생성하면 권한이 설정되어 모든 작업 팀에 생성 시점에 관계 없이 적용됩니다.

로그를 사용하여 지표 추적

추적이 활성화되면 작업자의 활동이 기록됩니다. Amazon CloudWatch 콘솔을 열고 탐색 창에서 로그를 선택합니다. /aws/sagemaker/groundtruth/WorkerActivity라는 로그 그룹이 표시되어야 합니다.

완료된 각 작업은 작업자, 팀, 작업, 작업이 수락된 시간, 작업이 제출된 시간에 대한 정보가 포함된 로그 항목으로 표시됩니다.

예 로그 항목
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

각 이벤트에서 유용한 데이터 포인트는 cognito_sub_id입니다. 그것을 개별 작업자와 일치시킬 수 있습니다.

  1. https://console.aws.amazon.com/sagemaker/ Amazon SageMaker AI 콘솔을 엽니다.

  2. Ground Truth 섹션에서 작업 인력을 선택합니다.

  3. 프라이빗을 선택합니다.

  4. 프라이빗 팀 섹션에서 팀 이름을 선택합니다.

  5. 팀 요약 섹션에서 Amazon Cognito 사용자 그룹 아래 식별된 사용자 그룹을 선택합니다. Amazon Cognito 콘솔의 그룹으로 이동합니다.

  6. 그룹 페이지에 그룹의 사용자가 나열됩니다. 사용자 이름 열에서 사용자 링크를 선택하면 고유한 하위 ID를 포함하여 사용자에 대한 추가 정보를 볼 수 있습니다.

모든 팀원에 대한 정보를 가져오려면 Amazon Cognito API에서 ListUsers 작업(예제)을 사용하세요.

CloudWatch 콘솔을 사용한 지표 추적

원시 로그 정보를 처리하고 시각화하기 위해 자체 스크립트를 작성하지 않으려는 경우에는 Amazon CloudWatch 지표가 작업자 활동에 대한 통찰력을 제공합니다.

측정치를 보려면

  1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

  2. 탐색 창에서 지표를 선택합니다.

  3. AWS/SageMaker/Workteam 네임 스페이스를 선택한 다음, 사용 가능한 지표를 탐색합니다. 예를 들어 작업 팀, 작업 인력 지표를 선택하면 특정 레이블 지정 작업에 대해 제출된 작업 당 평균 시간을 계산할 수 있습니다.

자세한 내용은 Amazon CloudWatch 지표 사용을 참조하세요.