追蹤工作者績效指標 - Amazon SageMaker
啟用追蹤使用日誌追蹤指標使用 CloudWatch 主控台追蹤指標

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

追蹤工作者績效指標

Amazon SageMaker Ground Truth 會將工作者事件記錄到 Amazon CloudWatch，例如工作者何時啟動或提交任務。使用 Amazon CloudWatch 指標來測量和追蹤整個團隊或個別工作者的輸送量。

重要

工作者事件追蹤不適用於 Amazon 增強版 AI 人工審核工作流程。

啟用追蹤

在新工作團隊的設定程序中，會建立 Amazon CloudWatch 記錄工作者事件的許可。由於此功能是在 2019 年 8 月加入，在那之前建立的工作團隊可能沒有正確的許可。如果您的所有工作團隊是在 2019 年 8 月之前建立，請建立新的工作團隊。該工作團隊不需要任何成員，而且可在建立之後刪除，但建立即代表建立許可並套用到所有工作團隊，無論是在何時建立那些工作團隊。

使用日誌追蹤指標

啟用追蹤之後，將會記錄工作者的活動。開啟 Amazon CloudWatch 主控台，然後在導覽窗格中選擇日誌。您應該會看到名為 /aws/sagemaker/groundtruth/ WorkerActivity的日誌群組。

每個完成的任務都會以日誌項目表示，其中包含工作者、其團隊、任務、何時接受任務，以及何時提交任務的相關資訊。

範例 日誌項目
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

每個事件中的有用資料點是 cognito_sub_id。您可以將其與個別工作者比對。

  1. 在 開啟 Amazon SageMaker 主控台https://console.aws.amazon.com/sagemaker/。

  2. 在 Ground Truth 區段下，選擇人力資源。

  3. 選擇 Private (私有)。

  4. 在 Private teams (私有團隊) 區段中，選擇團隊的名稱。

  5. 在 Team summary (團隊摘要) 區段中，選擇 Amazon Cognito user group (Amazon Cognito 使用者群組) 下識別的使用者群組。這會帶您前往 Amazon Cognito 主控台中的群組。

  6. Group (群組) 頁面會列出群組中的使用者。在 Username (使用者名稱) 欄中選擇任何使用者的連結，以查看使用者的詳細資訊，包括唯一的 sub (子) ID。

若要取得所有團隊成員的相關資訊，請使用 Amazon Cognito 中的 ListUsers 動作 （範例 ）API。

使用 CloudWatch 主控台追蹤指標

如果您不想編寫自己的指令碼來處理和視覺化原始日誌資訊，Amazon CloudWatch 指標會為您提供工作者活動的洞見。

檢視指標

  1. 在 開啟 CloudWatch 主控台https://console.aws.amazon.com/cloudwatch/。

  2. 在導覽窗格中，選擇 指標。

  3. 選擇 AWS/SageMaker/Workteam 命名空間，然後探索可用指標。例如，選擇工作團隊和人力資源指標可讓您針對特定標籤工作計算每個提交任務的平均時間。

如需詳細資訊，請參閱使用 Amazon CloudWatch 指標 。