Tieni traccia delle metriche delle prestazioni dei lavoratori - Amazon SageMaker
Abilitazione del monitoraggioTieni traccia delle metriche utilizzando i logTieni traccia delle metriche utilizzando la console CloudWatch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Tieni traccia delle metriche delle prestazioni dei lavoratori

Amazon SageMaker Ground Truth registra gli eventi dei lavoratori su Amazon CloudWatch, ad esempio quando un lavoratore avvia o invia un'attività. Usa i CloudWatch parametri di Amazon per misurare e monitorare la produttività all'interno di un team o per i singoli lavoratori.

Importante

Il monitoraggio degli eventi dei worker non è disponibile per i flussi di lavoro di revisione umana di IA aumentata Amazon.

Abilitazione del monitoraggio

Durante il processo di configurazione di un nuovo team di lavoro, vengono create le autorizzazioni per la CloudWatch registrazione degli eventi dei lavoratori da parte di Amazon. Poiché questa funzionalità è stata aggiunta nell'agosto del 2019, i team di lavoro creati prima di tale data potrebbero non disporre delle autorizzazioni corrette. Se tutti i tuoi team di lavoro sono stati creati prima dell'agosto 2019, crea un nuovo team di lavoro. Non è necessario aggiungere alcun membro e il team può essere eliminato dopo la creazione ma, semplicemente creandolo, verranno stabilite le autorizzazioni che saranno poi applicate a tutti i team di lavoro, a prescindere dal momento in cui sono stati creati.

Tieni traccia delle metriche utilizzando i log

Una volta abilitato il monitoraggio, l'attività dei worker verrà registrata. Apri la CloudWatch console Amazon e scegli Logs nel pannello di navigazione. Dovresti vedere un gruppo di log chiamato /aws/sagemaker/groundtruth/ WorkerActivity.

Ogni attività completata viene rappresentata da una voce di log, contenente informazioni sul worker, sul relativo team, sull'attività, sulla data di accettazione dell'attività e sulla data di invio.

Esempio Voce di log
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

Un punto dati utile in ogni evento è cognito_sub_id. Puoi associarlo a un singolo worker.

  1. Apri la SageMaker console Amazon all'indirizzo https://console.aws.amazon.com/sagemaker/.

  2. Nella sezione Ground Truth scegli Forze lavoro.

  3. Scegli Privato.

  4. Fai clic sul nome di un team nella sezione Team privati.

  5. Nella sezione Riepilogo team, seleziona il gruppo di utenti identificato in Gruppo di utenti Amazon Cognito. Il gruppo viene visualizzato nella console di Amazon Cognito.

  6. Nella pagina Gruppo sono elencati gli utenti nel gruppo. Seleziona un qualsiasi collegamento utente nella colonna Nome utente per visualizzare ulteriori informazioni sull'utente, incluso un ID secondario univoco.

Per ottenere informazioni su tutti i membri del team, usa l'ListUsersazione (esempi) in Amazon CognitoAPI.

Tieni traccia delle metriche utilizzando la console CloudWatch

Se non vuoi scrivere script personalizzati per elaborare e visualizzare le informazioni di log non elaborate, le CloudWatch metriche di Amazon ti forniscono approfondimenti sull'attività dei lavoratori.

Visualizzazione dei parametri

  1. Apri la console all' CloudWatch indirizzo. https://console.aws.amazon.com/cloudwatch/

  2. Nel riquadro di navigazione, scegli Parametri.

  3. Seleziona lo spazio dei nomi AWS/SageMaker/Workteam quindi esplora i parametri disponibili. Ad esempio, selezionando i parametri Team di lavoro e Forza lavoro puoi calcolare il tempo medio per attività inviata per un processo di etichettatura specifico.

Per ulteriori informazioni, consulta Usare Amazon CloudWatch Metrics.