As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Acompanhar o desempenho do operador
O Amazon SageMaker Ground Truth registra eventos de trabalhadores na Amazon CloudWatch, como quando um trabalhador inicia ou envia uma tarefa. Use CloudWatch as métricas da Amazon para medir e monitorar a produtividade de uma equipe ou de trabalhadores individuais.
Importante
O rastreamento de eventos do operador não está disponível para fluxos de trabalho de revisão humana do Amazon Augmented AI.
Ativar rastreamento
Durante o processo de configuração de uma nova equipe de trabalho, as permissões para o CloudWatch registro de eventos de trabalhadores na Amazon são criadas. Como esse atributo foi adicionado em agosto de 2019, as equipes de trabalho criadas antes disso podem não ter as permissões corretas. Se todas as suas equipes de trabalho foram criadas antes de agosto de 2019, crie uma nova equipe de trabalho. Ela não precisa de nenhum membro e pode ser excluída após a criação, mas ao criá-la, você estabelece as permissões e as aplica a todas as equipes de trabalho, independentemente de quando elas foram criadas.
Examinar logs
Depois que o rastreamento for ativado, a atividade dos operadores será registrada em log. Abra o CloudWatch console da Amazon e escolha Logs no painel de navegação. Você deve ver um grupo de registros chamado /aws/sagemaker/groundtruth/ WorkerActivity.
Cada tarefa concluída é representada por uma entrada de log, que contém informações sobre o operador, sua equipe, o trabalho, quando a tarefa foi aceita e quando ela foi enviada.
exemplo Entrada de log
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
Um ponto de dados útil em cada evento é o cognito_sub_id. Você pode fazer a correspondência com um operador individual.
-
Abra o SageMaker console da Amazon em https://console.aws.amazon.com/sagemaker/
. Na seção Ground Truth, selecione Workforces (Forças de trabalho).
Selecione Private (Privado).
Escolha o nome de uma equipe na seção Private teams (Equipes privadas).
Na seção Team summary (Resumo da equipe), selecione o grupo de usuários identificado em Amazon Cognito user group (Grupo de usuários do Amazon Cognito). Isso o levará ao grupo no console do Amazon Cognito.
A página Group (Grupo) lista os usuários no grupo. Escolha o link de qualquer usuário na coluna Username (Nome de usuário) para ver mais informações sobre o usuário, incluindo um sub ID (ID secundário) exclusivo.
Para obter informações sobre todos os membros da equipe, use a ListUsersação (exemplos) na API do Amazon Cognito.
Usar métricas de log
Se você não quiser escrever seus próprios scripts para processar e visualizar as informações brutas do registro, as CloudWatch métricas da Amazon fornecem informações sobre a atividade dos trabalhadores para você.
Para visualizar métricas da
Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, selecione Métricas.
-
Selecione o namespace
AWS/SageMaker/Workteame explore as métricas disponíveis. Por exemplo, selecionar as métricas Workflow e Workteam permite calcular o tempo médio por tarefa enviada para um trabalho de rotulagem específico.
Para obter mais informações, consulte Usando o Amazon CloudWatch Metrics.
