Rotulagem de dados de treinamento usando humanos com o Amazon SageMaker Ground Truth

Para treinar um modelo de machine learning, você precisa de um conjunto de dados rotulados grande e de alta qualidade. O Ground Truth ajuda você a criar conjuntos de dados de treinamento de alta qualidade para seus modelos de machine learning. Com o Ground Truth, você pode usar operadores do Amazon Mechanical Turk, uma empresa de fornecedores escolhida por você ou uma força de trabalho interna e privada, juntamente com o machine learning, para permitir a criação de um conjunto de dados rotulado. Você pode usar a saída de conjunto de dados rotulado do Ground Truth para treinar seus próprios modelos. Você também pode usar a saída como um conjunto de dados de treinamento para um SageMaker modelo da Amazon.

Dependendo do seu aplicativo de ML, é possível escolher entre um dos tipos de tarefas integradas do Ground Truth para que os operadores gerem tipos específicos de rótulos para os dados. Também é possível criar um fluxo de trabalho de rotulagem personalizado para fornecer sua própria interface do usuário e ferramentas aos operadores que rotulam os dados. Para saber mais sobre os tipos de tarefas integradas do Ground Truth, consulte Tipos de tarefa integrados. Para saber como criar um fluxo de trabalho de rotulagem personalizado, consulte Fluxos de trabalho de rotulagem personalizados.

Para automatizar a rotulagem do seu conjunto de dados de treinamento, você pode opcionalmente usar a rotulagem de dados automatizada, um processo do Ground Truth que utiliza machine learning para decidir quais dados precisam ser rotulados pelas pessoas. A rotulagem de dados automatizada pode reduzir o tempo de rotulagem e o esforço manual necessário. Para obter mais informações, consulte Automatize a rotulagem de dados. Para criar um fluxo de trabalho de rotulagem personalizado, consulte Fluxos de trabalho de rotulagem personalizados.

Use ferramentas pré-criadas ou personalizadas para atribuir as tarefas de rotulagem ao seu conjunto de dados de treinamento. Um modelo de interface do usuário de rotulagem é uma página da Web que o Ground Truth utiliza para apresentar tarefas e instruções aos seus operadores. O SageMaker console fornece modelos integrados para rotular dados. Você pode usar esses modelos para começar ou criar suas próprias tarefas e instruções usando nossos componentes HTML 2.0. Para obter mais informações, consulte Fluxos de trabalho de rotulagem personalizados.

Use a força de trabalho de sua escolha para rotular seu conjunto de dados. Você pode escolher sua força de trabalho em:

Para obter mais informações, consulte Forças de trabalho.

Você armazena seus conjuntos de dados em buckets do Amazon S3. Os buckets contêm três coisas: os dados a serem rotulados, um arquivo manifesto de entrada que o Ground Truth utiliza para ler os arquivos de dados e um arquivo manifesto de saída. O arquivo de saída contém os resultados do trabalho de rotulagem. Para obter mais informações, consulte Use dados de entrada e saída.

Os eventos de seus trabalhos de etiquetagem aparecem na Amazon CloudWatch abaixo do /aws/sagemaker/LabelingJobs grupo. CloudWatch usa o nome do trabalho de rotulagem como o nome do fluxo de registros.

Você está usando o Ground Truth pela primeira vez?

Se você estiver usando o Ground Truth pela primeira vez, convém fazer o seguinte: