As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use as iterações do flywheel para facilitar a criação e o gerenciamento de novas versões do modelo.
Tópicos
Fluxo de trabalho da iteração
Um flywheel começa com uma versão treinada do modelo ou usa um conjunto de dados inicial para treinar uma versão do modelo.
Com o tempo, à medida que obtém novos dados rotulados, você treina novas versões do modelo para melhorar o desempenho do seu modelo de flywheel. Quando você executa o flywheel, ele cria uma nova iteração que treina e avalia uma nova versão do modelo. Você pode promover a nova versão do modelo se o seu desempenho for superior ao da versão atual do modelo ativo.
Este fluxo de trabalho de iteração do flywheel inclui as seguintes etapas:
Criação de conjuntos de dados para os novos dados rotulados.
Execução do flywheel para criar uma nova iteração. A iteração segue estas etapas para treinar e avaliar uma nova versão do modelo:
Avaliação da versão ativa do modelo usando os novos dados.
Treinamento de uma nova versão do modelo usando os novos dados.
-
Armazenamento dos resultados da avaliação e do treinamento no data lake.
-
Retorno dos F1 scores para ambos os modelos.
Depois que a iteração for concluída, você pode comparar os F1 scores do modelo ativo existente e do novo modelo.
Se a versão do novo modelo tiver desempenho superior, você pode promovê-lo para ser a versão de modelo ativo. Use o console ou a API para promover a nova versão do modelo.
Gerenciamento de iterações (console)
Use o console para iniciar uma nova iteração e consultar o status de uma iteração em andamento. Você também pode visualizar os resultados das iterações concluídas.
Iniciar uma iteração do flywheel (console)
Antes de iniciar uma nova iteração, crie um ou mais novos conjuntos de dados de treinamento ou teste. Consulte Configurar conjuntos de dados
Iniciar uma iteração do flywheel (console)
-
Faça login no AWS Management Console e abra o console do Amazon Comprehend
. -
No menu à esquerda, escolha Flywheels.
-
Na tabela Flywheels, escolha um flywheel.
-
Selecione Executar flywheel.
Analise os resultados da iteração (console)
Depois de executar a iteração do flywheel, o console exibe os resultados na tabela de Iterações dos flywheels.
Promova a nova versão do modelo (Console)
Na página de detalhes do modelo no console, promova uma nova versão do modelo para ser a versão ativa.
Promova uma versão do modelo do flywheel para a versão do modelo ativo (console)
-
Faça login no AWS Management Console e abra o console do Amazon Comprehend
. -
No menu à esquerda, escolha Flywheels.
-
Na tabela Flywheels, escolha um flywheel.
-
Na tabela da Página de detalhes do flywheel, escolha a versão a ser promovida na tabela de Iterações dos flywheels.
-
Escolha Tornar modelo ativo.
Gerenciamento de iterações (API)
Você pode usar a API do Amazon Comprehend para iniciar uma nova iteração e consultar o status de uma iteração em andamento. Você também pode visualizar os resultados das iterações concluídas.
Inicie a iteração do flywheel (API)
Use a operação Amazon StartFlywheelIterationComprehend para iniciar uma iteração do flywheel.
aws comprehend start-flywheel-iteration \ --flywheel-arn "flywheelArn"
A resposta tem o conteúdo a seguir.
{ "FlywheelIterationArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name" }
Promova a nova versão do modelo (API)
Use a UpdateFlywheeloperação para promover uma versão do modelo para ser a versão ativa do modelo.
Envie a solicitação UpdateFlywheel com o parâmetro ActiveModelArn definido para o ARN da nova versão ativa do modelo.
aws comprehend update-flywheel \ --active-model-arn "modelArn" \
A resposta tem o conteúdo a seguir.
{ "FlywheelArn": "arn:aws::comprehend:aws-region:111122223333:flywheel/name", "ActiveModelArn": "modelArn" }
Descrever os resultados da iteração do flywheel (API)
A operação Amazon DescribeFlywheelIterationComprehend retorna informações sobre uma iteração depois que ela é executada até a conclusão.
aws comprehend describe-flywheel-iteration \ --flywheel-arn "flywheelArn" \ --flywheel-iteration-id "flywheelIterationId" \ --regionaws-region
A resposta tem o conteúdo a seguir.
{
"FlywheelIterationProperties": {
"FlywheelArn": "flywheelArn",
"FlywheelIterationId": "iterationId",
"CreationTime": <createdAt>,
"EndTime": <endedAt>,
"Status": <status>,
"Message": <message>,
"EvaluatedModelArn": "modelArn",
"EvaluatedModelMetrics": {
"AverageF1Score": <value>,
"AveragePrecision": <value>,
"AverageRecall": <value>,
"AverageAccuracy": <value>
},
"TrainedModelArn": "modelArn",
"TrainedModelMetrics": {
"AverageF1Score": <value>,
"AveragePrecision": <value>,
"AverageRecall": <value>,
"AverageAccuracy": <value>
}
}
}Obtenha o histórico de iterações (API)
Use a ListFlywheelIterationHistoryoperação para obter informações sobre o histórico de iterações.
aws comprehend list-flywheel-iteration-history \
--flywheel-arn "flywheelArn"A resposta tem o conteúdo a seguir.
{
"FlywheelIterationPropertiesList": [
{
"FlywheelArn": "<flywheelArn>",
"FlywheelIterationId": "20220907T214613Z",
"CreationTime": 1662587173.224,
"EndTime": 1662592043.02,
"Status": "<status>",
"Message": "<message>",
"EvaluatedModelArn": "modelArn",
"EvaluatedModelMetrics": {
"AverageF1Score": 0.8333333333333333,
"AveragePrecision": 0.75,
"AverageRecall": 0.9375,
"AverageAccuracy": 0.8125
},
"TrainedModelArn": "modelArn",
"TrainedModelMetrics": {
"AverageF1Score": 0.865497076023392,
"AveragePrecision": 0.7636363636363637,
"AverageRecall": 1.0,
"AverageAccuracy": 0.84375
}
}
]
}
