Treinamento de modelos

Prepare os dados: antes do treinamento, você deve ter concluído a limpeza dos dados e a engenharia de recursos durante o estágio de preparação dos dados. SageMaker tem várias ferramentas de etiquetagem e engenharia de recursos para ajudá-lo. Consulte Rotular dados, Preparar e analisar conjuntos de dados, Processar dados e Criar, armazenar e compartilhar recursos para obter mais informações.

Escolha um algoritmo ou framework: dependendo da quantidade de personalização necessária, há diferentes opções de algoritmos e frameworks.

Gerencie o armazenamento de dados: entenda o mapeamento entre o armazenamento de dados (como Amazon S3EFS, Amazon ou AmazonFSx) e o contêiner de treinamento executado na instância de EC2 computação da Amazon. SageMaker ajuda a mapear os caminhos de armazenamento e os caminhos locais no contêiner de treinamento. Você também pode especificá-los manualmente. Depois que o mapeamento estiver concluído, considere usar um dos modos de transmissão de dados: Arquivo, Pipe e FastFile modo. Para saber como SageMaker mapear caminhos de armazenamento, consulte Treinamento de pastas de armazenamento.

Configure o acesso aos dados de treinamento: use o SageMaker domínio da Amazon, um perfil de usuário do domínio IAMVPC, Amazon, e AWS KMS para atender aos requisitos das organizações mais sensíveis à segurança.

Transmita seus dados de entrada: SageMaker fornece três modos de entrada de dados, Arquivo, Tubo FastFilee. O modo de entrada padrão é o modo File, que carrega o conjunto de dados inteiro durante a inicialização do trabalho de treinamento. Para saber mais sobre as práticas recomendadas gerais para transmitir dados do seu armazenamento de dados para o contêiner de treinamento, consulte Acessar os dados do treinamento.

No caso do modo Pipe, você também pode considerar o uso de um arquivo manifesto aumentado para transmitir seus dados diretamente do Amazon Simple Storage Service (Amazon S3) e treinar seu modelo. O uso do modo pipe reduz o espaço em disco porque o Amazon Elastic Block Store só precisa armazenar os artefatos do modelo final, em vez de armazenar todo o conjunto de dados de treinamento. Para obter mais informações, consulte Fornecer metadados do conjunto de dados para trabalhos de treinamento com um arquivo de manifesto aprimorado.

Analise seus dados em busca de viés: antes do treinamento, você pode analisar seu conjunto de dados e modelo em busca de viés em relação a um grupo desfavorecido para verificar se seu modelo aprende um conjunto de dados imparcial usando o Clarify. SageMaker

Escolha qual SageMaker SDK usar: há duas maneiras de iniciar um trabalho de treinamento SageMaker: usando o SageMaker Python SDK de alto nível ou usando o de SageMaker APIs baixo nível SDK para Python (Boto3) ou o. AWS CLI O SageMaker Python SDK abstrai o nível baixo SageMaker API para fornecer ferramentas convenientes. Conforme mencionado acimaA arquitetura básica do SageMaker treinamento, você também pode buscar opções sem código ou com código mínimo usando o SageMaker Canvas, JumpStart no SageMaker Studio Classic ou no Autopilot. SageMaker

Configure a infraestrutura: escolha o tipo de instância e as ferramentas de gerenciamento de infraestrutura corretos para seu caso de uso. Você pode começar com uma pequena instância e aumentar a escala de acordo com sua workload. Para treinar um modelo em um conjunto de dados tabular, comece com a menor CPU instância das famílias de instâncias C4 ou C5. Para treinar um modelo grande para visão computacional ou processamento de linguagem natural, comece com a menor GPU instância das famílias de instâncias P2, P3, G4dn ou G5. Você também pode misturar diferentes tipos de instância em um cluster ou manter as instâncias em pools aquecidos usando as seguintes ferramentas de gerenciamento de instâncias oferecidas pela SageMaker. Você também pode usar o cache persistente para reduzir a latência e o tempo faturável em tarefas de treinamento iterativo, em vez da redução da latência apenas de grupos de aquecimento. Para saber mais, consulte os tópicos a seguir.

Você deve ter cota suficiente para executar um trabalho de treinamento. Se você executar seu trabalho de treinamento em uma instância em que não tem cota suficiente, receberá um erro ResourceLimitExceeded. Para verificar as cotas atualmente disponíveis em sua conta, use o console do Service Quotas. Para saber como solicitar um aumento de cota, consulte Regiões e Cotas suportadas. Além disso, para encontrar informações sobre preços e tipos de instância disponíveis, dependendo do Regiões da AWS, consulte as tabelas na página de SageMaker preços da Amazon.

Execute um trabalho de treinamento a partir de um código local: você pode anotar seu código local com um decorador remoto para executá-lo como um trabalho de SageMaker treinamento de dentro do Amazon SageMaker Studio Classic, de um SageMaker notebook da Amazon ou de seu ambiente de desenvolvimento integrado local. Para obter mais informações, consulte Execute seu código local como um trabalho SageMaker de treinamento.

Monitore trabalhos de treinamento: monitore e acompanhe seus trabalhos de treinamento usando SageMaker Experiments, SageMaker Debugger ou Amazon. CloudWatch Você pode observar o desempenho do modelo em termos de precisão e convergência e executar análises comparativas de métricas entre vários trabalhos de treinamento usando SageMaker Experiments. Você pode observar a taxa de utilização dos recursos computacionais usando as ferramentas de criação de perfil do SageMaker Debugger ou a Amazon. CloudWatch Para saber mais, consulte os tópicos a seguir.

Além disso, para tarefas de aprendizado profundo, use as ferramentas de depuração de modelos do Amazon SageMaker Debugger e as regras incorporadas para identificar problemas mais complexos nos processos de convergência de modelos e atualização de peso.

Treinamento distribuído: se seu trabalho de treinamento estiver em um estágio estável sem interrupções devido à configuração incorreta da infraestrutura de treinamento ou a out-of-memory problemas, talvez você queira encontrar mais opções para escalar seu trabalho e executá-lo por um longo período de dias e até meses. Quando você estiver pronto para expandir, considere o treinamento distribuído. SageMaker fornece várias opções para computação distribuída, desde cargas de trabalho leves de ML até cargas de trabalho pesadas de aprendizado profundo.

Para tarefas de aprendizado profundo que envolvam o treinamento de modelos muito grandes em conjuntos de dados muito grandes, considere usar uma das estratégias de treinamento SageMaker distribuídas para ampliar e alcançar o paralelismo de dados, o paralelismo de modelos ou uma combinação dos dois. Você também pode usar o SageMaker Training Compiler para compilar e otimizar gráficos de modelos em instâncias. GPU Esses SageMaker recursos oferecem suporte a estruturas de aprendizado profundo PyTorch, como TensorFlow, e Hugging Face Transformers.

Ajuste de hiperparâmetros do modelo: ajuste os hiperparâmetros do seu modelo usando o ajuste automático do modelo com. SageMaker SageMaker fornece métodos de ajuste de hiperparâmetros, como pesquisa em grade e pesquisa bayesiana, iniciando trabalhos de ajuste de hiperparâmetros paralelos com funcionalidade de interrupção antecipada para trabalhos de ajuste de hiperparâmetros que não melhoram.

Verificação e economia de custos com instâncias spot: se o tempo de treinamento não for uma grande preocupação, considere otimizar os custos de treinamento de Modelos com instâncias spot gerenciadas. Observe que você deve ativar o ponto de verificação para o treinamento Spot para continuar restaurando após pausas intermitentes no trabalho devido à substituição de instâncias do Spot. Você também pode usar a funcionalidade de ponto de verificação para fazer backup de seus modelos em caso de término inesperado do trabalho de treinamento. Para saber mais, consulte os tópicos a seguir.

Obter modelo de linha de base: depois de ter o artefato do modelo, você pode defini-lo como um modelo de linha de base. Considere as seguintes ações de pós-treinamento e o uso de SageMaker recursos antes de passar para a implantação do modelo na produção.

Examine o desempenho do modelo e verifique o viés: use o Amazon CloudWatch Metrics e o SageMaker Clarify para detectar qualquer viés pós-treinamento para detectar qualquer viés nos dados recebidos e modelar ao longo do tempo em relação à linha de base. Você precisa avaliar seus novos dados e modelar as previsões em relação aos novos dados regularmente ou em tempo real. Usando esses recursos, você pode receber alertas sobre quaisquer alterações ou anomalias agudas, bem como alterações ou oscilações graduais nos dados e no modelo.

Você também pode usar a funcionalidade de treinamento incremental do SageMaker para carregar e atualizar seu modelo (ou ajustá-lo) com um conjunto de dados expandido.

Você pode registrar o treinamento de modelos como uma etapa do seu SageMakerpipeline ou como parte de outros recursos de fluxo de trabalho oferecidos pelo SageMaker para orquestrar todo o ciclo de vida do ML.