Experimentos de aprendizado de máquina usando Amazon SageMaker AI com MLflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O Amazon SageMaker AI with MLflow é um recurso do Amazon SageMaker AI que permite criar, gerenciar, analisar e comparar seus experimentos de aprendizado de máquina.

Experimentação em machine learning

Machine learning é um processo iterativo que exige experimentar com várias combinações de dados, algoritmos e parâmetros, enquanto observa seu impacto na precisão do modelo. A natureza iterativa da experimentação de ML resulta em várias execuções e versões de treinamento de modelos, o que dificulta rastrear os modelos com melhor desempenho e suas configurações. A complexidade de gerenciar e de comparar treinamentos iterativos aumenta com a inteligência artificial generativa (IA generativa), na qual a experimentação envolve não apenas o ajuste dos modelos, mas também a exploração de resultados criativos e diversos. Os pesquisadores devem ajustar os hiperparâmetros, selecionar arquiteturas de modelos adequadas e organizar diversos conjuntos de dados para otimizar a qualidade e a criatividade do conteúdo gerado. A avaliação de modelos de IA generativa exige métricas quantitativas e qualitativas, adicionando outra camada de complexidade ao processo de experimentação.

Use MLflow com a Amazon SageMaker AI para rastrear, organizar, visualizar, analisar e comparar a experimentação iterativa de ML para obter insights comparativos e registrar e implantar seus modelos de melhor desempenho.

MLflow integrações

Use MLflow enquanto treina e avalia modelos para encontrar os melhores candidatos para seu caso de uso. Você pode comparar o desempenho, os parâmetros e as métricas do modelo em todos os experimentos na MLflow interface do usuário, acompanhar seus melhores modelos no MLflow Registro de modelos, registrá-los automaticamente como um modelo de SageMaker IA e implantar modelos registrados em endpoints de SageMaker IA.

Amazon SageMaker AI com MLflow

Use MLflow para rastrear e gerenciar a fase de experimentação do ciclo de vida do aprendizado de máquina (ML) com AWS integrações para desenvolvimento, gerenciamento, implantação e rastreamento de modelos.

SageMaker Estúdio Amazon

Crie e gerencie servidores de rastreamento, execute notebooks para criar experimentos e acesse a MLflow interface do usuário para visualizar e comparar execuções de experimentos em todo o Studio.

SageMaker Registro de modelos

Gerencie versões de modelos e catalogue modelos para produção registrando automaticamente modelos do Registro de MLflow Modelos para o Registro de SageMaker Modelos. Para obter mais informações, consulte Registre automaticamente modelos de SageMaker IA com o SageMaker Model Registry.

SageMaker Inferência de IA

Prepare seus melhores modelos para implantação em um endpoint de SageMaker IA usando o. ModelBuilder Para obter mais informações, consulte Implemente MLflow modelos com ModelBuilder.

AWS Identity and Access Management

Configure o acesso ao MLflow uso do controle de acesso baseado em função (RBAC) com o IAM. Escreva políticas de identidade do IAM para autorizar o MLflow APIs que pode ser chamado por um cliente de um servidor de MLflow rastreamento. Todos os MLflow REST APIs são representados como ações do IAM sob o prefixo sagemaker-mlflow de serviço. Para obter mais informações, consulte Configure as permissões do IAM para MLflow.

AWS CloudTrail

Visualize os AWS CloudTrail logins para ajudar você a habilitar a auditoria operacional e de risco, a governança e a conformidade de sua AWS conta. Para obter mais informações, consulte AWS CloudTrail troncos.

Amazon EventBridge

Automatize a revisão do modelo e o ciclo de vida da implantação usando MLflow eventos capturados pela Amazon. EventBridge Para obter mais informações, consulte EventBridge Eventos da Amazon.

Suportado Regiões da AWS

O Amazon SageMaker AI with geralmente MLflow está disponível em todas as regiões AWS comerciais em que o Amazon SageMaker Studio está disponível, exceto nas regiões e AWS GovCloud (US) regiões da China. SageMaker A IA com MLflow está disponível apenas AWS CLI na Europa (Zurique), Ásia-Pacífico (Hyderabad), Ásia-Pacífico (Melbourne) e Oeste do Canadá (Calgary). Regiões da AWS

Os servidores de rastreamento são lançados em uma única zona de disponibilidade dentro da região determinada.

Como funciona

Um servidor MLflow de rastreamento tem três componentes principais: computação, armazenamento de metadados de back-end e armazenamento de artefatos. A computação que hospeda o servidor de rastreamento e o armazenamento de metadados de back-end são hospedados com segurança na conta de serviço de IA. SageMaker O armazenamento de artefatos reside em um bucket do Amazon S3 em sua AWS própria conta.

Um servidor de rastreamento possui um ARN. Você pode usar esse ARN para conectar o MLflow SDK ao seu Servidor de Rastreamento e começar a registrar suas corridas de treinamento no. MLflow

Leia para obter mais informações sobre os conceitos da chave a seguir:

Armazenamento de metadados de backend

Quando você cria um servidor de MLflow rastreamento, um armazenamento de back-end, que persiste vários metadados para cada execução, como ID de execução, horários de início e término, parâmetros e métricas, é configurado automaticamente na conta de serviço de SageMaker IA e totalmente gerenciado para você.

Armazenamento de artefatos

Para MLflow fornecer armazenamento persistente para metadados para cada execução, como pesos de modelos, imagens, arquivos de modelo e arquivos de dados para suas execuções de experimentos, você deve criar um armazenamento de artefatos usando o Amazon S3. O armazenamento de artefatos deve ser configurado em sua AWS conta e você deve dar MLflow acesso explícito ao Amazon S3 para acessar seu armazenamento de artefatos. Para obter mais informações, consulte Artifact Stores na MLflow documentação.

MLflow Tamanhos de servidores de rastreamento

Opcionalmente, você pode especificar o tamanho do seu servidor de rastreamento na interface do usuário do Studio ou com o AWS CLI parâmetro--tracking-server-size. Escolha uma das seguintes opções: "Small", "Medium" e "Large". O tamanho padrão da configuração do servidor de MLflow rastreamento é"Small". Você pode escolher um tamanho dependendo do uso projetado do servidor de rastreamento, como o volume de dados registrados, o número de usuários e a frequência de uso.

Recomendamos usar um servidor de rastreamento pequeno para equipes de até 25 usuários, um servidor de rastreamento médio para equipes de até 50 usuários e um servidor de rastreamento grande para equipes de até 100 usuários. Presumimos que todos os usuários farão solicitações simultâneas ao seu Servidor de MLflow Rastreamento para fazer essas recomendações. Você deve selecionar o tamanho do servidor de rastreamento com base no padrão de uso esperado e no número de transações por segundo (TPS) compatível com cada servidor de rastreamento.

Monitoramento de versões do servidor

As seguintes MLflow versões estão disponíveis para uso com SageMaker IA:

A versão mais recente do servidor de rastreamento tem os recursos, patches de segurança e correções de erros mais recentes. Ao criar um novo servidor de rastreamento, recomendamos usar a versão mais recente. Para obter mais informações sobre a criação de um servidor de rastreamento, consulteMLflow Servidores de rastreamento.

MLflow controle de versões semânticas de servidores de rastreamento. As versões estão no seguinte formato:major-version.minor-version.patch-version.

Os recursos mais recentes, como novos elementos de interface de usuário e funcionalidade de API, estão na versão secundária.

AWS CloudTrail troncos

AWS CloudTrail registra automaticamente as atividades relacionadas ao seu Servidor MLflow de Rastreamento. As seguintes chamadas de API estão registradas: CloudTrail

Para obter mais informações sobre CloudTrail, consulte o Guia AWS CloudTrail do usuário.

EventBridge Eventos da Amazon

Use EventBridge para direcionar eventos do uso MLflow com SageMaker IA para aplicativos de consumo em toda a organização. Os seguintes eventos são emitidos para EventBridge:

Para obter mais informações sobre EventBridge, consulte o Guia EventBridge do usuário da Amazon.