View a markdown version of this page

O que é um projeto de SageMaker IA? - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é um projeto de SageMaker IA?

SageMaker Os projetos ajudam as organizações a configurar e padronizar ambientes de desenvolvedores para cientistas de dados e CI/CD sistemas para engenheiros de MLOps. Os projetos também ajudam as organizações a configurar o gerenciamento de dependências, o gerenciamento de repositórios de códigos, a reprodutibilidade da construção e o compartilhamento de artefatos.

Você pode provisionar SageMaker projetos usando modelos personalizados que são armazenados em buckets do Amazon S3 ou usando modelos do AWS Service Catalog ou SageMaker AI. Para obter informações sobre o Catálogo AWS de Serviços, consulte O que é o Catálogo AWS de Serviços. Com SageMaker os Projetos, os engenheiros de MLOps e os administradores da organização podem definir seus próprios modelos ou usar modelos. SageMaker AI-provided Os SageMaker AI-provided modelos inicializam o fluxo de trabalho de ML com controle de versão de origem, pipelines de ML automatizados e um conjunto de códigos para começar a iterar rapidamente os casos de uso de ML.

Quando você deve usar um projeto de SageMaker IA?

Importante

A partir de 9 de setembro de 2024, os modelos de projeto que usam o AWS CodeCommit repositório não serão mais suportados. Para novos projetos, selecione entre os modelos de projeto disponíveis que usam repositórios Git de terceiros.

Embora os cadernos sejam úteis para a criação e experimentação de modelos, uma equipe de cientistas de dados e engenheiros de ML que compartilham código precisa de uma maneira mais escalável de manter a consistência do código e um controle de versão rigoroso.

Cada organização tem seu próprio conjunto de padrões e práticas que fornecem segurança e governança para seu AWS ambiente. SageMaker A IA fornece um conjunto de modelos primários para organizações que desejam começar rapidamente com fluxos de trabalho de ML e. CI/CD Os modelos incluem projetos que usam serviços AWS-native para CI/CD AWS CodeBuild, como AWS CodePipeline, e. AWS CodeCommit Os modelos também oferecem a opção de criar projetos que usam ferramentas de terceiros, como Jenkins e. GitHub Para ver uma lista dos modelos de projeto que a SageMaker IA fornece, consulteUse modelos SageMaker AI-Provided de projeto.

As organizações geralmente precisam de um controle rígido sobre os recursos de MLOps que elas provisionam e gerenciam. Essa responsabilidade pressupõe determinadas tarefas, incluindo a configuração de funções e políticas do IAM, a aplicação de tags de recursos, a aplicação da criptografia e a dissociação de recursos em várias contas. SageMaker Os projetos podem dar suporte a todas essas tarefas por meio de ofertas de modelos personalizados, nas quais as organizações usam CloudFormation modelos para definir os recursos necessários para um fluxo de trabalho de ML. Os cientistas de dados podem escolher um modelo para bootstrap e pré-configurar seu fluxo de trabalho de ML.

Para começar, recomendamos que você crie e armazene modelos personalizados dentro de um bucket do Amazon S3. Isso permite criar um bucket em qualquer região com suporte para sua organização. O S3 oferece suporte ao controle de versão, para que você possa manter várias versões dos seus modelos e revertê-las, se necessário. Para obter informações sobre como criar um projeto a partir do armazenamento de modelos em um bucket do Amazon S3, consulteUsando um modelo de um bucket do Amazon S3.

Como alternativa, você também pode criar modelos personalizados como produtos do Service Catalog e provisioná-los na interface do usuário do Studio ou Studio Classic em Modelos de organização. O Catálogo de Serviços é um serviço que ajuda as organizações a criar e gerenciar catálogos de produtos aprovados para uso em. AWS Para obter mais informações sobre como criar modelos personalizados, consulte Criar modelos personalizados de projetos de SageMaker IA — Melhores práticas.

Embora você possa usar qualquer uma das opções, recomendamos que você use buckets do S3 em vez do Catálogo de Serviços, para que você possa criar um bucket em regiões compatíveis onde a SageMaker IA esteja disponível sem precisar gerenciar as complexidades do Catálogo de Serviços.

SageMaker Os projetos podem ajudar você a gerenciar seus repositórios do Git para que você possa colaborar com mais eficiência entre as equipes, garantir a consistência do código e o suporte. CI/CD SageMaker Os projetos podem ajudar você nas seguintes tarefas:

  • Organizar todas as entidades do ciclo de vida do ML em um único projeto.

  • Estabelecer uma abordagem com um único clique para configurar a infraestrutura de ML padrão para treinamento e implantação de modelos que incorpore as melhores práticas.

  • Criar e compartilhar modelos para a infraestrutura de ML para atender a vários casos de uso.

  • Aproveite os modelos SageMaker AI-provided pré-criados para começar rapidamente a se concentrar na criação de modelos ou crie modelos personalizados com recursos e diretrizes específicos da organização.

  • Integrar-se às ferramentas de sua escolha estendendo os modelos de projeto. Por exemplo, consulte Criar um projeto de SageMaker IA para integrar com GitLab GitLab funis.

  • Organizar todas as entidades do ciclo de vida do ML em um único projeto.

O que há em um projeto de SageMaker IA?

Os clientes têm a flexibilidade de configurar seus projetos com os recursos que melhor atendem ao seu caso de uso. O exemplo abaixo mostra a configuração de MLOps para um fluxo de trabalho de ML, incluindo treinamento e implantação de modelos.

Um diagrama de fluxo de trabalho de ML para um pipeline que inclui etapas de treinamento e implantação de modelos.

Um projeto típico com um SageMaker AI-provided modelo pode incluir o seguinte:

  • Um ou mais repositórios com código de amostra para criar e implantar soluções de ML. São exemplos funcionais que você pode modificar de acordo com suas necessidades. Você possui esse código e pode aproveitar os repositórios com controle de versão para suas tarefas.

  • Um pipeline de SageMaker IA que define etapas para preparação de dados, treinamento, avaliação e implantação de modelos, conforme mostrado no diagrama a seguir.

    Um pipeline de SageMaker IA com etapas de preparação de dados, treinamento, avaliação do modelo e implantação do modelo.
  • Um pipeline CodePipeline ou Jenkins que executa seu pipeline de SageMaker IA sempre que você verifica uma nova versão do código. Para obter informações sobre CodePipeline, consulte O que é AWS CodePipeline. Para obter informações sobre o Jenkins, consulte a Documentação do usuário do Jenkins.

  • Um Grupo de modelos que contém versões do modelo. Toda vez que você aprova a versão do modelo resultante de uma execução de pipeline de SageMaker IA, você pode implantá-la em um endpoint de SageMaker IA.

Cada projeto de SageMaker IA tem um nome e ID exclusivos que são aplicados como tags a toda a SageMaker IA e AWS os recursos criados no projeto. Com o nome e o ID, você pode visualizar todas as entidades associadas ao seu projeto. Isso inclui:

  • Pipelines

  • Modelos registrados

  • Modelos implantados (endpoints)

  • Conjuntos de dados

  • Produtos do Service Catalog

  • CodePipeline e oleodutos Jenkins

  • CodeCommit e repositórios Git de terceiros

Preciso criar um projeto para usar o SageMaker AI Pipelines?

Não. SageMaker os pipelines são entidades autônomas, assim como trabalhos de treinamento, trabalhos de processamento e outros trabalhos de SageMaker IA. Você pode criar, atualizar e executar pipelines diretamente em um notebook usando o SDK do SageMaker Python sem usar um SageMaker projeto de IA.

Os projetos fornecem uma camada adicional para ajudar você a organizar seu código e adotar as melhores práticas operacionais necessárias para um sistema de qualidade de produção.