Use modelos de projeto SageMaker fornecidos pela IA

Importante

Em 28 de outubro de 2024, os AWS CodeCommit modelos foram removidos. Para novos projetos, selecione entre os modelos de projeto disponíveis que usam repositórios Git de terceiros.

A Amazon SageMaker AI fornece modelos de projeto que criam a infraestrutura de que você precisa para criar uma MLOps solução para integração contínua e implantação contínua (CI/CD) de modelos de ML. Use esses modelos para processar dados, extrair recursos, treinar e testar modelos, registrar os SageMaker modelos no Registro de Modelos e implantar os modelos para inferência. Você pode personalizar o código inicial e os arquivos de configuração para atender aos seus requisitos.

nota

Funções adicionais são necessárias para usar modelos de projeto. Para obter uma lista completa das funções necessárias e instruções sobre como criá-las, consulte Conceder as permissões necessárias ao SageMaker Studio para usar projetos. Se você não tiver as novas funções, receberá a mensagem de erro Não CodePipeline está autorizado a desempenhar AssumeRole na função arn:aws:iam: :xxx: role/service-role/AmazonSageMakerServiceCatalogProductsCodePipelineRole ao tentar criar um novo projeto e não conseguir continuar.

SageMaker Os modelos de projeto de IA oferecem a seguinte opção de repositórios de código, ferramentas de automação de fluxo de trabalho e estágios de pipeline:

Repositório de código: repositórios Git de terceiros, como e Bitbucket GitHub
Automação do fluxo de trabalho de CI/CD: AWS CodePipeline ou Jenkins
Estágios do pipeline: construção e treinamento do modelo, implantação do modelo ou ambos

A discussão a seguir fornece uma visão geral de cada modelo que você pode escolher ao criar seu projeto de SageMaker IA. Você também pode ver os modelos disponíveis no Studio (ou Studio Classic) seguindo o passo a passo Criar o projeto do projeto.

Para step-by-step obter instruções sobre como criar um projeto real, você pode seguir uma das orientações do projeto:

Se você quiser usar o modelo MLOps modelos para criação, treinamento e implantação de modelos com Git de terceiros usando Git CodePipeline, consulte Percorra um MLOps projeto de SageMaker IA usando repositórios Git de terceiros.
Se você quiser usar o modeloMLOps modelos para criação, treinamento e implantação de modelos com repositórios Git de terceiros usando Jenkins, consulte Criar SageMaker projetos da Amazon usando controle de origem de terceiros e Jenkins.

Tópicos

Repositório de código: Git de terceiros.

nota
Estabeleça a AWS CodeStar conexão da sua AWS conta com seu GitHub usuário ou organização. Adicione uma tag com a chave sagemaker e o valor true a essa AWS CodeStar conexão.
Automação do fluxo de trabalho de CI/CD: AWS CodePipeline

Construção e treinamento de modelos

Este modelo fornece os seguintes recursos:

Associações com um repositório Git especificado pelo cliente. O repositório contém um código de amostra que cria um pipeline de SageMaker IA da Amazon em código Python e mostra como criar e atualizar SageMaker o pipeline de IA. Esse repositório também tem um caderno Python de amostra que você pode abrir e executar no Studio (ou Studio Classic).
Um AWS CodePipeline pipeline que tem etapas de origem e construção. A etapa de origem aponta para o repositório Git de terceiros. A etapa de construção obtém o código desse repositório, cria e atualiza o pipeline de SageMaker IA, inicia a execução do pipeline e aguarda a conclusão da execução do pipeline.
Um AWS CodeBuild projeto para preencher os repositórios Git com as informações do código inicial. Isso requer uma AWS CodeStar conexão da sua com Conta da AWS a sua conta no host do repositório Git.
Um bucket do Amazon S3 para armazenar artefatos, inclusive artefatos, CodePipeline e quaisquer CodeBuild artefatos gerados a partir do pipeline de IA é executado. SageMaker

Implantação de modelos

Este modelo fornece os seguintes recursos:

Associações com um repositório Git especificado pelo cliente. O repositório contém código de amostra que implanta modelos em endpoints em ambientes de preparação e produção.
Um AWS CodePipeline pipeline que tem origem deploy-to-staging, construção e deploy-to-production etapas. A etapa de origem aponta para o repositório Git de terceiros e a etapa de criação obtém o código desse repositório e gera AWS CloudFormation pilhas para implantação. As deploy-to-production etapas deploy-to-staging e implantam as AWS CloudFormation pilhas em seus respectivos ambientes. Há uma etapa de aprovação manual entre as etapas de preparação e construção de produção, de modo que um MLOps engenheiro deve aprovar o modelo antes que ele seja implantado na produção.
Um AWS CodeBuild projeto para preencher os repositórios Git com as informações do código inicial. Isso requer uma AWS CodeStar conexão da sua com Conta da AWS a sua conta no host do repositório Git.
Um bucket do Amazon S3 para armazenar artefatos, inclusive artefatos, CodePipeline e quaisquer CodeBuild artefatos gerados a partir do pipeline de IA é executado. SageMaker

Construção, treinamento e implantação de modelos

Este modelo fornece os seguintes recursos:

Associações com um ou mais repositórios Git especificados pelo cliente.
Um AWS CodePipeline pipeline que tem origem deploy-to-staging, construção e deploy-to-production etapas. A etapa de origem aponta para o repositório Git de terceiros e a etapa de criação obtém o código desse repositório e gera CloudFormation pilhas para implantação. As deploy-to-production etapas deploy-to-staging e implantam as CloudFormation pilhas em seus respectivos ambientes. Há uma etapa de aprovação manual entre as etapas de preparação e construção de produção, de modo que um MLOps engenheiro deve aprovar o modelo antes que ele seja implantado na produção.
Um AWS CodeBuild projeto para preencher os repositórios Git com as informações do código inicial. Isso requer uma AWS CodeStar conexão da sua AWS conta com a sua conta no host do repositório Git.
Um bucket do Amazon S3 para armazenar artefatos, inclusive artefatos, CodePipeline e quaisquer CodeBuild artefatos gerados a partir do pipeline de IA é executado. SageMaker

Conforme mencionado anteriormente, consulte o Passo a passo do projeto usando repositórios Git de terceiros para ver uma demonstração que usa esse modelo para criar um projeto real.

Repositório de código: Git de terceiros.

nota
Estabeleça a AWS CodeStar conexão da sua AWS conta com seu GitHub usuário ou organização. Adicione uma tag com a chave sagemaker e o valor true a essa AWS CodeStar conexão.
Automação do fluxo de trabalho de CI/CD: AWS CodePipeline

Os modelos a seguir incluem um SageMaker modelo adicional do Amazon Model Monitor que fornece os seguintes tipos de monitoramento:

Qualidade dos dados: monitora a variação na qualidade dos dados.
Qualidade do modelo: monitora a variação nas métricas de qualidade do modelo, como a precisão.
Desvio de viés para modelos em produção — Monitore o viés nas previsões de um modelo.

Construção de modelos, treinamento, implantação e Amazon SageMaker Model Monitor

Esse modelo é uma extensão do MLOps modelo para criação, treinamento e implantação de modelos com o uso de repositórios Git. CodePipeline Ele inclui os componentes de criação, treinamento e implantação do modelo e um modelo adicional do Amazon SageMaker Model Monitor que fornece os seguintes tipos de monitoramento:

Monitore um modelo implantado

Você pode usar esse modelo para uma MLOps solução para implantar um ou mais monitores de qualidade de dados, qualidade do modelo, viés do modelo e explicabilidade do modelo da Amazon SageMaker AI para monitorar um modelo implantado em um endpoint de inferência de SageMaker IA. Este modelo fornece os seguintes recursos:

Associações com um ou mais repositórios Git especificados pelo cliente. O repositório contém exemplos de código Python que obtém as linhas de base usadas pelos monitores do SageMaker Amazon Model Registry e atualiza os parâmetros do modelo para os ambientes de preparação e produção. Ele também contém um AWS CloudFormation modelo para criar os Amazon SageMaker Model Monitors.
Um AWS CodePipeline pipeline que tem etapas de origem, criação e implantação. A etapa de origem aponta para o CodePipeline repositório. A etapa de criação obtém o código desse repositório, obtém a linha de base do Registro de modelo e atualiza os parâmetros do modelo para os ambientes de preparação e produção. As etapas de implantação implantam os monitores configurados nos ambientes de preparação e produção. A etapa de aprovação manual, dentro do DeployStaging estágio, exige que você verifique se o endpoint de SageMaker IA de produção está InService antes de aprovar e passar para o DeployProd estágio.
Um AWS CodeBuild projeto para preencher os repositórios Git com as informações do código inicial. Isso requer uma AWS CodeStar conexão da sua com Conta da AWS a sua conta no host do repositório Git.
O modelo usa o mesmo bucket do Amazon S3 criado pelo MLOps modelo para criação, treinamento e implantação de modelos para armazenar as saídas dos monitores.
Duas regras de EventBridge eventos da Amazon iniciam o Amazon SageMaker Model Monitor AWS CodePipeline toda vez que o endpoint de SageMaker IA de teste é atualizado.

Repositório de código: Git de terceiros.

nota
Estabeleça a AWS CodeStar conexão da sua AWS conta com seu GitHub usuário ou organização. Adicione uma tag com a chave sagemaker e o valor true a essa AWS CodeStar conexão.
Automação do fluxo de trabalho de CI/CD: Jenkins

Construção, treinamento e implantação de modelos

Este modelo fornece os seguintes recursos:

Associações com um ou mais repositórios Git especificados pelo cliente.
Código inicial para gerar pipelines Jenkins que têm origem deploy-to-staging, construção e deploy-to-production etapas. A etapa de fonte destina-se ao repositório Git especificado pelo cliente. A etapa de construção obtém o código desse repositório e gera duas CloudFormation pilhas. As etapas de implantação implantam as CloudFormation pilhas em seus respectivos ambientes. Há uma etapa de aprovação entre a etapa de preparação e a etapa de produção.
Um AWS CodeBuild projeto para preencher os repositórios Git com as informações do código inicial. Isso requer uma AWS CodeStar conexão da sua AWS conta com a sua conta no host do repositório Git.
Um bucket do Amazon S3 para armazenar artefatos do projeto de IA e SageMaker do SageMaker pipeline de IA.

O modelo cria a associação entre seu projeto e os repositórios de controle de origem, mas você precisa realizar etapas manuais adicionais para estabelecer a comunicação entre sua AWS conta e o Jenkins. Para ver as etapas detalhadas, consulte Criar SageMaker projetos da Amazon usando o controle de origem de terceiros e o Jenkins.

As instruções ajudam você a criar a arquitetura mostrada no diagrama a seguir, com GitHub o repositório de controle de origem neste exemplo. Conforme mostrado, você anexará seu repositório Git ao projeto para verificar e gerenciar as versões do código. O Jenkins inicia o pipeline de construção do modelo quando detecta alterações no código de criação do modelo no repositório Git. Você também conectará o projeto ao Jenkins para orquestrar as etapas de implantação do modelo, que começam quando você aprova o modelo registrado no registro do modelo ou quando o Jenkins detecta alterações no código de implantação do modelo.

O fluxo de trabalho do pipeline criado usando o modelo de projeto.

Em resumo, as etapas o orientam pelas seguintes tarefas:

Estabeleça a conexão entre suas GitHub contas AWS e as suas.
Criar a conta do Jenkins e importe os plug-ins necessários.
Criar a política de usuários e permissões do IAM do Jenkins.
Defina as AWS credenciais para o usuário do Jenkins IAM no seu servidor Jenkins.
Criar um token de API para comunicação com seu servidor do Jenkins.
Use um CloudFormation modelo para configurar uma EventBridge regra para monitorar o registro de modelos recém-aprovados.
Crie o projeto de SageMaker IA, que alimenta seus GitHub repositórios com código de criação e implantação de modelos.
Criar seu pipeline de criação de modelo do Jenkins com o código inicial de criação do modelo.
Criar seu pipeline de implantação de modelo do Jenkins com o código inicial de implantação do modelo.

Este modelo é uma extensão de MLOps modelos para criação, treinamento e implantação de modelos com Git de terceiros usando Git CodePipeline. Ele inclui os componentes de criação, treinamento e implantação do modelo e as seguintes opções:

Incluir pipeline de criação de imagem de processamento
Incluir um pipeline de criação de imagens de treinamento
Incluir um pipeline de criação de imagens de inferência

Para cada um dos componentes selecionados durante a criação do projeto, o seguinte é criado ao usar o modelo:

Um repositório do Amazon ECR
Uma imagem de SageMaker IA
Um CodeCommit repositório contendo um Dockerfile que você pode personalizar
Um CodePipeline que é iniciado por alterações no CodePipeline repositório
Um CodeBuild projeto que cria uma imagem do Docker e a registra no repositório Amazon ECR
Uma EventBridge regra que inicia o CodePipeline em um cronograma

Quando o CodePipeline é iniciado, ele cria um novo contêiner Docker e o registra em um repositório Amazon ECR. Quando um novo contêiner é registrado no repositório Amazon ECR, um novo ImageVersion é adicionado à imagem de SageMaker IA. Isso inicia o pipeline de criação do modelo, que por sua vez inicia o pipeline de implantação.

A imagem recém-criada é usada nas partes de criação, treinamento e implantação do modelo do fluxo de trabalho, quando aplicável.

A política gerenciada anexada ao perfil AmazonSageMakerServiceCatalogProductsUseRole foi atualizada em 27 de julho de 2021 para uso com modelos Git de terceiros. Os usuários que se inscrevem no Amazon SageMaker Studio (ou Studio Classic) após essa data e habilitam modelos de projeto usam a nova política. Os usuários que se inscreveram antes dessa data devem atualizar a política para usar esses modelos. Use uma das seguintes opções para atualizar a política:

Excluir o perfil e alternar as configurações do Studio (ou Studio Classic)
1. No console do IAM, exclua AmazonSageMakerServiceCatalogProductsUseRole.
2. No ambiente de gerenciamento do Studio (ou Studio Classic), escolha Editar configurações.
3. Alterne as duas configurações e escolha Enviar.

No console do IAM, adicione as seguintes permissões ao AmazonSageMakerServiceCatalogProductsUseRole:


{
      "Effect": "Allow",
      "Action": [
          "codestar-connections:UseConnection"
      ],
      "Resource": "arn:aws:codestar-connections:*:*:connection/*",
      "Condition": {
          "StringEqualsIgnoreCase": {
              "aws:ResourceTag/sagemaker": "true"
          }
      }
  },
  {
      "Effect": "Allow",
      "Action": [
          "s3:PutObjectAcl"
      ],
      "Resource": [
          "arn:aws:s3:::sagemaker-*"
      ]
  }

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Modelos

Modelos personalizados