Criar um teste de validação por comparação - Amazon SageMaker
Pré-requisitosInsira os detalhes do teste de validação por comparação Insira as configurações do teste de validação por comparação

Criar um teste de validação por comparação

Você pode criar um teste de validação por comparação para comparar o desempenho de uma variante de sombra com uma variante de produção. Você pode executar o teste em um endpoint existente que esteja atendendo às solicitações de inferência ou criar um novo endpoint no qual executar o teste.

Para criar um teste de validação por comparação, você precisa especificar o seguinte:

  • Uma variante de produção que recebe e responde a 100% das solicitações de inferência recebidas.

  • Uma variante paralela que recebe uma porcentagem das solicitações recebidas, replicada da variante de produção, mas não retorna nenhuma resposta.

Para cada variante, você pode usar o SageMaker para controlar o modelo, o tipo de instância e a contagem de instâncias. Você pode configurar a porcentagem de solicitações recebidas, conhecida como porcentagem de amostragem de tráfego, que você deseja replicar para sua variante sombra. O SageMaker gerencia a replicação de solicitações para sua variante sombra e você pode modificar a porcentagem de amostragem de tráfego quando o teste está programado ou em execução. Opcionalmente, você também pode ativar a captura de dados para registrar solicitações e respostas de suas variantes de produção e sombra.

nota

O SageMaker é compatível com no máximo uma variante de sombra por endpoint. Para um endpoint com uma variante de sombra, pode haver no máximo uma variante de produção.

Você pode programar o teste para começar a qualquer momento e continuar por um período especificado. A duração padrão é de 7 dias e a máxima é de 30 dias. Depois que o teste for concluído, o endpoint volta ao estado em que estava antes de iniciar o teste. Isso garante que você não precise limpar manualmente os recursos após a conclusão do teste.

Você pode monitorar um teste que está sendo executado em um painel no console do SageMaker. O painel fornece uma comparação lado a lado das métricas de invocação e métricas de instância entre as variantes de produção e sombra, além de uma visualização tabular com estatísticas métricas relevantes. Esse painel também está disponível para testes concluídos. Depois de analisar as métricas, você pode optar por promover a variante sombra como a nova variante de produção ou reter a variante de produção existente. Depois de promover a variante sombra, ela responde a todas as solicitações recebidas. Para obter mais informações, consulte Promover uma variante de sombra.

O procedimento a seguir descreve como criar uma de teste de validação por comparação por meio do console do SageMaker. Há variações no fluxo de trabalho, dependendo se você deseja usar um endpoint existente ou criar um novo endpoint para o teste de validação por comparação.

Pré-requisitos

Antes de criar um teste de validação por comparação com o console do SageMaker, você deve ter um modelo do SageMaker pronto para uso. Para obter informações sobre como criar um modelo, consulte Implantar modelos para inferência em tempo real.

Você pode começar com testes de sombra com um endpoint existente com uma variante de produção e uma variante de sombra, um endpoint existente com apenas uma variante de produção ou apenas os modelos do SageMaker que você gostaria de comparar. Os testes paralelos permitem criar um endpoint e adicionar variantes antes do início do teste.

nota

Certos recursos de endpoint podem tornar seu endpoint incompatível com teste de validação por comparação. Se o endpoint usa algum dos seguintes atributos, não é possível usar testes de validação por comparação em seu endpoint, e a solicitação para configurar testes validação por comparação levará a erros de validação:

  • Inferência sem servidor

  • Inferência assíncrona

  • Marketplace de contêineres

  • Endpoints de vários contêineres

  • Endpoints multimodelo

  • Endpoints que usam instâncias Inf1 (baseadas em inferência)

Insira os detalhes do teste de validação por comparação

Para começar a criar seu teste de validação por comparação, preencha a página Inserir detalhes do teste de validação por comparação fazendo o seguinte:

  1. Abra o console do SageMaker.

  2. No painel de navegação à esquerda, escolha Inferência e, em seguida, escolha teste de validação por comparação.

  3. Escolha Criar teste de validação por comparação.

  4. Em Nome, insira um nome para o teste.

  5. (Opcional) Em Descrição, insira uma descrição para o teste.

  6. (Opcional) Especifique as tags usando pares de chave e valor.

  7. Escolha Próximo.

Insira as configurações do teste de validação por comparação

Depois de preencher a página Inserir detalhes do teste de validação por comparação, preencha a página Inserir configurações do teste de validação por comparação. Se você já tem um endpoint do SageMaker Inference e uma variante de produção, siga o fluxo de trabalho Usar um endpoint existente. Se você ainda não tem uma de endpoint, siga o fluxo de trabalho Criar uma de novo endpoint.

Use an existing endpoint

Se você quiser usar um endpoint existente para seu teste, preencha a página Inserir configurações do teste de validação por comparação fazendo o seguinte:

  1. Escolha a função que tem a política de IAM AmazonSageMakerFullAccess anexada.

  2. Escolha Usar um endpoint existente e, em seguida, escolha um dos endpoints disponíveis.

  3. (Opcional) Para criptografar o volume de armazenamento em seu endpoint, escolha uma chave KMS existente ou escolha Inserir um ARN da chave KMS na lista suspensa em Chave de criptografia. Se você escolher a segunda opção, um campo para inserir o ARN da chave KMS será exibido. Insira o ARN da chave KMS nesse campo.

  4. Se você tiver várias variantes de produção por trás desse endpoint, remova as que não deseja usar para o teste. Você pode remover uma variante do modelo selecionando-a e, em seguida, escolhendo Remover.

  5. Se ainda não tiver uma variante de sombra, adicione uma variante de sombra. Para adicionar uma variante de sombra, faça o seguinte:

    1. Escolha Adicionar.

    2. Escolha a variante de sombra.

    3. Na caixa de diálogo Adicionar modelo, escolha o modelo que você deseja usar para sua variante de sombra.

    4. Escolha Salvar.

  6. (Opcional) Na etapa anterior, a variante de sombra é adicionada com as configurações padrão. Para modificar essas configurações, selecione a variante de sombra e escolha Editar. A caixa de diálogo Editar variante de sombra é exibida. Para obter mais informações sobre preenchimento dessa caixa de diálogo, consulte Editar um teste de validação por comparação.

  7. Na seção Programação, insira a duração do teste fazendo o seguinte:

    1. Escolha a caixa em Duração. É exibido um calendário pop-up.

    2. Selecione as datas de início e término no calendário ou insira as datas de início e término nos campos Data de início e Data de término, respectivamente.

    3. (Opcional) Para os campos Hora de início e Hora de término, insira as horas de início e término, respectivamente, no formato de 24 horas.

    4. Escolha Aplicar.

    A duração mínima é de 1 hora e a duração máxima é de 30 dias.

  8. (Opcional) Ative a captura de dados para salvar as informações de solicitação e resposta de inferência do seu endpoint em um bucket do Amazon S3 e, em seguida, insira a localização do bucket do Amazon S3.

  9. Escolha Criar teste de validação por comparação.

Create a new endpoint

Se não tiver um endpoint existente para seu teste ou quiser criar um novo endpoint para o seu teste, preencha a página Inserir configurações do teste de validação por comparação fazendo o seguinte:

  1. Escolha a função que tem a política de IAM AmazonSageMakerFullAccess anexada.

  2. Escolha Criar um novo endpoint.

  3. Em Tag de nome, insira um nome para o endpoint.

  4. Adicione uma variante de produção e uma variante de sombra ao endpoint:

    • Para adicionar uma variante de produção, escolha Adicionar e, em seguida, escolha Variante de produção. Na caixa de diálogo Adicionar modelo, escolha o modelo que deseja usar para sua variante de sombra e em seguida escolha Salvar.

    • Para adicionar uma variante de sombra, escolha Adicionar e, em seguida, escolha Variante de sombra. Na caixa de diálogo Adicionar modelo, escolha o modelo que deseja usar para sua variante de sombra e em seguida escolha Salvar.

  5. (Opcional) Na etapa anterior, a variante de sombra é adicionada com as configurações padrão. Para modificar essas configurações, selecione a variante de sombra e escolha Editar. A caixa de diálogo Editar variante de sombra é exibida. Para obter mais informações sobre preenchimento dessa caixa de diálogo, consulte Editar um teste de validação por comparação.

  6. Na seção Programação, insira a duração do teste fazendo o seguinte:

    1. Escolha a caixa em Duração. É exibido um calendário pop-up.

    2. Selecione as datas de início e término no calendário ou insira as datas de início e término em Data de início e Data de término, respectivamente.

    3. (Opcional) Em Hora de início e Hora de término, insira as horas de início e término, respectivamente, no formato de 24 horas.

    4. Escolha Aplicar.

    A duração mínima é de 1 hora e a duração máxima é de 30 dias.

  7. (Opcional) Ative a captura de dados para salvar as informações de solicitação e resposta de inferência do seu endpoint em um bucket do Amazon S3 e, em seguida, insira a localização do bucket do Amazon S3.

  8. Escolha Criar teste de validação por comparação.

Depois de concluir os procedimentos anteriores, agora você deve ter um teste agendado para começar na data e hora de início especificadas. Você pode ver o progresso do teste em um painel. Para obter mais informações sobre visualização do teste e das ações que você pode realizar, consulte Visualize, monitore e edite testes de validação por comparação.