Adicionar ou remover modelos - Amazon SageMaker

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Adicionar ou remover modelos

Você pode implantar modelos adicionais em um endpoint de vários modelos e invocá-los por meio desse endpoint imediatamente. Ao adicionar um novo modelo, você não precisará atualizar ou reduzir o endpoint, assim, evitará o custo de criar e executar um endpoint separado para cada novo modelo. O processo de adição e remoção de modelos é o mesmo para terminais multimodelo suportados CPU e GPU suportados por eles.

SageMaker descarrega modelos não utilizados do contêiner quando a instância está atingindo a capacidade de memória e mais modelos precisam ser baixados no contêiner. SageMaker também exclui artefatos de modelo não utilizados do volume de armazenamento da instância quando o volume está atingindo a capacidade máxima e novos modelos precisam ser baixados. A primeira invocação para um modelo recém-adicionado leva mais tempo porque o endpoint leva tempo para baixar o modelo do S3 para a memória do contêiner na instância que hospeda o endpoint

Com o endpoint já em execução, copie um novo conjunto de artefatos de modelo para o local do Amazon S3 em que você armazena seus modelos.

# Add an AdditionalModel to the endpoint and exercise it
aws s3 cp AdditionalModel.tar.gz s3://amzn-s3-demo-bucket/path/to/artifacts/
Importante

Para atualizar um modelo, proceda como faria ao adicionar um novo modelo. Use um nome novo e exclusivo. Não substitua artefatos de modelo no Amazon S3 porque a versão antiga do modelo ainda pode estar carregada nos contêineres ou no volume de armazenamento das instâncias no endpoint. As invocações para o novo modelo poderiam, assim, invocar a versão antiga do modelo.

Os aplicativos cliente podem solicitar previsões do modelo de destino adicional assim que forem armazenados no S3.

response = runtime_sagemaker_client.invoke_endpoint(
                        EndpointName='<ENDPOINT_NAME>',
                        ContentType='text/csv',
                        TargetModel='AdditionalModel.tar.gz',
                        Body=body)

Para excluir um modelo de um endpoint de vários modelos, pare de invocar o modelo dos clientes e remova-o do local do S3 em que os artefatos de modelo são armazenados.