Pools de aquecimento gerenciados pelo SageMaker

Os grupos de aquecimento gerenciados pelo SageMaker permitem que você retenha e reutilize a infraestrutura provisionada após a conclusão de um trabalho de treinamento para reduzir a latência de workloads repetitivas, como experimentação iterativa ou execução de vários trabalhos consecutivos. Os trabalhos de treinamento subsequentes que correspondem aos parâmetros especificados são executados na infraestrutura de grupo de aquecimento retido, o que acelera os horários de início ao reduzir o tempo gasto no provisionamento de recursos.

Como funciona

Para usar grupos de aquecimento gerenciados pelo SageMaker e reduzir a latência entre trabalhos de treinamento consecutivos semelhantes, crie um trabalho de treinamento que especifique um valor KeepAlivePeriodInSeconds em seus ResourceConfig. Esse valor representa o período de tempo em segundos para reter os recursos configurados em um grupo de aquecimento para trabalhos de treinamento subsequentes. Se você precisar executar vários trabalhos de treinamento usando configurações semelhantes, poderá reduzir ainda mais a latência e o tempo faturável usando um diretório de cache persistente dedicado para armazenar e reutilizar suas informações em um trabalho diferente.

Ciclo de vida do grupo de alta atividade

Para obter mais informações sobre as opções de status do grupo de aquecimento, consulte WarmPoolStatus na referência da API do Amazon SageMaker.

Criação de grupo de aquecimento

Se um trabalho de treinamento inicial for concluído com êxito e tiver um KeepAlivePeriodInSeconds valor maior que 0, será criado um grupo de aquecimento. Se você interromper um trabalho de treinamento após o lançamento de um cluster, ainda será retido um grupo de aquecimento. Se o trabalho de treinamento falhar devido a um erro do algoritmo ou do cliente, ainda será retido um grupo de aquecimento. Se o trabalho de treinamento falhar por qualquer outro motivo que possa comprometer a integridade do cluster, o grupo de aquecimento não será criado.

Para verificar a criação bem-sucedida do grupo de aquecimento, verifique o status do grupo de aquecimento do seu trabalho de treinamento. Se um grupo de aquecimento for provisionado com sucesso, o status do grupo de aquecimento é Available. Se um grupo de aquecimento não for provisionado com sucesso, o status do grupo de aquecimento é Terminated.

Combinar os trabalhos de treinamento

Para que um grupo de aquecimento persista, deve encontrar um trabalho de treinamento correspondente dentro do tempo especificado no valor KeepAlivePeriodInSeconds. O próximo trabalho de treinamento é compatível se os valores seguintes forem idênticos:

Todos esses valores devem ser os mesmos para que uma piscina aquecida passe para um trabalho de treinamento subsequente para reutilização.

Duração máxima do grupo de aquecimento

O KeepAlivePeriodInSeconds máximo para um único trabalho de treinamento é de 3.600 segundos (60 minutos) e o tempo máximo em que um cluster de grupo de aquecimento pode continuar executando trabalhos de treinamento consecutivos é de 28 dias.

Cada trabalho de treinamento subsequente também deve especificar um valor de KeepAlivePeriodInSeconds. Quando o grupo de aquecimento passa para a próxima tarefa de treinamento, ela herda o novo valor KeepAlivePeriodInSeconds especificado no trabalho de treinamento ResourceConfig. Dessa forma, você pode manter um grupo de aquecimento passando de um trabalho de treinamento para outro por no máximo 28 dias.

Se KeepAlivePeriodInSeconds não for especificado, o grupo de aquecimento desligará após a conclusão do trabalho de treinamento.

Usando cache persistente

Quando você cria um grupo de aquecimento, o SageMaker monta um diretório especial no volume que persistirá durante todo o ciclo de vida do grupo de aquecimento. Esse diretório também pode ser usado para armazenar informações que você deseja reutilizar em outro trabalho.

Usar o cache persistente pode reduzir a latência e o tempo faturável em vez de usar apenas grupos de aquecimento para trabalhos que exigem o seguinte:

Por exemplo, você pode evitar o download das mesmas dependências do Python em execuções repetidas configurando um diretório de cache pip dentro do diretório de cache persistente. Você é totalmente responsável por gerenciar o conteúdo desse diretório. Veja a seguir exemplos de tipos de informações que você pode colocar no cache persistente para ajudar a reduzir a latência e o tempo faturável.

A localização do cache persistente é /opt/ml/sagemaker/warmpoolcache. A variável de ambiente SAGEMAKER_MANAGED_WARMPOOL_CACHE_DIRECTORY aponta para a localização do diretório de cache persistente.

O exemplo de código a seguir mostra como configurar um grupo de aquecimento e usar o cache persistente para armazenar suas dependências de pip para uso em um trabalho subsequente. O trabalho subsequente deve ser executado dentro do prazo determinado pelo parâmetrokeep_alive_period_in_seconds.

import sagemakerfrom sagemaker import get_execution_rolefrom sagemaker.tensorflow import TensorFlow
# Creates a SageMaker session and gets execution role
session = sagemaker.Session()
role = get_execution_role()
# Creates an example estimator
estimator = TensorFlow(
    ...
    entry_point='my-training-script.py',
    source_dir='code',
    role=role,
    model_dir='model_dir',
    framework_version='2.2',
    py_version='py37',
    job_name='my-training-job-1',
    instance_type='ml.g4dn.xlarge',
    instance_count=1,
    volume_size=250,
    hyperparameters={
"batch-size": 512,
        "epochs": 1,
        "learning-rate": 1e-3,
        "beta_1": 0.9,
        "beta_2": 0.999,
    },
    keep_alive_period_in_seconds=1800,
    environment={"PIP_CACHE_DIR": "/opt/ml/sagemaker/warmpoolcache/pip"}
)

No exemplo de código anterior, o uso do parâmetro ambiente exporta a variável de ambiente PIP_CACHE_DIRECTORY para apontar para o diretório /opt/ml/sagemaker/warmpoolcache/pip. A exportação dessa variável de ambiente mudará o local em que o pip armazena seu cache no novo local. Qualquer diretório, incluindo diretórios aninhados, que você criar dentro do diretório de cache persistente estará disponível para reutilização durante uma execução de treinamento subsequente. No exemplo de código anterior, um diretório chamado pip é alterado para ser o local padrão para armazenar em cache todas as dependências instaladas usando pip.

A localização do cache persistente também pode ser acessada de dentro do seu script de treinamento do Python usando a variável de ambiente, conforme mostrado no exemplo de código a seguir.

import os
import shutil
if __name__ == '__main__':
    PERSISTED_DIR = os.environ["SAGEMAKER_MANAGED_WARMPOOL_CACHE_DIRECTORY"]

    # create a file to be persisted
    open(os.path.join(PERSISTED_DIR, "test.txt"), 'a').close()
    # create a directory to be persisted
    os.mkdir(os.path.join(PERSISTED_DIR, "test_dir"))

    # Move a file to be persisted
    shutil.move("path/of/your/file.txt", PERSISTED_DIR)

Faturamento

Os grupos de aquecimento gerenciados pelo SageMaker são um recurso faturável. Recupere o status do grupo de aquecimento do seu trabalho de treinamento para verificar o tempo faturável de seus grupos de aquecimento. Você pode verificar o status do grupo de aquecimento por meio do comando da API DescribeTrainingJob Usar o console do Amazon SageMaker ou diretamente por meio do comando DescribeTrainingJob. Para obter mais informações, consulte WarmPoolStatus na referência da API do Amazon SageMaker.

Considerações

Considere os seguintes itens ao usar grupos de alta atividade gerenciados do SageMaker: