As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como a Amazon SageMaker fornece informações de treinamento

Esta seção explica como SageMaker disponibilizar informações de treinamento, como dados de treinamento, hiperparâmetros e outras informações de configuração, para seu contêiner Docker.

Ao enviar uma CreateTrainingJobsolicitação SageMaker para iniciar o treinamento do modelo, você especifica o caminho do Amazon Elastic Container Registry (AmazonECR) da imagem do Docker que contém o algoritmo de treinamento. Você também especifica o local do Amazon Simple Storage Service (Amazon S3) onde os dados de treinamento são armazenados e os parâmetros específicos do algoritmo. SageMaker disponibiliza essas informações para o contêiner do Docker para que seu algoritmo de treinamento possa usá-las. Esta seção explica como disponibilizamos essas informações para o seu contêiner do Docker. Para obter informações sobre como criar um trabalho de treinamento, consulte CreateTrainingJob. Para obter mais informações sobre como os SageMaker contêineres organizam as informações, consulteSageMaker Kits de ferramentas de treinamento e inferência.

Hiperparâmetros

SageMaker disponibiliza os hiperparâmetros em uma CreateTrainingJob solicitação no contêiner do Docker no /opt/ml/input/config/hyperparameters.json arquivo.

A seguir está um exemplo de uma configuração de hiperparâmetros hyperparameters.json para especificar os eta hiperparâmetros num_round e na CreateTrainingJob operação para. XGBoost

{
    "num_round": "128",
    "eta": "0.001"
}            

Para obter uma lista completa dos hiperparâmetros que podem ser usados para o XGBoost algoritmo SageMaker incorporado, consulte XGBoostHiperparâmetros.

Os hiperparâmetros que você pode ajustar dependem do algoritmo que você está treinando. Para obter uma lista dos hiperparâmetros disponíveis para um algoritmo SageMaker integrado, encontre-os listados em Hiperparâmetros no link do algoritmo em Use Amazon SageMaker Built-in Algorithms or Pre-training Models.

Variáveis de ambiente

SageMaker define as seguintes variáveis de ambiente em seu contêiner:

Configuração dos dados de entrada

SageMaker disponibiliza as informações do canal de dados no InputDataConfig parâmetro da sua CreateTrainingJob solicitação no /opt/ml/input/config/inputdataconfig.json arquivo em seu contêiner do Docker.

Por exemplo, suponha que você especifique três canais de dados (trainevaluation, evalidation) em sua solicitação. SageMakerfornece o seguinteJSON:

{
  "train" : {"ContentType":  "trainingContentType",
             "TrainingInputMode": "File",
             "S3DistributionType": "FullyReplicated",
             "RecordWrapperType": "None"},
  "evaluation" : {"ContentType":  "evalContentType",
                  "TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"},
  "validation" : {"TrainingInputMode": "File",
                  "S3DistributionType": "FullyReplicated",
                  "RecordWrapperType": "None"}
} 

Dados de treinamento

O parâmetro TrainingInputMode na CreateTrainingJobsolicitação especifica como o conjunto AlgorithmSpecification de dados de treinamento é disponibilizado para seu contêiner. Os seguintes modos de entrada estão disponíveis:

SageMaker o treinamento de modelos oferece suporte a buckets de diretório S3 Express One Zone de alto desempenho como um local de entrada de dados para o modo de arquivo, modo de arquivo rápido e modo pipe. Para usar o S3 Express One Zone, insira a localização do bucket de diretório do S3 Express One Zone em vez de um bucket de uso geral do Amazon S3. Forneça ARN para a IAM função o controle de acesso e a política de permissões necessários. Para mais detalhes, consulte AmazonSageMakerFullAccesspolicy. Você só pode criptografar seus dados de SageMaker saída em buckets de diretório com criptografia do lado do servidor com chaves gerenciadas do Amazon S3 (-S3). SSE Atualmente, a criptografia do lado do servidor com AWS KMS chaves (SSE-KMS) não é suportada para armazenar dados de SageMaker saída em compartimentos de diretório. Para obter mais informações, consulte S3 Express One Zone.

Configuração do treinamento distribuído

Se você estiver realizando um treinamento distribuído com vários contêineres, SageMaker disponibiliza as informações sobre todos os contêineres no /opt/ml/input/config/resourceconfig.json arquivo.

Para habilitar a comunicação entre contêineres, esse JSON arquivo contém informações de todos os contêineres. SageMaker disponibiliza esse arquivo para ambos os algoritmos File e para Pipe o modo. O arquivo fornece as seguintes informações:

Veja a seguir um exemplo de arquivo no nó 1 em um cluster de três nós:

{
    "current_host": "algo-1",
    "hosts": ["algo-1","algo-2","algo-3"],
    "network_interface_name":"eth1"
}