Gerenciando caminhos de armazenamento para diferentes tipos de armazenamento local de instância

Se quiser armazenar artefatos de treinamento para treinamento distribuído no diretório /opt/ml/output/data, você deve anexar subdiretórios adequadamente ou usar nomes de arquivo exclusivos para os artefatos por meio da definição do modelo ou do script de treinamento. Se os subdiretórios e nomes de arquivos não estiverem configurados corretamente, todos os operadores do treinamento distribuído poderão gravar as saídas no mesmo nome de arquivo no mesmo caminho de saída no Amazon S3.

Se você usa um contêiner de treinamento personalizado, certifique-se de instalar o kit de ferramentas de SageMaker treinamento que ajuda a configurar o ambiente para trabalhos de SageMaker treinamento. Caso contrário, você deve especificar as variáveis de ambiente explicitamente em seu Dockerfile. Para obter mais informações, consulte Criar um contêiner com seus próprios algoritmos e modelos.

Ao usar uma instância de ML com NVMeSSDvolumes, SageMaker não provisiona o armazenamento EBS gp2 da Amazon. O armazenamento disponível é fixado na capacidade de armazenamento da instância NVMe -type. SageMaker configura caminhos de armazenamento para treinar conjuntos de dados, pontos de verificação, artefatos de modelo e saídas para usar toda a capacidade do armazenamento da instância. Por exemplo, famílias de instâncias de ML com o armazenamento NVMe de instâncias do tipo -incluem ml.p4dml.g4dn, e. ml.g5 Ao usar uma instância de ML com a opção de armazenamento EBS -only e sem armazenamento de instância, você deve definir o tamanho do EBS volume por meio do volume_size parâmetro na classe do SageMaker estimador (ou VolumeSizeInGB se estiver usando a). ResourceConfig API Por exemplo, famílias de instâncias de ML que usam EBS volumes incluem ml.c5 ml.p2 e. Para pesquisar os tipos de instância e seus tipos e volumes de armazenamento de instâncias, consulte Tipos de EC2 instância da Amazon.

Os caminhos padrão para trabalhos SageMaker de treinamento são montados nos EBS volumes da Amazon ou NVMe SSD nos volumes da instância de ML. Ao adaptar seu script de treinamento para SageMaker, certifique-se de usar os caminhos padrão listados no tópico anterior sobreSageMaker variáveis de ambiente e os caminhos padrão para treinar locais de armazenamento. Recomendamos que você use o diretório /tmp como um espaço rascunho para armazenar temporariamente objetos grandes durante o treinamento. Isso significa que você não deve usar diretórios montados em um pequeno espaço em disco alocado para o sistema, como /user e/home, para evitar out-of-space erros.