Gerenciamento de caminhos de armazenamento para tipos diferentes de armazenamento local de instância

Se quiser armazenar artefatos de treinamento para treinamento distribuído no diretório /opt/ml/output/data, você deve anexar subdiretórios adequadamente ou usar nomes de arquivo exclusivos para os artefatos por meio da definição do modelo ou do script de treinamento. Se os subdiretórios e nomes de arquivos não estiverem configurados corretamente, todos os operadores do treinamento distribuído poderão gravar as saídas no mesmo nome de arquivo no mesmo caminho de saída no Amazon S3.

Se você usa um contêiner de treinamento personalizado, certifique-se de instalar o kit de ferramentas de SageMaker treinamento que ajuda a configurar o ambiente para trabalhos de SageMaker treinamento. Caso contrário, você deve especificar as variáveis de ambiente explicitamente em seu Dockerfile. Para obter mais informações, consulte Criar um contêiner com seus próprios algoritmos e modelos.

Ao usar uma instância de ML com volumes NVMe SSD, a SageMaker IA não provisiona o armazenamento gp2 do Amazon EBS. O armazenamento disponível é fixado na capacidade de armazenamento da instância NVMe -type. SageMaker A IA configura caminhos de armazenamento para treinar conjuntos de dados, pontos de verificação, artefatos de modelo e saídas para usar toda a capacidade do armazenamento da instância. Por exemplo, famílias de instâncias de ML com o armazenamento NVMe de instâncias do tipo -incluem ml.p4dml.g4dn, e. ml.g5 Ao usar uma instância de ML com a opção de armazenamento somente EBS e sem armazenamento de instância, você deve definir o tamanho do volume do EBS por meio do volume_size parâmetro na classe de estimador de SageMaker IA (ou VolumeSizeInGB se estiver usando a API). ResourceConfig Por exemplo, famílias de instâncias de ML que usam volumes do EBS incluem ml.c5 e ml.p2. Para pesquisar os tipos de instância e seus tipos e volumes de armazenamento de instâncias, consulte Tipos de EC2 instância da Amazon.

Os caminhos padrão para trabalhos de SageMaker treinamento são montados nos volumes do Amazon EBS ou nos volumes NVMe SSD da instância de ML. Ao adaptar seu script de treinamento à SageMaker IA, certifique-se de usar os caminhos padrão listados no tópico anterior sobreSageMaker Variáveis de ambiente de IA e os caminhos padrão para locais de armazenamento de treinamento. Recomendamos que você use o diretório /tmp como um espaço rascunho para armazenar temporariamente objetos grandes durante o treinamento. Isso significa que você não deve usar diretórios montados em um pequeno espaço em disco alocado para o sistema, como /user e/home, para evitar out-of-space erros.