Gestione dei percorsi di archiviazione per diversi tipi di archiviazione locale delle istanze

Se desideri memorizzare gli artefatti didattici per l’addestramento distribuito nella directory /opt/ml/output/data, devi aggiungere correttamente le sottodirectory o utilizzare nomi di file univoci per gli artefatti tramite la definizione del modello o lo script di addestramento. Se le sottodirectory e i nomi dei file non sono configurati correttamente, tutti gli addetti all’addestramento distribuito potrebbero scrivere output con lo stesso nome di file nello stesso percorso di output in Amazon S3.

Se utilizzi un contenitore di formazione personalizzato, assicurati di installare il SageMaker Training Toolkit che aiuta a configurare l'ambiente per i lavori di SageMaker formazione. Altrimenti, è necessario specificare le variabili di ambiente in modo esplicito nel Dockerfile. Per ulteriori informazioni, consulta Creare un container con algoritmi e modelli personalizzati.

Quando si utilizza un'istanza ML con volumi SSD NVMe, l' SageMaker IA non fornisce lo storage gp2 di Amazon EBS. Lo storage disponibile è fissato alla capacità di archiviazione dell'istanza. NVMe-type SageMaker L'intelligenza artificiale configura i percorsi di archiviazione per set di dati di addestramento, checkpoint, artefatti del modello e output per utilizzare l'intera capacità di archiviazione dell'istanza. Ad esempio, le famiglie di istanze ML con lo storage di NVMe-type istanze includono, e. ml.p4d ml.g4dn ml.g5 Quando si utilizza un'istanza ML con l'opzione di EBS-only archiviazione e senza archiviazione dell'istanza, è necessario definire la dimensione del volume EBS tramite il volume_size parametro nella ModelTrainer classe SageMaker AI (o VolumeSizeInGB se si utilizza l'ResourceConfigAPI). Ad esempio, le famiglie di istanze ML che utilizzano volumi EBS includono ml.c5 e ml.p2. Per cercare i tipi di istanze e i relativi tipi e volumi di storage delle istanze, consulta la sezione Tipi di istanze Amazon EC2.

I percorsi predefiniti per i processi di SageMaker formazione sono montati sui volumi Amazon EBS o sui volumi SSD NVMe dell'istanza ML. Quando adatti il tuo script di training all' SageMaker IA, assicurati di utilizzare i percorsi predefiniti elencati nell'argomento precedente su. SageMaker Variabili di ambiente AI e percorsi predefiniti per le sedi di archiviazione della formazione Si consiglia di utilizzare la directory /tmp come spazio di memoria virtuale per memorizzare temporaneamente oggetti di grandi dimensioni durante l'addestramento. Ciò significa che non è necessario utilizzare directory montate su un piccolo spazio su disco allocato al sistema, come /user e /home, per evitare errori di esaurimento dello spazio.