Gestione dei percorsi di archiviazione per diversi tipi di archiviazione locale delle istanze

Se desideri memorizzare gli artefatti didattici per l’addestramento distribuito nella directory /opt/ml/output/data, devi aggiungere correttamente le sottodirectory o utilizzare nomi di file univoci per gli artefatti tramite la definizione del modello o lo script di addestramento. Se le sottodirectory e i nomi dei file non sono configurati correttamente, tutti gli addetti all’addestramento distribuito potrebbero scrivere output con lo stesso nome di file nello stesso percorso di output in Amazon S3.

Se utilizzi un contenitore di formazione personalizzato, assicurati di installare il SageMaker Training Toolkit che aiuta a configurare l'ambiente per i lavori di SageMaker formazione. Altrimenti, è necessario specificare le variabili di ambiente in modo esplicito nel Dockerfile. Per ulteriori informazioni, consulta Creare un container con algoritmi e modelli personalizzati.

Quando si utilizza un'istanza ML con volumi NVMe SSD, l' SageMaker IA non fornisce lo storage Amazon EBS gp2. Lo storage disponibile è fissato alla capacità di storage dell'istanza di tipo « NVMe-type». SageMaker L'intelligenza artificiale configura percorsi di archiviazione per l'addestramento di set di dati, checkpoint, artefatti del modello e output per utilizzare l'intera capacità di archiviazione dell'istanza. Ad esempio, le famiglie di istanze ML con storage di istanze di tipo « NVMe-type» includono, e. ml.p4d ml.g4dn ml.g5 Quando si utilizza un'istanza ML con l'opzione di archiviazione solo EBS e senza archiviazione di istanze, è necessario definire la dimensione del volume EBS tramite il volume_size parametro nella classe SageMaker AI estimator (o VolumeSizeInGB se si utilizza l'API). ResourceConfig Ad esempio, le famiglie di istanze ML che utilizzano volumi EBS includono ml.c5 e ml.p2. Per cercare i tipi di istanze e i relativi tipi e volumi di storage delle istanze, consulta Amazon EC2 Instance Types.

I percorsi predefiniti per i lavori di SageMaker formazione sono montati su volumi Amazon EBS o su volumi NVMe SSD dell'istanza ML. Quando adattate lo script di formazione all' SageMaker intelligenza artificiale, assicuratevi di utilizzare i percorsi predefiniti elencati nell'argomento precedente. SageMaker Variabili di ambiente AI e percorsi predefiniti per l'addestramento dei luoghi di archiviazione Si consiglia di utilizzare la directory /tmp come spazio di memoria virtuale per memorizzare temporaneamente oggetti di grandi dimensioni durante l'addestramento. Ciò significa che non è necessario utilizzare directory montate su un piccolo spazio su disco allocato al sistema, come /user e/home, per evitare out-of-space errori.