Rilevamento dei lavori sospesi

Aggiungi la variabile di ambiente IP host al tuo RayCluster manifest

Aggiungi la seguente variabile di ambiente a entrambi headGroupSpec e workerGroupSpecs nel tuo RayCluster YAML. Ciò consente alla libreria Python in esecuzione all'interno del contenitore di formazione di comunicare con il servizio di monitoraggio dei lavori sull'host.

spec:
  headGroupSpec:
    template:
      spec:
        containers:
        - name: ray-head
          env:
          - name: HYPERPOD_JMA_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
  workerGroupSpecs:
  - template:
      spec:
        containers:
        - name: ray-worker
          env:
          - name: HYPERPOD_JMA_HOST
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP

Installa la libreria del toolkit nell'immagine del contenitore di formazione

Aggiungi il pacchetto toolkit-for-ray-on-sagemaker-ai dal sito web PyPI all'immagine del contenitore di formazione. La libreria è preinstallata nelle immagini SageMaker di distribuzione.

pip install toolkit-for-ray-on-sagemaker-ai

Aggiungi il monitoraggio alla tua funzione di allenamento

Chiama SageMakerLogMonitoring.start() la tua funzione di formazione prima di svolgere qualsiasi lavoro significativo. Ciò garantisce che il monitoraggio sia attivo sin dall'inizio dell'addestramento e può rilevare i blocchi che si verificano durante il caricamento del modello o il primo passaggio in avanti.

from toolkit_for_ray_on_sagemaker_ai.log_monitoring import (
    SageMakerLogMonitoring,
    LogMonitorConfig,
)
from ray.train import RunConfig, FailureConfig, ScalingConfig
from ray.train.torch import TorchTrainer

def train_func():
    # Start monitoring BEFORE any meaningful work
    SageMakerLogMonitoring(config=LogMonitorConfig(
        enabled=True,
        rules=[
            {
                "name": "training_progress",
                "type": "log_pattern",
                "enabled": True,
                "log_pattern": "(Epoch|Step|Iteration) \\d+",
                "timeout_minutes": 10,
                "start_timeout_minutes": 30,
                "stop_pattern": "Training complete",
                "fault_on_match": False,
            },
            {
                "name": "oom_detection",
                "type": "log_pattern",
                "enabled": True,
                "log_pattern": "CUDA out of memory|OutOfMemoryError|OOM",
                "fault_on_match": True,
            },
        ],
        action="cancel",
    )).start()

    # ... your training loop
    for epoch in range(num_epochs):
        print(f"Epoch {epoch}")  # This output is what the rule monitors
        train_one_epoch(model, dataloader)

    print("Training complete")  # Matches stop_pattern, deactivates the rule

# Configure FailureConfig so Ray Train automatically restarts all workers
# when the cancel action terminates a hung worker.
trainer = TorchTrainer(
    train_func,
    scaling_config=ScalingConfig(num_workers=4, use_gpu=True),
    run_config=RunConfig(
        failure_config=FailureConfig(max_failures=3),
    ),
)

Quando l'cancelazione interrompe un lavoratore sospeso, la documentazione di Ray Train FailureConfig nella documentazione di Ray rileva il fallimento del lavoratore e riavvia tutti i lavoratori dall'ultimo checkpoint. Imposta max_failures il numero di tentativi di ripristino automatico che desideri prima che il lavoro fallisca definitivamente. FailureConfigIn caso contrario, un singolo licenziamento del lavoratore fa fallire l'intero lavoro.

Poiché Ray Train effettua il ripristino dall'ultimo checkpoint salvato al riavvio, dopo il checkpoint più recente non si perde alcun progresso formativo dopo il lavoro. Se il codice di allenamento salva periodicamente i checkpoint (ad esempio, in corrispondenza di ogni limite di epoca), il lavoro riprende automaticamente dall'ultimo stato salvato.