Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Solución de problemas de paralelismo de modelos

Si se produce un error, puede utilizar la siguiente lista para intentar solucionar los problemas del trabajo de entrenamiento. Si el problema persiste, póngase en contacto con Soporte de AWS.

Consideraciones sobre el uso del SageMaker depurador con la biblioteca de paralelismo de SageMaker modelos

SageMaker El depurador no está disponible para la biblioteca de paralelismo de modelos. SageMaker El depurador está activado de forma predeterminada para todos los trabajos SageMaker TensorFlow y para los de PyTorch entrenamiento, y es posible que aparezca un error parecido al siguiente:

FileNotFoundError: [Errno 2] No such file or directory: '/opt/ml/checkpoints/metadata.json.sagemaker-uploading

Para solucionar este problema, deshabilite el depurador pasando debugger_hook_config=Falseal crear un marco estimator como se muestra en el siguiente ejemplo.

bucket=sagemaker.Session().default_bucket()
base_job_name="sagemaker-checkpoint-test"
checkpoint_in_bucket="checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket="s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

estimator = TensorFlow(
    ...

    distribution={"smdistributed": {"modelparallel": { "enabled": True }}},
    checkpoint_s3_uri=checkpoint_s3_bucket,
    checkpoint_local_path="/opt/ml/checkpoints",
    debugger_hook_config=False
)

Guardar puntos de control

Es posible que aparezca el siguiente error al guardar los puntos de control de un modelo grande en: SageMaker

InternalServerError: We encountered an internal error. Please try again

Esto podría deberse a una SageMaker limitación al cargar el punto de control local en Amazon S3 durante el entrenamiento. Para deshabilitar los puntos de control SageMaker, utilice el siguiente ejemplo para cargar los puntos de control de forma explícita.

Si te encuentras con el error anterior, no lo utilices checkpoint_s3_uri con la SageMaker estimator llamada. Al guardar puntos de control para modelos más grandes, recomendamos guardar los puntos de control en un directorio personalizado y pasar los mismos a la función auxiliar (como el argumento local_path).

import os

def aws_s3_sync(source, destination):
    """aws s3 sync in quiet mode and time profile"""
    import time, subprocess
    cmd = ["aws", "s3", "sync", "--quiet", source, destination]
    print(f"Syncing files from {source} to {destination}")
    start_time = time.time()
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    p.wait()
    end_time = time.time()
    print("Time Taken to Sync: ", (end_time-start_time))
    return

def sync_local_checkpoints_to_s3(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from local path to s3 """

    import boto3
    #check if local path exists
    if not os.path.exists(local_path):
        raise RuntimeError("Provided local path {local_path} does not exist. Please check")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(local_path, s3_uri)
    return

def sync_s3_checkpoints_to_local(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from s3 to local path """

    import boto3
    #try to create local path if it does not exist
    if not os.path.exists(local_path):
        print(f"Provided local path {local_path} does not exist. Creating...")
        try:
            os.makedirs(local_path)
        except Exception as e:
            raise RuntimeError(f"Failed to create {local_path}")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(s3_uri, local_path)
    return

Uso de funciones auxiliares:

#base_s3_uri - user input s3 uri or save to model directory (default)
#curr_host - to save checkpoints of current host
#iteration - current step/epoch during which checkpoint is saved

# save checkpoints on every node using local_rank
if smp.local_rank() == 0:
    base_s3_uri = os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))
    curr_host = os.environ['SM_CURRENT_HOST']
    full_s3_uri = f'{base_s3_uri}/checkpoints/{curr_host}/{iteration}'
    sync_local_checkpoints_to_s3(local_path=checkpoint_dir, s3_uri=full_s3_uri)

Convergencia mediante modelos paralelos y TensorFlow

Al utilizar el entrenamiento con SageMaker varios nodos TensorFlow y la biblioteca de paralelismo de modelos, es posible que la pérdida no converja como se esperaba porque el orden de los archivos de entrada del entrenamiento puede ser diferente en cada nodo. Esto puede provocar que distintos rangos del mismo grupo de paralelismo de modelos funcionen en diferentes archivos de entrada, lo que provoca incoherencias. Para evitarlo, asegúrese de que los archivos de entrada estén ordenados de la misma manera en todos los rangos antes de convertirlos en conjuntos de datos. TensorFlow Una forma de lograrlo es ordenar los nombres de los archivos de entrada en el script de entrenamiento.

Estancamiento o bloqueo de trabajos de entrenamiento distribuido

Si su trabajo de entrenamiento tiene problemas de estancamiento, falla o no responde, lee los siguientes elementos de solución de problemas para identificar cuál es la causa del problema. Si necesita más ayuda, póngase en contacto con el equipo de formación SageMaker distribuida a través de AWS Support.

Recibir un error de la NCCL para un trabajo de formación PyTorch

Si se produce el siguiente error, podría deberse a un proceso que se está quedando sin memoria de la GPU.

NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.8
ncclSystemError: System call (socket, malloc, munmap, etc) failed.

Puede resolverlo reduciendo el tamaño del lote o active_microbatches. Si la partición automática no da como resultado una partición equilibrada, es posible que deba considerar la creación de particiones manuales. Para obtener más información, consulte Paralelismo de canalización entre nodos.

Recibir RecursionError un trabajo PyTorch de formación

La biblioteca no admite llamadas super.forward() dentro de la llamada de reenvío de un módulo. Si no puede crear super.forward(), es posible que reciba el siguiente mensaje de error.

RecursionError: maximum recursion depth exceeded

Para corregir el error, en lugar de llamar super.forward(), debe llamar super()._orig_forward().