本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模型并行故障排除

在遇到错误时，您可以根据以下列表尝试对训练作业进行故障排除。如果问题仍存在，请联系 AWS Support。

在 SageMaker 模型并行度库中使用 SageMaker调试器的注意事项

SageMaker 调试器不适用于 SageMaker 模型并行度库。默认情况下，所有任务 SageMaker TensorFlow 和 PyTorch 训练作业均启用调试器，您可能会看到如下所示的错误：

FileNotFoundError: [Errno 2] No such file or directory: '/opt/ml/checkpoints/metadata.json.sagemaker-uploading

要修复此问题，请在创建框架时 estimator 通过传递 debugger_hook_config=False 来禁用 Debugger，如下例所示。

bucket=sagemaker.Session().default_bucket()
base_job_name="sagemaker-checkpoint-test"
checkpoint_in_bucket="checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket="s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

estimator = TensorFlow(
    ...

    distribution={"smdistributed": {"modelparallel": { "enabled": True }}},
    checkpoint_s3_uri=checkpoint_s3_bucket,
    checkpoint_local_path="/opt/ml/checkpoints",
    debugger_hook_config=False
)

保存检查点

在上保存大型模型的检查点时，可能会遇到以下错误 SageMaker：

InternalServerError: We encountered an internal error. Please try again

这可能是由于训练期间将本地检查点上传到 Amazon S3 时出现 SageMaker 限制所致。要在中禁用检查点功能 SageMaker，请使用以下示例显式上传检查点。

如果您遇到上述错误，请不要在 SageMaker estimator调checkpoint_s3_uri用中使用。在为较大的模型保存检查点时，建议将检查点保存到自定义目录中，然后将这些检查点传递给帮助程序函数（作为 local_path 参数)。

import os

def aws_s3_sync(source, destination):
    """aws s3 sync in quiet mode and time profile"""
    import time, subprocess
    cmd = ["aws", "s3", "sync", "--quiet", source, destination]
    print(f"Syncing files from {source} to {destination}")
    start_time = time.time()
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    p.wait()
    end_time = time.time()
    print("Time Taken to Sync: ", (end_time-start_time))
    return

def sync_local_checkpoints_to_s3(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from local path to s3 """

    import boto3
    #check if local path exists
    if not os.path.exists(local_path):
        raise RuntimeError("Provided local path {local_path} does not exist. Please check")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(local_path, s3_uri)
    return

def sync_s3_checkpoints_to_local(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from s3 to local path """

    import boto3
    #try to create local path if it does not exist
    if not os.path.exists(local_path):
        print(f"Provided local path {local_path} does not exist. Creating...")
        try:
            os.makedirs(local_path)
        except Exception as e:
            raise RuntimeError(f"Failed to create {local_path}")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(s3_uri, local_path)
    return

帮助程序函数的用法：

#base_s3_uri - user input s3 uri or save to model directory (default)
#curr_host - to save checkpoints of current host
#iteration - current step/epoch during which checkpoint is saved

# save checkpoints on every node using local_rank
if smp.local_rank() == 0:
    base_s3_uri = os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))
    curr_host = os.environ['SM_CURRENT_HOST']
    full_s3_uri = f'{base_s3_uri}/checkpoints/{curr_host}/{iteration}'
    sync_local_checkpoints_to_s3(local_path=checkpoint_dir, s3_uri=full_s3_uri)

使用模型并行进行收敛和 TensorFlow

当使用 SageMaker 多节点训练 TensorFlow 和模型并行度库时，损失可能无法按预期收集，因为每个节点上训练输入文件的顺序可能不同。这可能会导致同一模型并行组中处理不同输入文件有不同的排名，从而导致不一致的情况。为防止出现这种情况，请确保输入文件在转换为 TensorFlow 数据集之前，所有等级的顺序都相同。要做到这一点，一种方法是在输入脚本中对输入文件名称排序。

分布式训练作业停顿或崩溃

如果您的训练作业出现了停顿、崩溃或没有响应问题，请阅读以下故障排除项目以确定造成问题的原因。如果您需要任何进一步的支持，请通过AWS Support 联系 SageMaker 分布式培训团队。

收到 Training Job 的 NCCL 错误 PyTorch

如果您遇到以下错误，这可能是由于进程耗尽 GPU 内存所造成。

NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.8
ncclSystemError: System call (socket, malloc, munmap, etc) failed.

您可以通过减少批处理大小或 active_microbatches 来解决这个问题。如果自动分区不能得到均衡的分区，则您可能需要考虑手动分区。有关更多信息，请参阅跨节点的流水线并行性。

接受 RecursionError Training PyTorch Job

该库不支持在模块的前向调用内部调用 super.forward()。如果您使用 super.forward()，则可能会收到以下错误消息。

RecursionError: maximum recursion depth exceeded

要修复错误，您不应调用 super.forward()，而是应调用 super()._orig_forward()。