기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 병렬 문제 해결

오류가 발생한 경우, 다음 목록을 사용하여 훈련 작업의 문제를 해결하고자 시도할 수 있습니다. 문제가 지속되면 AWS 지원에 문의하세요.

SageMaker 모델 병렬화 라이브러리와 함께 SageMaker 디버거를 사용할 때 고려할 사항

SageMaker 모델 병렬화 라이브러리에는 디버거를 사용할 수 없습니다. SageMaker 디버거는 모든 SageMaker TensorFlow 작업과 PyTorch 교육 작업에 기본적으로 활성화되어 있으며 다음과 같은 오류가 표시될 수 있습니다.

FileNotFoundError: [Errno 2] No such file or directory: '/opt/ml/checkpoints/metadata.json.sagemaker-uploading

이 문제를 해결하려면 다음 예제와 같이 estimator 프레임워크 생성 시 debugger_hook_config=False을(를) 전달하여 Debugger를 비활성화하세요.

bucket=sagemaker.Session().default_bucket()
base_job_name="sagemaker-checkpoint-test"
checkpoint_in_bucket="checkpoints"

# The S3 URI to store the checkpoints
checkpoint_s3_bucket="s3://{}/{}/{}".format(bucket, base_job_name, checkpoint_in_bucket)

estimator = TensorFlow(
    ...

    distribution={"smdistributed": {"modelparallel": { "enabled": True }}},
    checkpoint_s3_uri=checkpoint_s3_bucket,
    checkpoint_local_path="/opt/ml/checkpoints",
    debugger_hook_config=False
)

체크포인트 저장

대형 모델의 체크포인트를 저장할 때 다음 오류가 발생할 수 있습니다. SageMaker

InternalServerError: We encountered an internal error. Please try again

이는 교육 중에 Amazon S3에 로컬 체크포인트를 업로드할 때 발생하는 SageMaker 제한 때문에 발생할 수 있습니다. 체크포인트를 비활성화하려면 다음 예제를 사용하여 체크포인트를 명시적으로 업로드하십시오. SageMaker

위 오류가 발생하는 경우 호출과 함께 사용하지 마십시오. checkpoint_s3_uri SageMaker estimator 대형 모델의 체크포인트를 저장할 때는 체크포인트를 사용자 지정 디렉터리에 저장한 후, 이를 local_path 인수로 헬퍼 함수에 전달하는 것이 좋습니다.

import os

def aws_s3_sync(source, destination):
    """aws s3 sync in quiet mode and time profile"""
    import time, subprocess
    cmd = ["aws", "s3", "sync", "--quiet", source, destination]
    print(f"Syncing files from {source} to {destination}")
    start_time = time.time()
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    p.wait()
    end_time = time.time()
    print("Time Taken to Sync: ", (end_time-start_time))
    return

def sync_local_checkpoints_to_s3(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from local path to s3 """

    import boto3
    #check if local path exists
    if not os.path.exists(local_path):
        raise RuntimeError("Provided local path {local_path} does not exist. Please check")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(local_path, s3_uri)
    return

def sync_s3_checkpoints_to_local(local_path="/opt/ml/checkpoints", s3_uri=os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))+'/checkpoints'):
    """ sample function to sync checkpoints from s3 to local path """

    import boto3
    #try to create local path if it does not exist
    if not os.path.exists(local_path):
        print(f"Provided local path {local_path} does not exist. Creating...")
        try:
            os.makedirs(local_path)
        except Exception as e:
            raise RuntimeError(f"Failed to create {local_path}")

    #check if s3 bucket exists
    s3 = boto3.resource('s3')
    if not s3_uri.startswith("s3://"):
        raise ValueError(f"Provided s3 uri {s3_uri} is not valid.")

    s3_bucket = s3_uri.replace('s3://','').split('/')[0]
    print(f"S3 Bucket: {s3_bucket}")
    try:
        s3.meta.client.head_bucket(Bucket=s3_bucket)
    except Exception as e:
        raise e
    aws_s3_sync(s3_uri, local_path)
    return

헬퍼 함수 사용:

#base_s3_uri - user input s3 uri or save to model directory (default)
#curr_host - to save checkpoints of current host
#iteration - current step/epoch during which checkpoint is saved

# save checkpoints on every node using local_rank
if smp.local_rank() == 0:
    base_s3_uri = os.path.dirname(os.path.dirname(os.getenv('SM_MODULE_DIR', '')))
    curr_host = os.environ['SM_CURRENT_HOST']
    full_s3_uri = f'{base_s3_uri}/checkpoints/{curr_host}/{iteration}'
    sync_local_checkpoints_to_s3(local_path=checkpoint_dir, s3_uri=full_s3_uri)

모델 병렬을 사용한 수렴 및 TensorFlow

모델 병렬 처리 TensorFlow 라이브러리와 함께 SageMaker 다중 노드 훈련을 사용하는 경우 학습 입력 파일의 순서가 노드마다 다를 수 있으므로 손실이 예상대로 수렴되지 않을 수 있습니다. 이로 인해 동일한 모델 병렬 그룹의 서로 다른 순위가 여러 개의 입력 파일에 적용되어 불일치가 발생할 수 있습니다. 이를 방지하려면 입력 파일을 데이터셋으로 변환하기 전에 모든 순위에서 동일한 순서로 정렬해야 합니다. TensorFlow 이를 달성할 방법은 훈련 스크립트에서 입력 파일 이름을 정렬하는 것입니다.

분산 훈련 작업의 지연 또는 충돌

훈련 작업 중 지연, 충돌 또는 무응답 문제가 발생할 경우, 다음 문제 해결 항목을 읽고 문제의 원인을 파악하세요. 추가 지원이 필요한 경우 Support를 통해 SageMaker 분산된 교육 팀에AWS 문의하세요.

교육 작업에 대한 NCCL 오류 수신 PyTorch

다음 오류가 발생했다면 프로세스에서 GPU 메모리가 부족해졌기 때문일 수 있습니다.

NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.8
ncclSystemError: System call (socket, malloc, munmap, etc) failed.

배치 크기 또는 active_microbatches을(를) 줄이면 이 문제를 해결할 수 있습니다. 자동 파티셔닝으로 인해 파티셔닝이 균형 잡힌 상태로 이루어지지 않으면 수동 파티셔닝을 고려해야 할 수도 있습니다. 자세한 설명은 노드 간 파이프라인 병렬성 섹션을 참조하세요.

PyTorch 교육 RecursionError Job에 대한 접수

이 라이브러리는 모듈의 전달 호출 내부에서 이뤄지는 super.forward() 호출을 지원하지 않습니다. super.forward()을(를) 사용하면 다음 오류 메시지가 표시될 수 있습니다.

RecursionError: maximum recursion depth exceeded

오류를 수정하려면 super.forward()을(를) 호출하는 대신 super()._orig_forward()을(를) 호출해야 합니다.