Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Comience con la formación distribuida en Amazon SageMaker

La siguiente página proporciona información sobre los pasos necesarios para empezar con la formación distribuida en Amazon SageMaker. Si ya conoce el entrenamiento distribuido, seleccione una de las siguientes opciones que se adapte a su estrategia o marco preferido para empezar. Si desea obtener más información sobre el entrenamiento distribuido en general, consulte Conceptos de formación distribuida.

Las bibliotecas de formación SageMaker distribuidas están optimizadas para el entorno de SageMaker formación, ayudan a adaptar las tareas de formación distribuidas y a SageMaker mejorar la velocidad y el rendimiento de la formación. Las bibliotecas ofrecen estrategias de entrenamiento de paralelismo de datos y paralelismo de modelos. Combinan tecnologías de software y hardware para mejorar las comunicaciones entre nodos GPU y entre ellos, y amplían las capacidades SageMaker de formación con opciones integradas que requieren cambios mínimos en el código de los guiones de formación. 

Antes de empezar

SageMaker La formación admite la formación distribuida en una sola instancia y en varias instancias, por lo que puede impartir formación de cualquier tamaño a escala. Le recomendamos que utilice las clases estimadoras del marco, como PyTorchy TensorFlowen SageMaker PythonSDK, que son los lanzadores de tareas de formación con varias opciones de formación distribuidas. Al crear un objeto estimador, el objeto configura una infraestructura de entrenamiento distribuida, la ejecuta CreateTrainingJob API en el backend, encuentra la región en la que se está ejecutando la sesión actual y extrae uno de los contenedores de aprendizaje AWS profundo prediseñados y empaquetados con una serie de bibliotecas que incluyen marcos de aprendizaje profundo, marcos de entrenamiento distribuidos y el EFAcontrolador. Si desea montar un sistema de FSx archivos en las instancias de entrenamiento, debe pasar su ID de VPC subred y grupo de seguridad al estimador. Antes de ejecutar su trabajo de formación distribuida SageMaker, lea las siguientes instrucciones generales sobre la configuración básica de la infraestructura.

Zonas de disponibilidad y plano posterior de red

Cuando se utilizan varias instancias (también denominadas nodos), es importante entender la red que conecta las instancias, cómo leen los datos de entrenamiento y cómo comparten la información entre sí. Por ejemplo, cuando ejecuta un trabajo de formación en paralelo con datos distribuidos, varios factores, como la comunicación entre los nodos de un clúster de procesamiento para ejecutar la AllReduce operación y la transferencia de datos entre los nodos y el almacenamiento de datos en Amazon Simple Storage Service o Amazon FSx for Lustre, desempeñan un papel crucial para lograr un uso óptimo de los recursos informáticos y una velocidad de entrenamiento más rápida. Para reducir la sobrecarga de comunicación, asegúrese de configurar las instancias, la VPC subred y el almacenamiento de datos en la misma zona Región de AWS y en la zona de disponibilidad.

GPUinstancias con una red más rápida y un almacenamiento de alto rendimiento

Técnicamente, puede utilizar cualquier instancia para un entrenamiento distribuido. Para los casos en los que necesite ejecutar trabajos de formación distribuidos en varios nodos para entrenar modelos grandes, como modelos de lenguaje grandes (LLMs) y modelos de difusión, que requieren una conmutación más rápida entre nodos, recomendamos EFA las instancias habilitadas compatibles con. GPU SageMaker Especialmente, para lograr el mejor rendimiento en el trabajo de formación distribuida SageMaker, recomendamos las instancias P4d y P4de equipadas con el A100. NVIDIA GPUs También están equipadas con almacenamiento de instancias locales de alto rendimiento y baja latencia, así como una red dentro del nodo más rápida. Para el almacenamiento de datos, recomendamos Amazon FSx for Lustre, que proporciona un alto rendimiento para almacenar conjuntos de datos de entrenamiento y puntos de control de modelos.

Utilice la biblioteca de paralelismo de datos SageMaker distribuidos () SMDDP

La SMDDP biblioteca mejora la comunicación entre los nodos con implementaciones AllReduce y operaciones de comunicación AllGather colectiva optimizadas para la infraestructura de AWS red y la topología de instancias de Amazon SageMaker ML. Puede utilizar la SMDDPbiblioteca como backend de paquetes de formación distribuidos PyTorch basados en datos: PyTorch distributeddata parallel (DDP), PyTorch fully sharded data parallelism (FSDP) y Megatron-. DeepSpeedDeepSpeed El siguiente ejemplo de código muestra cómo configurar un PyTorch estimador para lanzar un trabajo de formación distribuido en dos instancias. ml.p4d.24xlarge

from sagemaker.pytorch import PyTorch

estimator = PyTorch(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    # Activate distributed training with SMDDP
    distribution={ "pytorchddp": { "enabled": True } }  # mpirun, activates SMDDP AllReduce OR AllGather
    # distribution={ "torch_distributed": { "enabled": True } }  # torchrun, activates SMDDP AllGather
    # distribution={ "smdistributed": { "dataparallel": { "enabled": True } } }  # mpirun, activates SMDDP AllReduce OR AllGather
)

Para obtener información sobre cómo preparar el guion de formación y lanzar un trabajo de formación paralelo con datos distribuidos SageMaker, consulteRealice un entrenamiento distribuido con la biblioteca de paralelismo de datos SageMaker distribuidos.

Utilice la biblioteca de SageMaker modelos de paralelismo () SMP

SageMaker proporciona la SMP biblioteca y admite diversas técnicas de entrenamiento distribuidas, como el paralelismo de datos fragmentados, la canalización, el paralelismo tensorial, la fragmentación del estado del optimizador y más. Para obtener más información sobre lo que ofrece la biblioteca, consulte. SMP Características principales de la biblioteca de paralelismo de SageMaker modelos

Para usar SageMaker la biblioteca de paralelismo de modelos, configure el distribution parámetro de los estimadores del SageMaker marco. Los estimadores de marco compatibles son y. PyTorchTensorFlow El siguiente ejemplo de código muestra cómo crear un estimador de marco para el entrenamiento distribuido con la biblioteca de paralelismo de modelos en dos instancias ml.p4d.24xlarge.

from sagemaker.framework import Framework

distribution={
    "smdistributed": {
        "modelparallel": {
            "enabled":True,
            "parameters": {
                ...   # enter parameter key-value pairs here
            }
        },
    },
    "mpi": {
        "enabled" : True,
        ...           # enter parameter key-value pairs here
    }
}

estimator = Framework(
    ...,
    instance_count=2,
    instance_type="ml.p4d.24xlarge",
    distribution=distribution
)

Para aprender a adaptar su script de entrenamiento, configurar los parámetros de distribución en la estimator clase e iniciar un trabajo de entrenamiento distribuido, consulte la biblioteca SageMaker de modelos de paralelismo (consulte también APIs el entrenamiento distribuido en la documentación de SageMaker Python SDK).

Utilice marcos de entrenamiento distribuido de código abierto

SageMaker también admite las siguientes opciones de funcionamiento mpirun y torchrun en el backend.