Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Versionshinweise für die SageMaker Modellparallelitätsbibliothek
In den folgenden Versionshinweisen finden Sie die neuesten Updates für die SageMaker Modellparallelismus-Bibliothek (SMP). Wenn Sie weitere Fragen zur SMP-Bibliothek haben, wenden Sie sich an das SMP-Serviceteam unter `sm-model-parallel-feedback@amazon.com`.
## Die SageMaker Modellparallelismus-Bibliothek v2.8.0
*Datum: 01. April 2025*
### Aktualisierungen der SMP-Bibliothek
**Fehlerbehebungen**
+ Das SMP-Gradientennorm-Clipping unterstützt jetzt die Aktivierungsauslagerung.
### SMP-Docker- und Enroot-Container
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf `v2.243.0` oder höher.
**Aktualisierungen der Währungen**
+ Unterstützung für v2.5.1 PyTorch hinzugefügt
+ Die CUDA-Unterstützung wurde auf v12.4 aktualisiert.
+ Die NCCL-Unterstützung wurde auf v2.23.4 aktualisiert.
+ Die SMDDP-Bibliothek wurde auf 2.6.0 aktualisiert.
**Details zum Container**
+ SMP Docker-Container für PyTorch v2.5.1 mit CUDA v12.4
```
658645717510.dkr.ecr..amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124
```
+ SMP Enroot-Container für v2.5.1 mit CUDA v12.4 PyTorch
```
https://sagemaker-distributed-model-parallel.s3..amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh
```
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.8.0
+ SMDDP-Bibliothek v2.6.0
+ CUDNN v9.4.0
+ FlashAttention v2.5.8
+ TransformerEngine v1.10
+ Megatron v0.8.0
+ Hugging Face Transformers v4.44.2
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.36.0
+ NCCL v2.23.4
+ AWS-OFI-NCCL v1.13.2
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.7.0
*Datum: 04. Dezember 2024*
### Aktualisierungen der SMP-Bibliothek
**Neue Features**
+ Unterstützung für [SageMaker HyperPod Rezepte](sagemaker-hyperpod-recipes.md) hinzugefügt.
### SMP-Docker- und Enroot-Container
Das SMP-Bibliotheksteam verteilt Docker- und Enroot-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf `v2.237.0` oder höher.
**Details zum Container**
+ SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1
```
658645717510.dkr.ecr..smdistributed-modelparallel:2.4.1-gpu-py311-cu121
```
+ SMP Enroot-Container für v2.4.1 mit CUDA v12.1 PyTorch
```
https://sagemaker-distributed-model-parallel.s3..amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh
```
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.7.0
+ SMDDP-Bibliothek v2.5.0
+ CUDNN v9.4.0
+ FlashAttention v2.5.8
+ TransformerEngine v1.10
+ Megatron v0.8.0
+ Hugging Face Transformers v4.44.2
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.32.0
+ NCCL v2.21.5
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Conda-Umgebung wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.6.1
*Datum: 31. Oktober 2024*
### Aktualisierungen der SMP-Bibliothek
**Fehlerbehebungen**
+ Es wurde ein `ImportError`-Problem behoben, das bei der Verwendung älterer Trainingsskripte mit SMP v2.6.0 auftrat. Dies behebt die Abwärtsinkompatibilität mit SMP v2.6.0.
+ Es wurde eine `DeprecationWarning` für `torch.sagemaker.distributed.fsdp.checkpoint` hinzugefügt. Dieses Modul wird in SMP v2.7.0 nicht mehr unterstützt und entfernt. Wenn Sie derzeit `torch.sagemaker.distributed.fsdp.checkpoint` in Ihrem Code verwenden, sollten Sie Ihre Skripts vor der Veröffentlichung von SMP v2.7.0 aktualisieren, um zukünftige Probleme zu vermeiden.
+ Ein in SMP v2.6.0 festgestelltes Problem mit der Abwärtskompatibilität wurde behoben. Dieses Problem stand im Zusammenhang mit der veralteten Checkpoint-Methode `USE_PG_WITH_UTIL` in SMP v2.6.0, wodurch die Abwärtskompatibilität mit früheren Versionen von Trainingsskripten beeinträchtigt wurde. Um dieses Problem zu beheben, führen Sie Ihre PyTorch Trainingsaufgaben erneut aus, um den neuesten SMP-Container zu erhalten, der in SMP v2.6.1 enthalten ist.
### SMP-Docker-Container
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf.
**Details zum Container**
+ SMP Docker-Container für v2.4.1 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr..amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121
```
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.6.1
+ SMDDP-Bibliothek v2.5.0
+ CUDNN v9.4.0
+ FlashAttention v2.5.8
+ TransformerEngine v1.10
+ Megatron v0.8.0
+ Hugging Face Transformers v4.44.2
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.32.0
+ NCCL v2.21.5
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.6.0
*Datum: 17. Oktober 2024*
### Aktualisierungen der SMP-Bibliothek
**Neue Features**
+ Die folgenden LLM-Modellkonfigurationen werden nun unterstützt. Sie können mit der Verwendung von [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md) und [Tensor-Parallelität](model-parallel-core-features-v2-tensor-parallelism.md) beginnen.
+ [Llama 3.1 8B](https://huggingface.co/meta-llama/Llama-3.1-8B)
+ [Llama 3.1 70B](https://huggingface.co/meta-llama/Llama-3.1-70B)
+ [Mistral 7B](https://huggingface.co/mistralai/Mistral-7B-v0.3)
+ Für die folgenden Mixtral-Modellkonfigurationen wird nun [Tensor-Parallelität](model-parallel-core-features-v2-tensor-parallelism.md) unterstützt.
+ [Mixtral 8x7B](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
+ [Mixtral 8x22B](https://huggingface.co/mistralai/Mixtral-8x22B-v0.1)
+ Unterstützung für eine AllGather basierte Implementierung von Kontextparallelität hinzugefügt, die das AllGather Kommunikationskollektiv nutzt, um die vollständige Sequenz von Tensoren zu erhalten. key-and-value Verfügbare Implementierungen sind `p2p` und `all_gather`. Die `p2p` Implementierung verwendet peer-to-peer Sende- und Empfangsrufe für die Akkumulation von key-and-value (KV) -Tensoren während der Aufmerksamkeitsberechnung, die asynchron ablaufen und es ermöglichen, dass sich die Kommunikation mit der Berechnung überschneidet. Andererseits verwendet die `all_gather`-Implementierung die kollektive `AllGather`-Kommunikationsoperation für die Ansammlung von KV-Tensoren. Informationen zur Anwendung dieser Implementierung von Kontextparallelität finden Sie unter [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md).
+ Die Einstellung des RoPE-Theta-Werts (Rotary Position Embedding) wird nun unterstützt.
**Fehlerbehebungen**
+ Es wurde ein Fehler behoben, bei dem Rotary Position Embedding (RoPE) beim Vortraining nicht richtig initialisiert wurde, wenn die verzögerte Parameterinitialisierung aktiviert war.
**Bekannte Probleme**
+ Transformer Engine unterstützt derzeit keine Kontextparallelität oder die Aktivierung von Sliding Window Attention. FP8 Daher unterstützt die SMP-Version von Mistral Transformers keine Kontextparallelität oder FP8 Training, wenn die Konfiguration des Schiebefensters auf einen Wert ungleich Null gesetzt ist.
### SMP-Docker-Container
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf.
**Aktualisierungen der Währungen**
+ PyTorch Auf v2.4.1 aktualisiert
+ Megatron auf v0.8.0 aktualisiert
+ Die TransformerEngine Bibliothek wurde auf v1.10 aktualisiert
+ Transformers auf v4.44.2 aktualisiert
+ cuDNN auf v9.4.0.58 aktualisiert
**Details zum Container**
+ SMP Docker-Container für PyTorch v2.4.1 mit CUDA v12.1
```
658645717510.dkr.ecr..amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121
```
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.6.0
+ SMDDP-Bibliothek v2.5.0
+ CUDNN v9.4.0
+ FlashAttention v2.5.8
+ TransformerEngine v1.10
+ Megatron v0.8.0
+ Hugging Face Transformers v4.44.2
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.32.0
+ NCCL v2.21.5
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.5.0
*Datum: 28. August 2024*
### Aktualisierungen der SMP-Bibliothek
**Neue Features**
+ Unterstützung für Training mit gemischter Genauigkeit unter Verwendung des FP8 Datenformats auf P5-Instances für das Mixtral-Modell hinzugefügt.
+ Die unterstützten Mixtral-Konfigurationen sind 8x7B und 8x22B. Weitere Informationen hierzu finden Sie unter [Training mit gemischter Präzision FP8 auf P5-Instanzen mithilfe der Transformer Engine](model-parallel-core-features-v2-mixed-precision.md#model-parallel-core-features-v2-mixed-precision-fp8-training-on-p5).
+ [Kontextparallelität](model-parallel-core-features-v2-context-parallelism.md) wird nun für die folgenden Modellkonfigurationen unterstützt.
+ Llama-v2: 7B und 70B
+ Llama-v3: 8B und 70B
+ GPT-NeoX: 20B
+ Das asynchrone Speichern von Checkpoints wird nun unterstützt. Weitere Informationen hierzu finden Sie unter [Checkpointing mit SMP](model-parallel-core-features-v2-checkpoints.md).
+ Unterstützung für das direkte Speichern von Checkpoints in S3 ohne Amazon EBS oder Dateiserver
**Fehlerbehebungen**
+ Es wurde ein Problem behoben, das bei der Llama-Optimierung zu unerwartet hohen Anfangsverlusten führte, wenn ein vortrainierter Modell-Checkpoint geladen und die Tensorparallelität verwendet wurde.
**Hinweise**
+ Um das Aktivierungs-Checkpointing für Mixtral mit FP8 gemischter Genauigkeit zu verwenden, müssen Sie die Aufmerksamkeits- und Expertenebene separat überprüfen. Ein Beispiel für die korrekte Einrichtung finden Sie im [Beispiel-Trainingsskript](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/model_parallel_v2/shared-scripts/train_utils.py) im *Amazon SageMaker AI Examples Repository*.
**Bekannte Probleme**
+ Der Lastenausgleich in der MoE-Konfiguration ([`torch.sagemaker.moe.moe_config.MoEConfig`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-moe)) ist derzeit nicht mit dem Aktivierungs-Checkpoint kompatibel.
+ Bei der Kontextparallelität weist GPT-NeoX sowohl bei dem Vortraining als auch bei der Optimierung einen Leistungsrückgang auf.
+ Bei GPT-NeoX auf P4-Instances führt das direkte Laden von Gewichtungen aus einem transformierten Modell mit verzögerter Parameterinitialisierung in ein Transformer-Modell von Hugging Face zu einer Verlust-Fehlanpassung im ersten Schritt.
### SMP-Docker-Container
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die SageMaker PyTorch Framework-Container. Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.224.0 oder höher.
**Aktualisierungen der Währungen**
+ Die Bibliothek wurde auf v2.5.8 aktualisiert FlashAttention
+ TransformerEngine-Bibliothek auf v1.8 aktualisiert
+ Wenn Sie Transformer Engine in einer Conda-Umgebung installieren möchten, müssen Sie auf dem Quellcode aufbauen und die spezifischen Upstream-Korrekturen auswählen ([744624d](https://github.com/NVIDIA/TransformerEngine/commit/744624d004f4514ffbaa90ac83e214311c86c607), [27c6342](https://github.com/NVIDIA/TransformerEngine/commit/27c6342ea8ad88034bf04b587dd13cb6088d2474), [7669bf3](https://github.com/NVIDIA/TransformerEngine/commit/7669bf3da68074517b134cd6acebd04b221fd545)).
**Details zum Container**
+ SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1
```
658645717510.dkr.ecr..amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121
```
Eine vollständige Liste der unterstützten Regionen finden Sie unter [AWS-Regionen](distributed-data-parallel-support.md#distributed-data-parallel-availablity-zone).
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.5.0
+ SMDDP-Bibliothek v2.3.0
+ CUDNN v8.9.7.29
+ FlashAttention v2.5.8
+ TransformerEngine v1.8
+ Megatron v0.7.0
+ Hugging Face Transformers v4.40.1
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.32.0
+ NCCL v2.21.5
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.4.0
*Datum: 20. Juni 2024*
### Aktualisierungen der SMP-Bibliothek
**Fehlerbehebungen**
+ Es wurde ein Fehler behoben, der zu falschen Logit-Formen führte, wenn bei der Verwendung des SMP-Transformers im Vorwärtsdurchlauf keine Beschriftungen übergeben wurden.
**Aktualisierungen der Währungen**
+ Unterstützung für v2.3.1 hinzugefügt. PyTorch
+ Unterstützung für Python v3.11 hinzugefügt
+ Die Bibliothek Hugging Face Transformers v4.40.1 wird nun unterstützt.
**Veraltete Versionen**
+ Die Unterstützung für Python v3.10 wurde eingestellt.
+ Die Unterstützung für die Versionen der Bibliothek Hugging Face Transformers vor v4.40.1 wurde eingestellt.
Weitere Änderungen
+ Es wurde ein Patch hinzugefügt, mit dem beim Speichern deduplizierter Tensoren zwischen verschiedenen Rängen gewechselt werden kann. Weitere Informationen finden Sie im [Diskussionsthread](https://github.com/pytorch/pytorch/pull/126569) im PyTorch GitHub Repository.
**Bekannte Probleme**
+ Es ist bekannt, dass es bei der Optimierung von Llama-3 70B mit Tensorparallelität zu Verlustspitzen und dann zu einem höheren Verlustwert kommen kann.
### SMP-Docker-Container
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die SageMaker PyTorch Framework-Container. Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.224.0 oder höher.
**Aktualisierungen der Währungen**
+ Die SMDDP-Bibliothek wurde auf v2.3.0 aktualisiert.
+ Die NCCL-Bibliothek wurde auf v2.21.5 aktualisiert.
+ Die EFA-Software wurde auf v1.32.0 aktualisiert.
**Veraltete Versionen**
+ Die Installation der Bibliothek [Torch Distributed Experimental (torchdistX)](https://pytorch.org/torchdistx/latest/index.html) wurde eingestellt.
**Details zum Container**
+ SMP Docker-Container für PyTorch v2.3.1 mit CUDA v12.1
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121
```
+ Vorinstallierte Pakete
+ SMP-Bibliothek v2.4.0
+ SMDDP-Bibliothek v2.3.0
+ CUDNN v8.9.7.29
+ FlashAttention v2.3.3
+ TransformerEngine v1.2.1
+ Hugging Face Transformers v4.40.1
+ Hugging Face Datensatz-Bibliothek v2.19.0
+ EFA v1.32.0
+ NCCL v2.21.5
### SMP-Conda-Kanal
Der folgende S3-Bucket ist der öffentliche Conda-Kanal der SMP-Bibliothek, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.3.1
*Datum: 9. Mai 2024*
**Fehlerbehebungen**
+ Es wurde ein `ImportError`-Problem behoben, das bei der Verwendung von `moe_load_balancing=balanced` in [`torch.sagemaker.moe.moe_config.MoEConfig`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-moe) zur Expertenparallelität auftrat.
+ Es wurde ein Problem bei der Optimierung behoben, bei dem beim Aufruf von [`torch.sagemaker.transform`](distributed-model-parallel-v2-reference.md#model-parallel-v2-torch-sagemaker-reference-transform) ein `KeyError` ausgelöst wurde, wenn `load_state_dict_from_rank0` aktiviert war.
+ Es wurde ein out-of-memory (OOM) -Fehler behoben, der beim Laden großer Mixture of Experts (MoE) -Modelle wie Mixtral 8x22B zur Feinabstimmung auftrat.
**SMP-Docker-Container**
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Diese Version enthält die oben genannten Fehlerbehebungen im folgenden SMP-Docker-Image.
+ SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
```
## Die SageMaker Modellparallelismus-Bibliothek v2.3.0
*Datum: 11. April 2024*
**Neue Features**
+ Zur Unterstützung von MoE-Transformer-Modellen (Mixture of Experts) wurde die *Expertenparallelität* als neue Kernfunktion hinzugefügt. Weitere Informationen hierzu finden Sie unter [Expertenparallelität](model-parallel-core-features-v2-expert-parallelism.md).
**SMP-Docker-Container**
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.214.4 oder höher.
+ SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
```
+ Vorinstallierte Pakete in diesem Docker-Container
+ SMDDP-Bibliothek v2.2.0
+ CUDNN v8.9.5.29
+ FlashAttention v2.3.3
+ TransformerEngine v1.2.1
+ Hugging Face Transformers v4.37.1
+ Hugging Face Datensatz-Bibliothek v2.16.1
+ Megatron-Kern 0.5.0
+ EFA v1.30.0
+ NCCL v2.19.4
## Die SageMaker Modellparallelitätsbibliothek v2.2.0
*Datum: 7. März 2024*
**Neue Funktionen**
+ Unterstützung für das [FP8 Training](model-parallel-core-features-v2-mixed-precision.md#model-parallel-core-features-v2-mixed-precision-fp8-training-on-p5) der folgenden Hugging Face Face-Transformer-Modelle auf P5-Instances mit Transformer Engine-Integration hinzugefügt:
+ GPT-NeoX
+ Llama 2
**Fehlerbehebungen**
+ Es wurde ein Fehler behoben, bei dem vor dem kollektiven `AllGather`-Aufruf während des Tensorparallelitätstrainings nicht garantiert wurde, dass die Tensoren zusammenhängend waren.
**Währungsaktualisierungen**
+ Unterstützung für PyTorch v2.2.0 hinzugefügt.
+ Die SMDDP-Bibliothek wurde auf v2.2.0 aktualisiert.
+ Die FlashAttention Bibliothek wurde auf Version 2.3.3 aktualisiert.
+ Die NCCL-Bibliothek wurde auf v2.19.4 aktualisiert.
**Veraltet**
+ Die Unterstützung für die Transformer-Engine-Versionen vor v1.2.0 wurde eingestellt.
**Bekannte Probleme**
+ Das SMP-Feature [Aktivierung, Entladung](model-parallel-core-features-v2-pytorch-activation-offloading.md) funktioniert derzeit nicht. Verwenden Sie stattdessen das native PyTorch Aktivierungs-Offloading.
Weitere Änderungen
+ Es wurde ein Patch zur Behebung der Leistungsregression hinzugefügt, die im Problemthread unter [https://github.com/pytorch/pytorch/issues/117748 im Repository](https://github.com/pytorch/pytorch/issues/117748) besprochen wurde. PyTorch GitHub
**SMP-Docker-Container**
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.212.0 oder höher.
+ SMP Docker-Container für v2.2.0 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121
```
+ Verfügbar für P4d-, P4de- und P5-Instances
+ Vorinstallierte Pakete in diesem Docker-Container
+ SMDDP-Bibliothek v2.2.0
+ CUDNN v8.9.5.29
+ FlashAttention v2.3.3
+ TransformerEngine v1.2.1
+ Hugging Face Transformers v4.37.1
+ Hugging Face Datensatz-Bibliothek v2.16.1
+ EFA v1.30.0
+ NCCL v2.19.4
## Die SageMaker Modellparallelitätsbibliothek v2.1.0
*Datum: 6. Februar 2024*
**Währungsupdates**
+ Unterstützung für PyTorch v2.1.2 hinzugefügt.
**Veraltet**
+ Die Unterstützung für Hugging Face Transformers v4.31.0 wurde eingestellt.
**Bekannte Probleme**
+ Es wurde festgestellt, dass die Optimierung des Llama-2-Modells von Hugging Face mit `attn_implementation=flash_attention_2` und FSDP zu Modellabweichungen führt. Weitere Informationen finden Sie im [Issue-Ticket](https://github.com/huggingface/transformers/issues/28826) im *Hugging Face GitHub Transformers-Repository*. Um das Divergenzproblem zu vermeiden, verwenden Sie `attn_implementation=sdpa`. Verwenden Sie alternativ die Implementierung des SMP-Transformer-Modells, indem Sie `use_smp_implementation=True` einrichten.
**SMP-Docker-Container**
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, SageMaker werden die SMP-Docker-Container automatisch übernommen. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.207.0 oder höher.
+ SMP Docker-Container für v2.1.2 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121
```
+ Verfügbar für P4d-, P4de- und P5-Instances
+ Vorinstallierte Pakete in diesem Docker-Container
+ SMDDP-Bibliothek v2.1.0
+ CUDNN v8.9.5.29
+ FlashAttention v2.3.3
+ TransformerEngine v1.2.1
+ Hugging Face Transformers v4.37.1
+ Hugging Face Datensatz-Bibliothek v2.16.1
+ EFA v1.30.0
**SMP-Conda-Kanal**
Der folgende S3-Bucket ist ein öffentlicher Conda-Kanal, der vom SMP-Serviceteam gehostet wird. Wenn Sie die SMP v2-Bibliothek in einer Umgebung mit hochgradig anpassbaren Rechenressourcen wie SageMaker HyperPod Clustern installieren möchten, verwenden Sie diesen Conda-Kanal, um die SMP-Bibliothek ordnungsgemäß zu installieren.
+ `https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/`
Weitere Informationen zu Conda-Kanälen im Allgemeinen finden Sie unter [Kanäle](https://docs.conda.io/projects/conda/en/latest/user-guide/concepts/channels.html) in der *Conda-Dokumentation*.
## Die SageMaker Modellparallelismus-Bibliothek v2.0.0
*Datum: 19. Dezember 2023*
**Neue Features**
Die SageMaker Modellparallelismus-Bibliothek (SMP) v2.0.0 wurde mit den folgenden neuen Angeboten veröffentlicht.
+ Ein neues `torch.sagemaker`-Paket wurde gegenüber dem vorherigen `smdistributed.modelparallel.torch`-Paket in SMP v1.x vollständig überarbeitet.
+ Support für PyTorch 2.0.1.
+ Support für PyTorch FSDP.
+ Implementierung der Tensorparallelität durch Integration in die [Transformer-Engine](https://docs.nvidia.com/deeplearning/transformer-engine/index.html)-Bibliothek
+ Support sowohl für [SageMaker Schulungen](train-model.md) als auch [SageMaker HyperPod](sagemaker-hyperpod.md).
**Bahnbrechende Änderungen**
+ SMP v2 hat das APIs komplett überarbeitet und bietet das `torch.sagemaker` Paket. In den meisten Fällen sind nur die Initialisierung mit dem `torch.sagemaker.init()`-Modul und die Übergabe der Konfigurationsparameter zur Modellparallelität erforderlich. Mit diesem neuen Paket können Sie Codeänderungen in Ihrem Trainingsskript erheblich vereinfachen. Weitere Informationen zur Anpassung Ihres Trainingsskripts an SMP v2 finden Sie unter [Verwenden Sie die SageMaker Modellparallelitätsbibliothek v2](model-parallel-use-api-v2.md).
+ Wenn Sie SMP v1 für das Training von Transformer-Modellen von Hugging Face verwendet haben und die Modelle in SMP v2 wiederverwenden möchten, finden Sie weitere Informationen unter [Upgrade von SMP v1 auf SMP v2](distributed-model-parallel-v2-reference.md#model-parallel-v2-upgrade-from-v1).
+ Für PyTorch FSDP-Schulungen sollten Sie SMP v2 verwenden.
**Bekannte Probleme**
+ Aktivierungs-Checkpointing funktioniert derzeit nur mit den folgenden Wrapping-Richtlinien mit FSDP.
+ `auto_wrap_policy = functools.partial(transformer_auto_wrap_policy, ...)`
+ Für die Verwendung von [Aktivierung, Entladung](model-parallel-core-features-v2-pytorch-activation-offloading.md) muss der Typ des FSDP-Aktivierungs-Checkpoints [REENTRANT](https://pytorch.org/docs/stable/checkpoint.html) sein.
+ Bei der Ausführung mit aktivierter Tensorparallelität und dem Parallelitätsgrad `1` der fragmentierten Daten müssen Sie `backend = nccl` verwenden. Die `smddp`-Backend-Option wird in diesem Szenario nicht unterstützt.
+ [Transformer Engine](https://docs.nvidia.com/deeplearning/transformer-engine/index.html) ist für die Verwendung PyTorch mit der SMP-Bibliothek erforderlich, auch wenn keine Tensorparallelität verwendet wird.
Weitere Änderungen
+ Ab dieser Version ist die Dokumentation für die SageMaker Modellparallelismus-Bibliothek vollständig in diesem *Amazon SageMaker AI Developer* Guide verfügbar. Zugunsten dieses vollständigen Entwicklerhandbuchs für SMP v2 im *Amazon SageMaker AI Developer Guide* ist die [zusätzliche Referenz für SMP v1.x](https://sagemaker.readthedocs.io/en/stable/api/training/distributed.html#the-sagemaker-distributed-model-parallel-library) in der *SageMaker Python SDK-Dokumentation veraltet*. [Wenn Sie die Dokumentation für SMP v1.x weiterhin benötigen, finden Sie das Entwicklerhandbuch für SMP v1.x unter[(Archiviert) SageMaker-Modellparallelitätsbibliothek v1.x](model-parallel.md), und die Referenz zur SMP-Python-Bibliothek v1.x finden Sie in der Python SDK v2.199.0-Dokumentation. SageMaker ](https://sagemaker.readthedocs.io/en/v2.199.0/api/training/smd_model_parallel_release_notes/smd_model_parallel_change_log.html)
**Veraltete Versionen**
+ Der Support für wurde eingestellt. TensorFlow
+ Die Pipeline-Parallelität wird in SMP v2 nicht unterstützt.
+ Es gibt keine Unterstützung für die DeepSpeed Bibliothek zugunsten von nativem PyTorch FSDP.
**SMP-Docker-Container**
Das SMP-Bibliotheksteam verteilt Docker-Container als Ersatz für die Framework-Container. SageMaker PyTorch Wenn Sie die PyTorch Estimator-Klasse im SageMaker Python-SDK verwenden und die Verteilungskonfiguration für die Verwendung von SMP v2 angeben, nimmt SageMaker KI die SMP-Docker-Container automatisch auf. Um diese Version von SMP v2 zu verwenden, aktualisieren Sie Ihr SageMaker Python-SDK auf Version 2.207.0 oder höher.
+ SMP Docker-Container für v2.0.1 mit CUDA v12.1 PyTorch
```
658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121
```