Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Paralelisme Tensor
<a name="model-parallel-extended-features-pytorch-tensor-parallelism"></a>

*Paralelisme tensor * adalah jenis paralelisme model di mana bobot model tertentu, gradien, dan status pengoptimal dibagi di seluruh perangkat. Berbeda dengan paralelisme pipa, yang menjaga bobot individu tetap utuh tetapi mempartisi himpunan bobot, paralelisme tensor membagi bobot individu. * * Ini biasanya melibatkan perhitungan terdistribusi dari operasi tertentu, modul, atau lapisan model.

Paralelisme tensor diperlukan dalam kasus di mana satu parameter mengkonsumsi sebagian besar memori GPU (seperti tabel embedding besar dengan ukuran kosakata besar atau lapisan softmax besar dengan sejumlah besar kelas). Dalam hal ini, memperlakukan tensor atau operasi besar ini sebagai unit atom tidak efisien dan menghambat keseimbangan beban memori. 

Paralelisme tensor juga berguna untuk model yang sangat besar di mana pipelining murni tidak cukup. Misalnya, dengan GPT-3-scale model yang memerlukan partisi lebih dari puluhan instance, pipelining microbatch murni tidak efisien karena kedalaman pipa menjadi terlalu tinggi dan overhead menjadi sangat besar.

**catatan**  
Paralelisme tensor tersedia untuk PyTorch di perpustakaan paralelisme SageMaker model v1.6.0 dan yang lebih baru.

**Topics**
+ [Cara Kerja Paralelisme Tensor](model-parallel-extended-features-pytorch-tensor-parallelism-how-it-works.md)
+ [Jalankan Pekerjaan Pel SageMaker atihan Paralel Model Terdistribusi dengan Paralelisme Tensor](model-parallel-extended-features-pytorch-tensor-parallelism-examples.md)
+ [Dukungan untuk Model Transformer Wajah Memeluk](model-parallel-extended-features-pytorch-hugging-face.md)
+ [Mekanisme Peringkat saat Menggunakan Kombinasi Paralelisme Pipa dan Paralelisme Tensor](model-parallel-extended-features-pytorch-ranking-mechanism.md)