張量平行處理

張量平行處理是模型平行處理類型，其中特定模型權重、漸層與最佳化工具狀態會跨裝置分割。有別於管道平行處理 (其可保持個別權重不變，但會分割權重集)，張量平行處理會分割個別權重。這通常涉及特定作業、模組或模型層的分散式運算。

在單一參數佔用大部分GPU記憶體的情況下，需要 Tensor 平行處理原則 (例如具有較大字彙大小的大型嵌入資料表或具有大量類別的大型 softmax 層)。在這種情況，將此大型張量或作業視為原子單位不具效率，且會阻礙記憶體負載的平衡。

對於極大型模型而言，純管道傳輸完全不足以符合需求，此時，張量平行處理也很有幫助。例如，對於需要分割超過數十個執行個體的 GPT -3 級模型，純微批次流水線的效率不彰，因為管線深度過高，而且開銷變得非常大。