張量平行處理

張量平行處理是模型平行處理類型，其中特定模型權重、漸層與最佳化工具狀態會跨裝置分割。有別於管道平行處理 (其可保持個別權重不變，但會分割權重集)，張量平行處理會分割個別權重。這通常涉及特定作業、模組或模型層的分散式運算。

在單一參數耗用大部分GPU記憶體的情況下 （例如具有大型詞彙大小的大型內嵌資料表，或具有大量類別的大型 softmax 層），則需要 Tensor 平行處理。在這種情況，將此大型張量或作業視為原子單位不具效率，且會阻礙記憶體負載的平衡。

對於極大型模型而言，純管道傳輸完全不足以符合需求，此時，張量平行處理也很有幫助。例如，使用需要對數十個執行個體進行分割的 GPT-3 規模模型時，純微批次管道效率低，因為管道深度變得太高，額外負荷變得過高。