管道概觀 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

管道概觀

Amazon SageMaker 管道是定向非循環圖 (DAG) 中的一系列互連步驟,使用 drag-and-drop UI 或管道 SDK定義。您也可以使用管道定義JSON結構描述 建置管道。此DAGJSON定義提供管道每個步驟之間需求和關係的相關資訊。管道的結構DAG取決於步驟之間的資料相依性。當一個步驟的輸出的内容作為輸入傳遞給另一個步驟時,就會建立這些資料相依性。下圖是管道 的範例DAG:

管道導向的非循環圖形範例 (DAG)。
範例DAG包括下列步驟:
  1. AbaloneProcess處理步驟的執行個體,會在用於訓練的資料上執行預先處理指令碼。例如,指令碼可能會填入遺失值、標準化數值資料,或將資料分割為訓練、驗證和測試資料集。

  2. AbaloneTrain訓練步驟的執行個體, 會設定超參數,並從預先處理的輸入資料訓練模型。

  3. AbaloneEval處理步驟的另一個執行個體, 會評估模型的準確性。此步驟顯示資料相依性的範例:此步驟使用 的測試資料集輸出AbaloneProcess

  4. AbaloneMSECond條件步驟的執行個體,在此範例中,會檢查 mean-square-error以確保模型評估的結果低於特定限制。如果模型不符合條件,則管道執行會停止。

  5. 管道執行會繼續進行下列步驟:

    1. AbaloneRegisterModel,其中 SageMaker 呼叫將模型註冊為 Amazon Model SageMaker Registry 的版本化模型套件群組RegisterModel的步驟。

    2. AbaloneCreateModel,其中 SageMaker 呼叫一個CreateModel步驟來建立模型,以準備批次轉換。在 中AbaloneTransform, SageMaker 呼叫轉換步驟,在您指定的資料集上產生模型預測。

下列主題描述基本管道概念。有關描述實現這些概念的教學課程,請參閱管道動作