使用工作執行器 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用工作執行器

Task Runner 是一種任務代理程式應用程式，可輪 AWS Data Pipeline 詢排定的任務，並在 Amazon EC2 執行個體、Amazon EMR 叢集或其他計算資源上執行這些任務，並以報告狀態的方式回報狀態。根據您的應用程式，您可以選擇：

  • 允許 AWS Data Pipeline 為您安裝和管理一個或多個任務運行器應用程序。啟動管線後，會自動建立活動 runsOn 欄位所參照的預設值Ec2Instance或EmrCluster物件。 AWS Data Pipeline 負責在EC2執行個體或EMR叢集的主節點上安裝工作執行程式。在此模式中， AWS Data Pipeline 可以為您執行大部分執行個體或叢集管理。

  • 在您管理的資源上執行所有或一部分的管道。潛在資源包括長時間執行的 Amazon EC2 執行個體、Amazon EMR 叢集或實體伺服器。您幾乎可以在任何地方安裝任務運行器（可以是任務運行器或您自己設計的自定義任務代理），前提是它可以與 AWS Data Pipeline Web 服務進行通信。在這種模式中，您假設幾乎完全控制了使用哪些資源以及它們的管理方式，並且必須手動安裝和配置 Task Runner。若要執行此作業，請使用本節中的程序，如使用任務運行器對現有資源執行工作中所述。