編輯您的管道 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

編輯您的管道

若要變更您其中一個管道的某些部分,您可以更新它的管道定義。在您變更執行中的管道後,您必須重新啟用管道,變更才會生效。此外,您可以重新執行一或多個管道元件。

限制

當管道處於PENDING狀態且未啟動時,您無法對其進行任何變更。在您啟用管道後,您可以編輯管道,但有以下限制。您所做的變更會在您儲存他們並再次啟用管道後,套用到管道物件的新執行。

  • 您無法移除物件

  • 您無法變更現有物件的排程期間

  • 您無法在現有物件中新增、刪除或修改參考欄位

  • 您無法參考新物件輸出欄位中現有的物件

  • 您無法變更物件的排程啟動日期 (而是改為使用特定的日期和時間來啟動管道)

使用 AWS CLI 編輯管道

您可以使用命令列工具編輯管道。

首先,使用get-pipeline-definition指令下載目前管線定義的副本。這樣一來,您可以確認您修改的是最新的管道定義。以下範例會使用印出,來將管道定義印出到標準輸出 (stdout)。

aws datapipeline get-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE

將管道定義儲存到檔案,並視需要進行編輯。使用put-pipeline-definition指令更新管線定義。以下範例會上傳更新後的管道定義檔案。

aws datapipeline put-pipeline-definition --pipeline-id df-00627471SOVYZEXAMPLE --pipeline-definition file://MyEmrPipelineDefinition.json

您可以使用 get-pipeline-definition 命令再次擷取管道定義,來確認更新已成功。若要啟用管道,請使用以下的 activate-pipeline 命令:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE

若您偏好的話,您可以使用 --start-timestamp 選項從特定日期和時間啟用管道,如下所示:

aws datapipeline activate-pipeline --pipeline-id df-00627471SOVYZEXAMPLE --start-timestamp YYYY-MM-DDTHH:MM:SSZ

若要重新執行一或多個管道元件,請使用 set-status 命令。