識別為您的管道提供服務的亞馬遜 EMR 叢集 - AWS Data Pipeline

AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

識別為您的管道提供服務的亞馬遜 EMR 叢集

如果出現EMRClusterEMRActivity失敗且AWS Data Pipeline主控台提供的錯誤資訊不清楚,您可以使用 Amazon EMR 主控台識別為您的管道提供服務的 Amazon EMR 叢集。這可協助您找出 Amazon EMR 提供的日誌,以取得有關發生錯誤的詳細資訊。

若要查看更詳細的亞馬遜 EMR 錯誤資訊
  1. 在 AWS Data Pipeline 主控台中,選取管道執行個體旁的三角形,以展開執行個體詳細資訊。

  2. 選擇 View execution details (檢視執行詳細資訊),然後選取元件旁的三角形。

  3. Details (詳細資訊) 欄中,選擇 More... (更多...)。資訊畫面會隨即開啟,並列出元件的詳細資訊。從畫面找到並複製 instanceParent 值,例如:@EmrActivityId_xiFDD_2017-09-30T21:40:13

  4. 導覽至 Amazon EMR 主控台,搜尋名稱中具有相符執行個體父值的叢集,然後選擇 [偵錯]。

    注意

    若要讓「偵錯」按鈕運作,您的管線定義必須將選EmrActivityenableDebugging項設定為,true並將選EmrLogUri項設定為有效路徑。

  5. 現在您知道哪個 Amazon EMR 叢集包含導致管道失敗的錯誤,請依照 Amazon EMR 開發人員指南中的疑難排解提示進行操作。