AWS Data Pipeline 不再提供給新客戶。的現有客戶 AWS Data Pipeline 可繼續正常使用此服務。進一步了解
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
識別為您的管道提供服務的亞馬遜 EMR 叢集
如果出現EMRCluster
或EMRActivity
失敗且AWS Data Pipeline主控台提供的錯誤資訊不清楚,您可以使用 Amazon EMR 主控台識別為您的管道提供服務的 Amazon EMR 叢集。這可協助您找出 Amazon EMR 提供的日誌,以取得有關發生錯誤的詳細資訊。
若要查看更詳細的亞馬遜 EMR 錯誤資訊
-
在 AWS Data Pipeline 主控台中,選取管道執行個體旁的三角形,以展開執行個體詳細資訊。
-
選擇 View execution details (檢視執行詳細資訊),然後選取元件旁的三角形。
-
在 Details (詳細資訊) 欄中,選擇 More... (更多...)。資訊畫面會隨即開啟,並列出元件的詳細資訊。從畫面找到並複製 instanceParent 值,例如:
@EmrActivityId_xiFDD_2017-09-30T21:40:13
-
導覽至 Amazon EMR 主控台,搜尋名稱中具有相符執行個體父值的叢集,然後選擇 [偵錯]。
注意
若要讓「偵錯」按鈕運作,您的管線定義必須將選EmrActivity
enableDebugging
項設定為,true
並將選EmrLogUri
項設定為有效路徑。 -
現在您知道哪個 Amazon EMR 叢集包含導致管道失敗的錯誤,請依照 Amazon EMR 開發人員指南中的疑難排解提示進行操作。