AWS Transfer Family 受管工作流程 - AWS Transfer Family

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Transfer Family 受管工作流程

AWS Transfer Family 支援檔案處理的受管工作流程。透過受管工作流程,您可以在檔案透過 SFTP、 FTPS或 傳輸之後啟動工作流程FTP。使用此功能,您可以協調檔案處理所需的所有必要步驟,以安全且符合成本效益的方式滿足 business-to-business(B2B) 檔案交換的合規要求。此外,您還可以從 end-to-end稽核和可見性中受益。

流程圖顯示受管工作流程如何協助檔案處理。

透過協調檔案處理任務,受管工作流程可協助您在下游應用程式取用資料之前先行處理資料。此類檔案處理任務可能包括:

  • 將檔案移至使用者特定的資料夾。

  • 將檔案解密為工作流程的一部分。

  • 標記檔案。

  • 透過建立 AWS Lambda 函數並將其連接至工作流程來執行自訂處理。

  • 成功傳輸檔案時傳送通知。(如需詳細說明此使用案例的部落格文章,請參閱使用 AWS Transfer Family 受管工作流程自訂檔案交付通知。

若要快速複寫和標準化組織中跨多個業務單位的常見上傳後檔案處理任務,您可以使用基礎設施作為程式碼 (IaC 部署工作流程。您可以指定要在完整上傳的檔案上啟動的受管工作流程。您也可以指定不同的受管工作流程,以便在因為過早中斷連線而僅部分上傳的檔案上啟動。內建例外狀況處理可協助您快速回應檔案處理結果,同時讓您控制如何處理失敗。此外,每個工作流程步驟都會產生詳細的日誌,您可以稽核以追蹤資料譜系。

若要開始使用,請執行下列任務:

  1. 設定工作流程以包含預先處理動作,例如根據您的需求複製、標記和其他步驟。如需詳細資訊,請參閱 建立工作流程

  2. 設定執行角色,轉移系列用於執行工作流程。如需詳細資訊,請參閱 IAM 工作流程的政策

  3. 將工作流程映射至伺服器,以便在檔案到達時,即時評估和啟動此工作流程中指定的動作。如需詳細資訊,請參閱 設定和執行工作流程

相關資訊

如需使用受管工作流程的更多說明,請參閱下列資源:

工作流程的例外處理

如果在工作流程執行期間發生任何錯誤,則會執行您指定的例外處理步驟。您可以指定工作流程的錯誤處理步驟,方式與指定工作流程的標稱步驟相同。例如,假設您已以名義步驟設定自訂處理,以驗證傳入的檔案。如果檔案驗證失敗,例外處理步驟可以傳送電子郵件給管理員。

下列範例工作流程包含兩個步驟:

  • 檢查上傳檔案是否為 CSV 格式的標稱步驟

  • 例外處理步驟,會在上傳的檔案不是 CSV 格式且名義步驟失敗時傳送電子郵件

若要啟動例外處理步驟,標稱步驟中的 AWS Lambda 函數必須以 回應Status="FAILURE"。如需工作流程中錯誤處理的詳細資訊,請參閱 使用自訂檔案處理步驟

AWS Transfer Family 主控台,顯示具有一個名義步驟和一個例外處理步驟的範例工作流程。

從 Transfer Family 伺服器移除工作流程

如果您已將工作流程與 Transfer Family 伺服器建立關聯,且現在想要移除該關聯,您可以使用主控台或以程式設計方式進行。

Console
從 Transfer Family 伺服器移除工作流程
  1. 在 開啟 AWS Transfer Family 主控台https://console.aws.amazon.com/transfer/

  2. 在左側導覽窗格中,選擇伺服器

  3. 在伺服器 ID 欄中選擇伺服器的識別符。

  4. 在伺服器的詳細資訊頁面上,向下捲動至其他詳細資訊區段,然後選擇編輯

  5. 編輯其他詳細資訊頁面的受管工作流程區段中,清除所有設定的資訊:

    • 從工作流程的工作流程清單中選取破折號 (-),以完成檔案上傳。

    • 如果尚未清除,請從部分檔案上傳的工作流程清單中選擇破折號 (-)。

    • 受管工作流程執行角色 的角色清單中選取破折號 (-)。

    如果您沒有看到破折號,請向上捲動直到您看到破折號,因為它是每個選單中的第一個值。

    畫面應如下所示。

    受管工作流程窗格,顯示已清除的所有參數。
  6. 向下捲動並選擇儲存以儲存變更。

CLI

您可以使用 update-server(或 UpdateServer API) 呼叫,並為 OnUploadOnPartialUpload 參數提供空引數。

從 中 AWS CLI,執行下列命令:

aws transfer update-server --server-id your-server-id --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

your-server-id 以伺服器的 ID 取代 。例如,如果您的伺服器 ID 為 s-01234567890abcdef,則命令如下:

aws transfer update-server --server-id s-01234567890abcdef --workflow-details '{"OnPartialUpload":[],"OnUpload":[]}'

受管工作流程的限制

限制

下列限制目前適用於 的上傳後處理工作流程 AWS Transfer Family。

  • 不支援跨帳戶和跨區域 AWS Lambda 函數。不過,只要 AWS Identity and Access Management (IAM) 政策已正確設定,您就可以跨帳戶複製 。

  • 對於所有工作流程步驟,工作流程存取的任何 Amazon S3 儲存貯體都必須與工作流程本身位於相同區域。

  • 對於解密步驟,解密目的地必須符合區域和備份存放區的來源 (例如,如果要解密的檔案存放在 Amazon S3 中,則指定的目的地也必須在 Amazon S3 中)。

  • 僅支援非同步自訂步驟。

  • 自訂步驟逾時是近似值。也就是說,逾時可能需要比指定的時間稍長。此外,工作流程取決於 Lambda 函數。因此,如果函數在執行期間延遲,則工作流程不會知道延遲。

  • 如果您超過限流限制,Transfer Family 不會將工作流程操作新增至佇列。

  • 大小為 0 的檔案不會啟動工作流程。大小大於 0 的檔案會啟動相關聯的工作流程。

限制

此外,下列功能限制適用於 Transfer Family 的工作流程:

  • 每個帳戶每個區域的工作流程數量限制為 10 個。

  • 自訂步驟的逾時上限為 30 分鐘。

  • 工作流程中的步驟數目上限為 8。

  • 每個工作流程的標籤數量上限為 50。

  • 包含解密步驟的並行執行數目上限為每個工作流程 250 個。

  • 每個 Transfer Family 伺服器、每個使用者最多可以存放 3 個PGP私有金鑰。

  • 解密檔案的大小上限為 10 GB。

  • 我們會使用爆量容量為 100 且補充率為 1 的權杖儲存貯體系統來調節新的執行率。

  • 每當您從伺服器移除工作流程並將其取代為新的工作流程,或更新伺服器組態 (這會影響工作流程的執行角色) 時,您必須等待約 10 分鐘,才能執行新的工作流程。Transfer Family 伺服器快取工作流程詳細資訊,伺服器重新整理其快取需要 10 分鐘。

    此外,您必須登出任何作用中SFTP工作階段,然後在 10 分鐘等待期後重新登入,以查看變更。