設定備份和進階設定 - Amazon 數據 Firehose

Amazon 數據 Firehose 以前被稱為 Amazon Kinesis Data Firehose

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定備份和進階設定

本主題說明如何設定 Firehose 串流的備份和進階設定。

設定備份設定

亞馬遜資料 Firehose 使用 Amazon S3 備份嘗試交付到您選擇的目的地的所有或失敗的資料。

重要
  • 只有當 Firehose 串流的來源為直接 PUT 或 Kinesis Data Streams 時,才支援 Backup 設定。

  • 零緩衝功能僅適用於應用程式目的地,不適用於 Amazon S3 備份目的地。

如果您做了下列其中一個選擇,則可以為 Firehose 串流指定 S3 備份設定:

  • 如果您將 Amazon S3 設定為 Firehose 串流的目的地,並選擇指定 AWS Lambda 函數來轉換資料記錄,或者選擇轉換 Firehose 串流的資料記錄格式。

  • 如果您將 Amazon Redshift 設定為 Firehose 串流的目的地,並選擇指定 AWS Lambda 函數來轉換資料記錄。

  • 如果您將以下任何服務設置為 Firehose 流的目的地:Amazon OpenSearch 服務,數據多,重啟,HTTP 端點,MongoDB 雲,新遺物 LogicMonitor,濺射或相撲邏輯。

以下是您的 Firehose 串流的備份設定。

  • Amazon S3 中的來源記錄備份 - 如果 S3 或 Amazon Redshift 是您選取的目的地,此設定會指出您是要啟用來源資料備份,還是保持停用狀態。如果將任何其他支援的服務 (S3 或 Amazon Redshift 除外) 設為您選取的目的地,則此設定會指示您是要備份所有來源資料,還是僅備份失敗的資料。

  • S3 備份儲存貯體-這是 Amazon 資料 Firehose 備份您資料的 S3 儲存貯體。

  • S3 備份儲存貯體前綴-這是 Amazon 資料 Firehose 備份您資料的前置詞。

  • S3 備份儲存貯體錯誤輸出字首 - 所有失敗的資料都會備份在此 S3 儲存貯體錯誤輸出字首中。

  • 緩衝提示、備份的壓縮和加密-Amazon Data Firehose 使用 Amazon S3 備份嘗試傳送到您選擇目的地的所有或失敗的資料。Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其交付 (備份) 到 Amazon S3。您可以選擇 1-128 的緩衝區大小 MiBs 和 60—900 秒的緩衝區間隔。只要滿足其中一項條件,即會觸發資料交付至 Amazon S3 的動作。​ 如果啟用資料轉換,緩衝區間隔會從 Amazon Data Firehose 接收轉換的資料到資料交付至 Amazon S3 的資料。如果資料傳遞到目的地落後於寫入 Firehose 串流的資料,Amazon 資料 Firehose 會動態提高緩衝區大小以 catch。此動作可確保所有資料皆能成功傳送至目的地。

  • S3 壓縮-選擇 GZIP、快速、Zip 或 Hadoopp 相容的快速資料壓縮,或不壓縮資料。活潑,拉鍊和 Hadoopp 兼容的活潑壓縮不適用於以 Amazon Redshift 作為目的地的 Firehose 流。

  • S3 檔案副檔名格式 (選用) — 為交付到 Amazon S3 目的地儲存貯體的物件指定檔案副檔名格式。如果啟用此功能,指定的副檔名將會覆寫資料格式轉換或 S3 壓縮功能 (例如 .拍板或 .gz) 所附加的預設副檔名。將此功能與資料格式轉換或 S3 壓縮搭配使用時,請確定您是否設定了正確的副檔名。副檔名必須以句點 (.) 開頭,且可包含允許的字元:0-9a-z! -_.*' ()。副檔名不能超過 128 個字元。

  • Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,以便在 Amazon S3 中加密交付的資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰加密。如果您使用 AWS KMS 金鑰加密資料,則可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用 K AWS MS 管理金鑰 (SSE-KMS) 使用伺服器端加密來保護資料

配置進階設定

以下部分包含 Firehose 串流進階設定的詳細資料。

  • 伺服器端加密-Amazon 資料 Firehose 透過金 AWS 鑰管理服務 (AWS KMS) 支援 Amazon S3 伺服器端加密,以加密 Amazon S3 中的交付資料。如需詳細資訊,請參閱使用 KMS AWS 受管金鑰 (SSE-KMS) 使用伺服器端加密來保護資料

  • 錯誤記錄-Amazon 資料 Firehose 會記錄與處理和交付相關的錯誤。此外,啟用資料轉換後,它可以記錄 Lambda 叫用,並將資料傳送錯誤傳送至 CloudWatch 記錄。如需詳細資訊,請參閱使用 CloudWatch 記錄監控 Amazon 資料 Firehose

    重要

    雖然可選,但強烈建議您在 Firehose 串流建立期間啟用 Amazon 資料火管錯誤記錄。此作法可確保在記錄處理或交付失敗時,您可以存取錯誤詳細資料。

  • 許可-Amazon 資料 Firehose 會針對 Firehose 串流所需的所有許可使用 IAM 角色。您可以選擇建立自動指派所需許可的新角色,或選擇為 Amazon Data Firehose 建立的現有角色。此角色可用來授與 Firehose 存取各種服務,包括 S3 儲存貯體、 AWS KMS 金鑰 (如果啟用資料加密) 和 Lambda 函數 (如果啟用了資料轉換)。主控台可能建立一個含預留位置的角色。如需詳細資訊,請參閱什麼是 IAM?

  • 標籤-您可以新增標籤來組織資 AWS 源、追蹤成本並控制存取權。

    如果您在CreateDeliveryStream動作中指定標籤,Amazon Data Firehose 會對該firehose:TagDeliveryStream動作執行其他授權,以驗證使用者是否具有建立標籤的權限。如果您未提供此權限,則使用 IAM 資源標籤建立新 Firehose 串流的請求將會失敗,AccessDeniedException如下所示。

    AccessDeniedException User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.

    下列範例示範允許使用者建立 Firehose 串流並套用標籤的原則。

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "firehose:CreateDeliveryStream", "Resource": "*", } }, { "Effect": "Allow", "Action": "firehose:TagDeliveryStream", "Resource": "*", } } ] }

選擇備份和進階設定後,請檢閱您的選擇,然後選擇 [建立 Firehose 串流]。

新的 Firehose 串流在「建立」狀態下需要幾分鐘的時間,才能使用。Firehose 串流處於作用中狀後,您就可以開始從製作者傳送資料給該串流。