Amazon 數據 Firehose 以前被稱為 Amazon Kinesis Data Firehose
本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
設定備份和進階設定
本主題說明如何設定 Firehose 串流的備份和進階設定。
設定備份設定
亞馬遜資料 Firehose 使用 Amazon S3 備份嘗試交付到您選擇的目的地的所有或失敗的資料。
重要
-
只有當 Firehose 串流的來源為直接 PUT 或 Kinesis Data Streams 時,才支援 Backup 設定。
-
零緩衝功能僅適用於應用程式目的地,不適用於 Amazon S3 備份目的地。
如果您做了下列其中一個選擇,則可以為 Firehose 串流指定 S3 備份設定:
-
如果您將 Amazon S3 設定為 Firehose 串流的目的地,並選擇指定 AWS Lambda 函數來轉換資料記錄,或者選擇轉換 Firehose 串流的資料記錄格式。
-
如果您將 Amazon Redshift 設定為 Firehose 串流的目的地,並選擇指定 AWS Lambda 函數來轉換資料記錄。
-
如果您將以下任何服務設置為 Firehose 流的目的地:Amazon OpenSearch 服務,數據多,重啟,HTTP 端點,MongoDB 雲,新遺物 LogicMonitor,濺射或相撲邏輯。
以下是您的 Firehose 串流的備份設定。
-
Amazon S3 中的來源記錄備份 - 如果 S3 或 Amazon Redshift 是您選取的目的地,此設定會指出您是要啟用來源資料備份,還是保持停用狀態。如果將任何其他支援的服務 (S3 或 Amazon Redshift 除外) 設為您選取的目的地,則此設定會指示您是要備份所有來源資料,還是僅備份失敗的資料。
-
S3 備份儲存貯體-這是 Amazon 資料 Firehose 備份您資料的 S3 儲存貯體。
-
S3 備份儲存貯體前綴-這是 Amazon 資料 Firehose 備份您資料的前置詞。
-
S3 備份儲存貯體錯誤輸出字首 - 所有失敗的資料都會備份在此 S3 儲存貯體錯誤輸出字首中。
-
緩衝提示、備份的壓縮和加密-Amazon Data Firehose 使用 Amazon S3 備份嘗試傳送到您選擇目的地的所有或失敗的資料。Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其交付 (備份) 到 Amazon S3。您可以選擇 1-128 的緩衝區大小 MiBs 和 60—900 秒的緩衝區間隔。只要滿足其中一項條件,即會觸發資料交付至 Amazon S3 的動作。 如果啟用資料轉換,緩衝區間隔會從 Amazon Data Firehose 接收轉換的資料到資料交付至 Amazon S3 的資料。如果資料傳遞到目的地落後於寫入 Firehose 串流的資料,Amazon 資料 Firehose 會動態提高緩衝區大小以 catch。此動作可確保所有資料皆能成功傳送至目的地。
-
S3 壓縮-選擇 GZIP、快速、Zip 或 Hadoopp 相容的快速資料壓縮,或不壓縮資料。活潑,拉鍊和 Hadoopp 兼容的活潑壓縮不適用於以 Amazon Redshift 作為目的地的 Firehose 流。
S3 檔案副檔名格式 (選用) — 為交付到 Amazon S3 目的地儲存貯體的物件指定檔案副檔名格式。如果啟用此功能,指定的副檔名將會覆寫資料格式轉換或 S3 壓縮功能 (例如 .拍板或 .gz) 所附加的預設副檔名。將此功能與資料格式轉換或 S3 壓縮搭配使用時,請確定您是否設定了正確的副檔名。副檔名必須以句點 (.) 開頭,且可包含允許的字元:0-9a-z! -_.*' ()。副檔名不能超過 128 個字元。
-
Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,以便在 Amazon S3 中加密交付的資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰加密。如果您使用 AWS KMS 金鑰加密資料,則可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用 K AWS MS 管理金鑰 (SSE-KMS) 使用伺服器端加密來保護資料。
配置進階設定
以下部分包含 Firehose 串流進階設定的詳細資料。
-
伺服器端加密-Amazon 資料 Firehose 透過金 AWS 鑰管理服務 (AWS KMS) 支援 Amazon S3 伺服器端加密,以加密 Amazon S3 中的交付資料。如需詳細資訊,請參閱使用 KMS AWS 受管金鑰 (SSE-KMS) 使用伺服器端加密來保護資料。
-
錯誤記錄-Amazon 資料 Firehose 會記錄與處理和交付相關的錯誤。此外,啟用資料轉換後,它可以記錄 Lambda 叫用,並將資料傳送錯誤傳送至 CloudWatch 記錄。如需詳細資訊,請參閱使用 CloudWatch 記錄監控 Amazon 資料 Firehose。
重要
雖然可選,但強烈建議您在 Firehose 串流建立期間啟用 Amazon 資料火管錯誤記錄。此作法可確保在記錄處理或交付失敗時,您可以存取錯誤詳細資料。
-
許可-Amazon 資料 Firehose 會針對 Firehose 串流所需的所有許可使用 IAM 角色。您可以選擇建立自動指派所需許可的新角色,或選擇為 Amazon Data Firehose 建立的現有角色。此角色可用來授與 Firehose 存取各種服務,包括 S3 儲存貯體、 AWS KMS 金鑰 (如果啟用資料加密) 和 Lambda 函數 (如果啟用了資料轉換)。主控台可能建立一個含預留位置的角色。如需詳細資訊,請參閱什麼是 IAM?。
-
標籤-您可以新增標籤來組織資 AWS 源、追蹤成本並控制存取權。
如果您在
CreateDeliveryStream
動作中指定標籤,Amazon Data Firehose 會對該firehose:TagDeliveryStream
動作執行其他授權,以驗證使用者是否具有建立標籤的權限。如果您未提供此權限,則使用 IAM 資源標籤建立新 Firehose 串流的請求將會失敗,AccessDeniedException
如下所示。AccessDeniedException User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.
下列範例示範允許使用者建立 Firehose 串流並套用標籤的原則。
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "firehose:CreateDeliveryStream", "Resource": "*", } }, { "Effect": "Allow", "Action": "firehose:TagDeliveryStream", "Resource": "*", } } ] }
選擇備份和進階設定後,請檢閱您的選擇,然後選擇 [建立 Firehose 串流]。
新的 Firehose 串流在「建立」狀態下需要幾分鐘的時間,才能使用。Firehose 串流處於作用中狀態後,您就可以開始從製作者傳送資料給該串流。