了解 Amazon 數據 Firehose 數據交付

資料交付至 S3 儲存貯體時，可能會因各種問題導致失敗。例如，儲存貯體可能不再存在，Amazon Data Firehose 假設的 IAM 角色可能無法存取儲存貯體、網路故障或類似事件。在這些情況下，Amazon 資料 Firehose 會持續重試長達 24 小時，直到交付成功為止。Amazon 數據 Firehose 件的最長數據存儲時間為 24 小時。如果超過 24 小時仍無法交付，資料將會遺失。

對於 Amazon Redshift 目的地，您可以在建立 Firehose 串流時指定重試持續時間 (0—7200 秒)。

將資料交付到您的 Amazon Redshift 佈建的叢集或 Amazon Redshift Serverless 工作群組可能會因多種原因而失敗。例如，您可能有 Firehose 串流的叢集配置不正確、正在維護的叢集或工作群組，或是網路故障。在這些情況下，Amazon 資料 Firehose 會在指定的持續時間內重試，並略過該特定批次的 Amazon S3 物件。略過物件的資訊會傳送至 S3 儲存貯體，成為 errors/資料夾中的資訊清單檔案，以供手動回填使用。如需進一步了解如何使用資訊清單檔案來手動 COPY 資料，請參閱使用資訊清單來指定資料檔案。

對於 OpenSearch 服務和 OpenSearch 無伺服器目的地，您可以在 Firehose 串流建立期間指定重試持續時間 (0—7200 秒)。

資料傳遞至您的 Ser OpenSearch vice 叢集或 OpenSearch 無伺服器集合可能會因為多種原因而失敗。例如，您的 Firehose 串流可能有不正確的 OpenSearch 服務叢集或 OpenSearch 無伺服器集合組態、維護中的 OpenSearch 服務叢集或 OpenSearch 無伺服器集合、網路故障或類似事件。在這些情況下，Amazon Data Firehose 會在指定的持續時間內重試，然後略過該特定索引請求。略過的文件會傳輸至 S3 儲存貯體的 AmazonOpenSearchService_failed/資料夾，以供手動回填使用。

對於 OpenSearch 服務，每個文件都具有以下 JSON 格式：

{
    "attemptsMade": "(number of index requests attempted)",
    "arrivalTimestamp": "(the time when the document was received by Firehose)",
    "errorCode": "(http error code returned by OpenSearch Service)",
    "errorMessage": "(error message returned by OpenSearch Service)",
    "attemptEndingTimestamp": "(the time when Firehose stopped attempting index request)",
    "esDocumentId": "(intended OpenSearch Service document ID)",
    "esIndexName": "(intended OpenSearch Service index name)",
    "esTypeName": "(intended OpenSearch Service type name)",
    "rawData": "(base64-encoded document data)"
}

對於 OpenSearch 無伺服器，每個文件都有下列 JSON 格式：

{
    "attemptsMade": "(number of index requests attempted)",
    "arrivalTimestamp": "(the time when the document was received by Firehose)",
    "errorCode": "(http error code returned by OpenSearch Serverless)",
    "errorMessage": "(error message returned by OpenSearch Serverless)",
    "attemptEndingTimestamp": "(the time when Firehose stopped attempting index request)",
    "osDocumentId": "(intended OpenSearch Serverless document ID)",
    "osIndexName": "(intended OpenSearch Serverless index name)",
    "rawData": "(base64-encoded document data)"
}
                    

當 Amazon 數據 Firehose 件將數據發送到 Splunk 時，它會等待 Splunk 的確認。如果發生錯誤，或確認未在確認逾時期間內送達，Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前，該服務都不會中斷重試作業。之後，亞馬遜數據 Firehose 將其視為數據交付失敗，並將數據備份到您的 Amazon S3 存儲桶。

每次 Amazon 資料 Firehose 將資料傳送至 Splunk 時，無論是初始嘗試還是重試，都會重新啟動確認逾時計數器。並等待 Splunk 傳回確認訊息。即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或到達確認逾時為止。如果確認逾時，Amazon Data Firehose 會檢查以判斷重試計數器是否有剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。

未收到確認訊息，並非唯一的資料交付錯誤類型。如需其他資料交付錯誤類型的相關資訊，請參閱 Splunk 資料交付錯誤。如果您的重試期間大於 0，則任何資料交付錯誤都會觸發重試邏輯。

錯誤記錄例示如下。

{
  "attemptsMade": 0,
  "arrivalTimestamp": 1506035354675,
  "errorCode": "Splunk.AckTimeout",
  "errorMessage": "Did not receive an acknowledgement from HEC before the HEC acknowledgement timeout expired. Despite the acknowledgement timeout, it's possible the data was indexed successfully in Splunk. Amazon Data Firehose backs up in Amazon S3 data for which the acknowledgement timeout expired.",
  "attemptEndingTimestamp": 13626284715507,
  "rawData": "MiAyNTE2MjAyNzIyMDkgZW5pLTA1ZjMyMmQ1IDIxOC45Mi4xODguMjE0IDE3Mi4xNi4xLjE2NyAyNTIzMyAxNDMzIDYgMSA0MCAxNTA2MDM0NzM0IDE1MDYwMzQ3OTQgUkVKRUNUIE9LCg==",
  "EventId": "49577193928114147339600778471082492393164139877200035842.0"
}

當 Amazon 資料 Firehose 將資料傳送到 HTTP 端點目的地時，它會等待來自此目的地的回應。如果發生錯誤，或回應未在回應逾時期間內送達，Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前，該服務都不會中斷重試作業。之後，亞馬遜數據 Firehose 將其視為數據交付失敗，並將數據備份到您的 Amazon S3 存儲桶。

每次 Amazon Data Firehose 將資料傳送到 HTTP 端點目的地時，無論是初始嘗試還是重試，都會重新啟動回應逾時計數器。然後，它會等待來自 HTTP 端點目的地的回應到達。即使重試持續時間過期，Amazon Data Firehose 仍會等待回應，直到收到回應或到達回應逾時為止。如果回應逾時，Amazon Data Firehose 會檢查重試計數器是否有剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到回應或判斷已無重試時間為止。

未收到回應，並非唯一的資料交付錯誤類型。如需其他資料交付錯誤類型的相關資訊，請參閱 HTTP 端點資料交付錯誤

錯誤記錄例示如下。

{
	"attemptsMade":5,
	"arrivalTimestamp":1594265943615,
	"errorCode":"HttpEndpoint.DestinationException",
	"errorMessage":"Received the following response from the endpoint destination. {"requestId": "109777ac-8f9b-4082-8e8d-b4f12b5fc17b", "timestamp": 1594266081268, "errorMessage": "Unauthorized"}", 
	"attemptEndingTimestamp":1594266081318,
	"rawData":"c2FtcGxlIHJhdyBkYXRh",
	"subsequenceNumber":0,
	"dataId":"49607357361271740811418664280693044274821622880012337186.0"
}                   

對於雪花目的地，當您建立 Firehose 串流時，您可以指定選擇性的重試持續時間 (0-7200 秒)。重試持續時間的預設值為 60 秒。

資料傳送至 Snowflake 資料表可能會因為幾個原因而失敗，例如 Snowflake 目的地設定不正確、雪花中斷、網路故障等。重試原則不適用於無法擷取的錯誤。例如，如果 Snowflake 拒絕您的 JSON 裝載，因為它有一個額外的資料欄遺失在資料表中，Firehose 就不會嘗試再次傳送它。相反，它會為由於 S3 錯誤存儲桶的 JSON 有效負載問題而為所有插入失敗創建備份。

同樣地，如果交付因為角色、資料表或資料庫不正確而失敗，Firehose 不會重試並將資料寫入 S3 儲存貯體。重試持續時間僅適用於由於雪花服務問題，暫時性網絡故障等導致的故障。在這些情況下，Firehose 會在指定的持續時間內重試，然後再將它們交付到 S3。失敗的記錄會在雪花失敗/資料夾中傳送，您可以使用該資料夾進行手動回填。

以下是您傳遞至 S3 之每筆記錄的 JSON 範例。

{
    "attemptsMade": 3,
    "arrivalTimestamp": 1594265943615,
    "errorCode": "Snowflake.InvalidColumns",
    "errorMessage": "Snowpipe Streaming does not support columns of type AUTOINCREMENT, IDENTITY, GEO, or columns with a default value or collation",
    "attemptEndingTimestamp": 1712937865543,
    "rawData": "c2FtcGxlIHJhdyBkYXRh"
}