本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。 # 教學課程：從主控台建立 Firehose 串流 您可以使用 AWS 管理主控台 或 AWS SDK 來建立 Firehose 串流到您選擇的目的地。 建立 Firehose 串流之後，您可以隨時使用 Amazon Data Firehose 主控台或 [UpdateDestination](https://docs.aws.amazon.com/firehose/latest/APIReference/API_UpdateDestination.html) 更新 Firehose 串流的組態。當您的組態更新時，Firehose 串流會保持 `Active` 狀態，而且您可以繼續傳送資料。更新的組態通常會在幾分鐘內生效。更新組態`1`後，Firehose 串流的版本編號會增加 的值。並出現在交付的 Amazon S3 物件名稱中。如需詳細資訊，請參閱[設定 Amazon S3 物件名稱格式](s3-object-name.md)。 執行下列主題中的步驟來建立 Firehose 串流。 **Topics** + [ # 選擇 Firehose 串流的來源和目的地 ](create-name.md) + [ # 設定來源設定 ](configure-source.md) + [ # （選用） 設定記錄轉換和格式轉換 ](create-transform.md) + [ # 設定目的地設定 ](create-destination.md) + [ # 設定備份設定 ](create-configure-backup.md) + [ # 配置進階設定 ](create-configure-advanced.md) # 選擇 Firehose 串流的來源和目的地 **** 1. 開啟位於 [https://console.aws.amazon.com/firehose/](https://console.aws.amazon.com/firehose/) 的 Firehose 主控台。 1. 選擇**建立 Firehose 串流**。 1. 在**建立 Firehose 串流**頁面上，從下列其中一個選項中選擇 Firehose 串流的來源。 + **直接 PUT** – 選擇此選項可建立生產者應用程式直接寫入的 Firehose 串流。以下是與 Amazon Data Firehose 中的 Direct PUT 整合的 AWS 服務和代理程式和開放原始碼服務清單。此清單並不詳盡，可能還有其他服務可用來直接將資料傳送至 Firehose。 + AWS 開發套件 + AWS Lambda + AWS CloudWatch Logs + AWS CloudWatch 事件 + AWS 雲端指標串流 + AWS IoT + AWS Eventbridge + Amazon Simple Email Service + Amazon SNS + AWS WAF Web ACL 日誌 + Amazon API Gateway - 存取日誌 + Amazon Pinpoint + Amazon MSK 代理程式日誌 + Amazon Route 53 Resolver 查詢日誌 + AWS 網路防火牆警示日誌 + AWS 網路防火牆流程日誌 + Amazon Elasticache Redis SLOWLOG + Kinesis 代理程式 (linux) + Kinesis Tap (windows) + Fluentbit + Fluentd + Apache Nifi + Snowflake + **Amazon Kinesis Data Streams** – 選擇此選項可設定使用 Kinesis 資料串流做為資料來源的 Firehose 串流。然後，您可以使用 Firehose 輕鬆從現有的 Kinesis 資料串流讀取資料，並將其載入目的地。如需使用 Kinesis Data Streams 做為資料來源的詳細資訊，請參閱[使用 Kinesis Data Streams 將資料傳送至 Firehose 串流](writing-with-kinesis-streams.md)。 + **Amazon MSK** – 選擇此選項可設定使用 Amazon MSK 做為資料來源的 Firehose 串流。然後，您可以使用 Firehose 輕鬆從現有的 Amazon MSK 叢集讀取資料，並將其載入指定的 S3 儲存貯體。如需詳細資訊，請參閱[使用 Amazon MSK 將資料傳送至 Firehose 串流](writing-with-msk.md)。 1. 從下列其中一個 Firehose 支援的目的地中，為您的 Firehose 串流選擇目的地。 + Amazon OpenSearch Service + Amazon OpenSearch Serverless + Amazon Redshift + Amazon S3 + Apache Iceberg 資料表 + Coralogix + Datadog + Dynatrace + 彈性 + HTTP 端點 + Honeycomb + Logic Monitor + Logz.io + MongoDB Cloud + New Relic + Splunk + Splunk Observability Cloud + Sumo Logic + Snowflake 1. 對於 **Firehose 串流名稱**，您可以使用主控台為您產生的名稱，或新增您選擇的 Firehose 串流。 # 設定來源設定 您可以根據您選擇從主控台將資訊傳送至 Firehose 串流的來源來設定來源設定。您可以設定 Amazon MSK 和 Amazon Kinesis Data Streams 的來源設定做為來源。沒有可用於 Direct PUT 做為來源的來源設定。 # 設定 Amazon MSK 的來源設定 當您選擇 Amazon MSK 將資訊傳送至 Firehose 串流時，您可以選擇 MSK 佈建和 MSK-Serverless 叢集。然後，您可以使用 Firehose 輕鬆從特定 Amazon MSK 叢集和主題讀取資料，並將其載入指定的 S3 目的地。 在頁面的**來源設定**區段中，提供下列欄位的值。 ****Amazon MSK 叢集連線功能**** 根據您的叢集組態，選擇**私有引導代理程式** (建議使用) 或**公有引導代理程式**選項。引導代理程式由 Apache Kafka 用戶端用作連線至叢集的起點。公有引導代理程式適用於從 外部公開存取 AWS，而私有引導代理程式則適用於從 內存取 AWS。如需有關 Amazon MSK 的詳細資訊，請參閱 [Amazon Managed Streaming for Apache Kafka](https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html)。 若要透過私有引導代理程式連線至佈建或無伺服器 Amazon MSK 叢集，叢集必須符合以下所有要求。 + 叢集必須為作用中。 + 叢集必須使用 IAM 作為其存取控制方法之一。 + IAM 存取控制方法必須啟用多 VPC 私有連線功能。 + 您必須將資源型政策新增至此叢集，以授予 Firehose 服務委託人調用 Amazon MSK `CreateVpcConnection` API 操作的許可。 若要透過公有引導代理程式連線至佈建的 Amazon MSK 叢集，叢集必須符合以下所有要求。 + 叢集必須為作用中。 + 叢集必須使用 IAM 作為其存取控制方法之一。 + 叢集必須為可公開存取。 ****MSK 叢集帳戶**** 您可以選擇 Amazon MSK 叢集所在的帳戶。這可以是下列其中一項。 + **目前帳戶** – 可讓您從目前 AWS 帳戶中的 MSK 叢集擷取資料。因此，您必須指定 Amazon MSK 叢集的 ARN，Firehose 串流會從中讀取資料。 + **跨帳戶** – 可讓您從另一個 AWS 帳戶中的 MSK 叢集擷取資料。如需詳細資訊，請參閱[從 Amazon MSK 跨帳戶交付](controlling-access.md#cross-account-delivery-msk)。 ****主題**** 指定您希望 Firehose 串流從中擷取資料的 Apache Kafka 主題。Firehose 串流建立完成後，您無法更新此主題。 Firehose 會自動解壓縮 Apache Kafka 訊息。 # 設定 Amazon Kinesis Data Streams 的來源設定 設定 Amazon Kinesis Data Streams 的來源設定，將資訊傳送至 Firehose 串流，如下所示。 **重要** 如果您使用 Kinesis Producer Library (KPL) 來寫入資料到 ​Kinesis 資料串流，則可使用彙整來合併您寫入至該 Kinesis 資料串流的記錄。如果您接著使用該資料串流做為 Firehose 串流的來源，Amazon Data Firehose 會在記錄交付至目的地之前將其取消彙總。如果您將 Firehose 串流設定為轉換資料，Amazon Data Firehose 會在記錄交付至 之前，先將記錄取消彙總 AWS Lambda。如需詳細資訊，請參閱[使用 Kinesis Producer Library 開發 Amazon Kinesis Data Streams 生產者](https://docs.aws.amazon.com/streams/latest/dev/developing-producers-with-kpl.html)及[彙整](https://docs.aws.amazon.com/streams/latest/dev/kinesis-kpl-concepts.html#kinesis-kpl-concepts-aggretation)。 在**來源設定**下，選擇 **Kinesis 資料串流**清單中的現有串流，或以 格式輸入資料串流 ARN`arn:aws:kinesis:[Region]:[AccountId]:stream/[StreamName]`。 如果您沒有現有的資料串流，請選擇**建立**，從 Amazon Kinesis 主控台建立新的資料串流。您可能需要具有 Kinesis 串流必要許可的 IAM 角色。如需詳細資訊，請參閱[授予 Firehose 對 Amazon S3 目的地的存取權](controlling-access.md#using-iam-s3)。建立新的串流後，請選擇重新整理圖示以更新 **Kinesis 串流**清單。如果您有大量串流，使用 **Filter by name (依名稱篩選)** 來篩選清單。 **注意** 當您將 Kinesis 資料串流設定為 Firehose 串流的來源時，Amazon Data Firehose `PutRecord`和 `PutRecordBatch`操作會停用。若要在此情況下將資料新增至 Firehose 串流，請使用 Kinesis Data Streams `PutRecord`和 `PutRecords`操作。 Amazon Data Firehose 會開始從 Kinesis 串流`LATEST`的位置讀取資料。如需更多關於 Kinesis Data Streams 位置的詳細資訊，請參閱 [GetShardIterator](https://docs.aws.amazon.com/kinesis/latest/APIReference/API_GetShardIterator.html)。 Amazon Data Firehose 會呼叫每個碎片的 Kinesis Data Streams [GetRecords](https://docs.aws.amazon.com/kinesis/latest/APIReference/API_GetRecords.html) 操作，每秒一次。不過，當啟用完整備份時，Firehose 會呼叫每個碎片的 Kinesis Data Streams `GetRecords`操作，每秒兩次，一個用於主要交付目的地，另一個用於完整備份。 可從相同的 Kinesis 串流讀取多個 Firehose 串流。其他 Kinesis 應用程式 (取用者) 也可以讀取相同串流。來自任何 Firehose 串流或其他消費者應用程式的每次呼叫都會計入碎片的整體限流限制。為了避免受到調節限制，請小心規劃您的應用程式。如需有關 Kinesis Data Streams 限制的詳細資訊，請參閱 [Amazon Kinesis Data Streams 限制](https://docs.aws.amazon.com/streams/latest/dev/service-sizes-and-limits.html)。 繼續下一個步驟，以設定記錄轉換和格式轉換。 # （選用） 設定記錄轉換和格式轉換 設定 Amazon Data Firehose 來轉換和轉換您的記錄資料。 ## 如果您選擇 Amazon MSK 作為 Firehose 串流的來源。 **在**使用 AWS Lambda 轉換來源記錄**區段中，提供下列欄位的值。** 1. **資料轉換** 若要建立不會轉換傳入資料的 Firehose 串流，請勿勾選**啟用資料轉換**核取方塊。 若要指定 Lambda 函數讓 Firehose 叫用並使用 來轉換傳入的資料，請核取**啟用資料轉換**核取方塊。您可以使用其中一個 ​Lambda 藍圖，或選擇現有的 Lambda 函數，進而設定新的 Lambda 函數。您的 Lambda 函數必須包含 Firehose 所需的狀態模型。如需詳細資訊，請參閱[轉換 Amazon Data Firehose 中的來源資料](data-transformation.md)。 1. 在 **Convert record format (轉換記錄格式)** 區段中，提供以下欄位的值： **記錄格式轉換** 若要建立不會轉換傳入資料記錄格式的 Firehose 串流，請選擇**已停用**。 若要轉換傳入記錄的格式，請選擇 **Enabled (已啟用)**，然後指定輸出格式。您需要指定 AWS Glue 資料表，其中包含您希望 Firehose 用來轉換記錄格式的結構描述。如需詳細資訊，請參閱[在 Amazon Data Firehose 中轉換輸入資料格式](record-format-conversion.md)。 如需如何使用 設定記錄格式轉換的範例 CloudFormation，請參閱 [AWS：：KinesisFirehose：：DeliveryStream](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-kinesisfirehose-deliverystream.html#aws-resource-kinesisfirehose-deliverystream--examples)。 ## 如果您選擇 Amazon Kinesis Data Streams 或 Direct PUT 作為 Firehose 串流的來源 **在**來源設定**區段中，提供下列欄位。** 1. 在**轉換記錄**下，選擇下列其中一項： 1. 如果您的目的地是 Amazon S3 或 Splunk，請在**解壓縮來源記錄 Amazon CloudWatch Logs** 區段中，選擇**開啟解壓縮**。 1. 在**使用 AWS Lambda 轉換來源記錄**區段中，提供下列欄位的值： **資料轉換** 若要建立不會轉換傳入資料的 Firehose 串流，請勿勾選**啟用資料轉換**核取方塊。 若要為 Amazon Data Firehose 指定 Lambda 函數來叫用並使用 來轉換傳入的資料，請核取**啟用資料轉換**核取方塊。您可以使用其中一個 ​Lambda 藍圖，或選擇現有的 Lambda 函數，進而設定新的 Lambda 函數。您的 Lambda 函數必須包含 Amazon Data Firehose 所需的狀態模型。如需詳細資訊，請參閱[轉換 Amazon Data Firehose 中的來源資料](data-transformation.md)。 1. 在 **Convert record format (轉換記錄格式)** 區段中，提供以下欄位的值： **記錄格式轉換** 若要建立不會轉換傳入資料記錄格式的 Firehose 串流，請選擇**已停用**。 若要轉換傳入記錄的格式，請選擇 **Enabled (已啟用)**，然後指定輸出格式。您需要指定 AWS Glue 資料表，其中包含您希望 Amazon Data Firehose 用來轉換記錄格式的結構描述。如需詳細資訊，請參閱[在 Amazon Data Firehose 中轉換輸入資料格式](record-format-conversion.md)。 如需如何使用 設定記錄格式轉換的範例 CloudFormation，請參閱 [AWS：：KinesisFirehose：：DeliveryStream](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-kinesisfirehose-deliverystream.html#aws-resource-kinesisfirehose-deliverystream--examples)。 # 設定目的地設定 本節說明您必須根據所選目的地為 Firehose 串流設定的設定。 **Topics** + [ ## 設定 Amazon S3 的目的地設定 ](#create-destination-s3) + [ ## 設定 Apache Iceberg 資料表的目的地設定 ](#create-destination-iceberg) + [ ## 設定 Amazon Redshift 的目的地設定 ](#create-destination-redshift) + [ ## 設定 OpenSearch Service 的目的地設定 ](#create-destination-elasticsearch) + [ ## 設定 OpenSearch Serverless 的目的地設定 ](#create-destination-opensearch-serverless) + [ ## 設定 HTTP 端點的目的地設定 ](#create-destination-http) + [ ## 設定 Datadog 的目的地設定 ](#create-destination-datadog) + [ ## 設定 Honeycomb 的目的地設定 ](#create-destination-honeycomb) + [ ## 設定 Coralogix 的目的地設定 ](#create-destination-coralogix) + [ ## 設定 Dynatrace 的目的地設定 ](#create-destination-dynatrace) + [ ## 設定 LogicMonitor 的目的地設定 ](#create-destination-logicmonitor) + [ ## 設定 Logz.io 的目的地設定 ](#create-destination-logz) + [ ## 設定 MongoDB Atlas 的目的地設定 ](#create-destination-mongodb) + [ ## 設定新複本的目的地設定 ](#create-destination-new-relic) + [ ## 設定 Snowflake 的目的地設定 ](#create-destination-snowflake) + [ ## 設定 Splunk 的目的地設定 ](#create-destination-splunk) + [ ## 設定 Splunk 可觀測性雲端的目的地設定 ](#create-destination-splunk-cloud) + [ ## 設定 Sumo Logic 的目的地設定 ](#create-destination-sumo-logic) + [ ## 設定彈性的目的地設定 ](#create-destination-elastic) ## 設定 Amazon S3 的目的地設定 您必須指定以下設定，才能使用 Amazon S3 作為 Firehose 串流目的地。 **** + 請輸入下列欄位的值。 **S3 bucket (S3 儲存貯體)** 選擇要交付串流資料您所擁有的 S3 儲存貯體。您可以建立新的或選擇現有的 S3 儲存貯體。 **新行分隔符** 您可以設定 Firehose 串流，在交付至 Amazon S3 的物件中的記錄之間新增行分隔符號。若要這麼做，請選擇**已啟用**。若要不在交付至 Amazon S3 的物件中的記錄之間新增行分隔符號，請選擇**停用**。如果您計劃使用 Athena 查詢具有彙總記錄的 S3 物件，請啟用此選項。 **動態分割** 選擇**已啟用**以啟用並設定動態分割。 **多筆記錄取消彙總** 這是剖析 Firehose 串流中記錄的程序，並根據有效的 JSON 或指定的新行分隔符號來分隔它們。 如果您將多個事件、日誌或記錄彙整到單一 PutRecord 和 PutRecordBatch API 呼叫中，您仍然可以啟用和設定動態分割。使用彙總資料時，當您啟用動態分割時，Amazon Data Firehose 會剖析記錄，並在每個 API 呼叫中尋找多個有效的 JSON 物件。當 Firehose 串流設定為 Kinesis Data Stream 做為來源時，您也可以在 Kinesis Producer Library (KPL) 中使用內建彙總。資料分割功能在資料取消彙整後執行。因此，每個 API 呼叫中的每個記錄都可以交付到不同的 Amazon S3 字首。您也可以利用 Lambda 函數整合，在資料分割功能之前執行任何其他取消彙總或任何其他轉換。 如果您的資料已彙整，則只有在執行資料取消彙整之後才能套用動態分割。因此，如果您對彙整資料啟用動態分割，則必須選擇**已啟用**以啟用多記錄取消彙整。 Firehose 串流會依下列順序執行下列處理步驟：KPL (protobuf) 取消彙總、JSON 或分隔符號取消彙總、Lambda 處理、資料分割、資料格式轉換和 Amazon S3 交付。 **多筆記錄取消彙總類型** 如果您啟用了多筆記錄取消彙總，則必須指定 Firehose 將資料取消彙總的方法。使用下拉式功能表選擇 **JSON** 或**分隔符號**。 **內嵌剖析** 這是其中一種支援的機制，可動態分割繫結到 Amazon S3 的資料。若要使用內嵌剖析來動態分割資料，您必須指定要用作分割索引鍵的資料記錄參數，並為每個指定的分割索引鍵提供一個值。選擇**已啟用**以啟用並設定內嵌剖析。 如果您在上述步驟中指定 AWS Lambda 函數來轉換來源記錄，您可以使用此函數動態分割繫結至 S3 的資料，而且仍然可以使用內嵌剖析建立分割金鑰。透過動態分割，您可以使用內嵌剖析或 AWS Lambda 函數來建立分割金鑰。或者，您可以同時使用內嵌剖析和 AWS Lambda 函數來建立分割金鑰。 **動態分割索引鍵** 您可以使用**索引鍵**和**值**欄位來指定要用作動態分割索引鍵的資料記錄參數，以及用來產生動態分割索引鍵值的 jq 查詢。Firehose 僅支援 jq 1.6。您可以指定最多 50 個動態分割索引鍵。您必須輸入動態分割索引鍵值的有效 jq 表達式，才能成功設定 Firehose 串流的動態分割。 **S3 儲存貯體的字首** 當您啟用和設定動態分割時，必須指定 Amazon Data Firehose 交付分割資料的 S3 儲存貯體字首。 為了正確設定動態分割，S3 儲存貯體字首的數目必須與指定的分割索引鍵數目相同。 您可以使用內嵌剖析或指定的 AWS Lambda 函數來分割來源資料。如果您指定 AWS Lambda 函數來建立來源資料的分割索引鍵，則必須使用下列格式手動輸入 S3 儲存貯體字首值："partitionKeyFromLambda:keyID"。如果使用內嵌剖析來指定來源資料的分割索引鍵，則您可以使用下列格式手動輸入 S3 儲存貯體預覽值："partitionKeyFromQuery:keyID"，或者您可以選擇**套用動態分割索引鍵**按鈕，使用動態分割索引鍵/值對來自動產生 S3 儲存貯體字首。使用內嵌剖析或 AWS Lambda 分割資料時，您也可以在 S3 儲存貯體字首中使用下列表達式表單：！\$1namespace：value\$1，其中命名空間可以是 partitionKeyFromQuery 或 partitionKeyFromLambda。 **S3 儲存貯體和 S3 錯誤輸出字首時區** 在 [Amazon S3 物件的自訂字首](s3-prefixes.md)中，選擇您要用於日期和時間的時區。根據預設，Firehose 會以 UTC 新增時間字首。如果您想要使用不同的時區，可以變更 S3 字首中使用的時區。 **緩衝提示** Firehose 會先緩衝傳入的資料，再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。 **S3 壓縮** 選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮，或不壓縮資料。Snappy、zip 檔和 Hadoop 相容的 Snappy 壓縮不適用於以 Amazon Redshift 作為目的地的 Firehose 串流。 **S3 副檔名格式 （選用）** 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能，指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名，例如 .parquet 或 .gz。當您搭配資料格式轉換或 S3 壓縮使用此功能時，請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭，且可包含允許的字元：0-9a-z！-\$1.\$1‘()。副檔名不能超過 128 個字元。 **S3 加密** Firehose 支援使用 AWS Key Management Service (SSE-KMS) 加密 Amazon S3 中交付資料的 Amazon S3 伺服器端加密。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型，或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料，您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊，請參閱[使用伺服器端加密搭配 AWS KMS 受管金鑰保護資料 (SSE-KMS)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)。 ## 設定 Apache Iceberg 資料表的目的地設定 Firehose 支援 Apache Iceberg Tables 作為除中國區域、亞太區域 （台北） AWS GovCloud (US) Regions、亞太區域 （馬來西亞）、亞太區域 （紐西蘭） 和墨西哥 （中部） [AWS 區域](https://docs.aws.amazon.com/glossary/latest/reference/glos-chap.html?icmpid=docs_homepage_addtlrcs#region)以外所有 的目的地。 如需 Apache Iceberg 資料表做為目的地的詳細資訊，請參閱 [使用 Amazon Data Firehose 將資料交付至 Apache Iceberg 資料表](apache-iceberg-destination.md)。 ## 設定 Amazon Redshift 的目的地設定 本節說明使用 Amazon Redshift 做為 Firehose 串流目的地的設定。 根據您是擁有 Amazon Redshift 佈建的叢集，還是 Amazon Redshift Serverless 工作群組，選擇下列其中一個程序。 + [Amazon Redshift 佈建叢集](#create-destination-redshift-provisioned) + [設定 Amazon Redshift Serverless 工作群組的目的地設定](#create-destination-redshift-serverless) **注意** Firehose 無法寫入使用增強型 VPC 路由的 Amazon Redshift 叢集。 ### Amazon Redshift 佈建叢集 本節說明使用 Amazon Redshift 佈建叢集做為 Firehose 串流目的地的設定。 **** + 為下列欄位輸入值： **叢集** 要放入複製的 S3 儲存貯體的 Amazon Redshift 叢集。將 Amazon Redshift 叢集設定為可公開存取並解除封鎖 Amazon Data Firehose IP 地址。如需詳細資訊，請參閱[授予 Firehose 對 Amazon Redshift 目的地的存取權](controlling-access.md#using-iam-rs)。 **身分驗證** 您可以選擇直接輸入使用者名稱/密碼，或從 擷取秘密 AWS Secrets Manager 以存取 Amazon Redshift 叢集。 + **使用者名稱** 指定具有存取 Amazon Redshift 叢集許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift `INSERT` 許可，才能夠將 S3 儲存貯體中的資料複製到 Amazon Redshift 叢集。 + **密碼** 為具有存取叢集許可的使用者指定密碼。 + **Secret** 從 選取包含 AWS Secrets Manager Amazon Redshift 叢集登入資料的秘密。如果您在下拉式清單中看不到秘密，請在 中 AWS Secrets Manager 為 Amazon Redshift 登入資料建立一個秘密。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **資料庫** 要放入複製資料的 Amazon Redshift 資料庫。 **資料表** 要放入複製資料的 Amazon Redshift 資料表。 **資料欄** (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量，請使用此選項。 **中繼 S3 目的地** Firehose 會先將資料交付至 S3 儲存貯體，然後發出 Amazon Redshift **COPY**命令將資料載入 Amazon Redshift 叢集。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體，或是選擇您目前擁有的儲存貯體。 Firehose 在將資料載入 Amazon Redshift 叢集之後，不會從 S3 儲存貯體刪除資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》**中的[物件生命週期管理](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html)。 **中繼 S3 字首** (選用) 要使用 Amazon S3 物件的預設字首，請將此選項保留空白。Firehose 會自動為交付的 Amazon S3 物件使用 "`YYYY/MM/dd/HH`" UTC 時間格式的字首。您可以新增到此字首前方。如需詳細資訊，請參閱[設定 Amazon S3 物件名稱格式](s3-object-name.md)。 **COPY options (COPY 選項)** 此處指的是可以在 Amazon Redshift **COPY** 命令中指定的參數。根據您的組態而定，這些參數可能為必要。例如，如果已啟用 Amazon S3 資料壓縮，則需要 "`GZIP`"。如果您的 S3 儲存貯體不在與 Amazon Redshift 叢集相同的 AWS 區域中，則需要 "`REGION`"。如需詳細資訊，請參閱《Amazon Redshift 資料庫開發人員指南》中的 [COPY](https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。 **COPY command (COPY 命令)** Amazon Redshift **COPY** 命令。如需詳細資訊，請參閱《Amazon Redshift 資料庫開發人員指南》中的 [COPY](https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。 **Retry duration (重試持續時間)** 如果 **COPY** Amazon Redshift 叢集的資料失敗，Firehose 重試的持續時間 (0–7200 秒）。Firehose 每 5 分鐘重試一次，直到重試持續時間結束為止。如果您將重試持續時間設定為 0 （零） 秒，Firehose 不會在**COPY**命令失敗時重試。 **緩衝提示** Firehose 會先緩衝傳入的資料，再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。 **S3 壓縮** 選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮，或不壓縮資料。Snappy、zip 檔和 Hadoop 相容的 Snappy 壓縮不適用於以 Amazon Redshift 作為目的地的 Firehose 串流。 **S3 副檔名格式 （選用）** S3 副檔名格式 （選用） – 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能，指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名，例如 .parquet 或 .gz。當您搭配資料格式轉換或 S3 壓縮使用此功能時，請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭，且可包含允許的字元：0-9a-z！-\$1.\$1‘()。副檔名不能超過 128 個字元。 **S3 加密** Firehose 支援使用 AWS Key Management Service (SSE-KMS) 加密 Amazon S3 中交付資料的 Amazon S3 伺服器端加密。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型，或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料，您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊，請參閱[使用伺服器端加密搭配 AWS KMS 受管金鑰保護資料 (SSE-KMS)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)。 ### 設定 Amazon Redshift Serverless 工作群組的目的地設定 本節說明使用 Amazon Redshift Serverless 工作群組做為 Firehose 串流目的地的設定。 **** + 為下列欄位輸入值： **Workgroup name** (工作群組名稱) 要將 S3 儲存貯體資料複製到的 Amazon Redshift Serverless 工作群組。將 Amazon Redshift Serverless 工作群組設定為可公開存取，並解除封鎖 Firehose IP 地址。如需詳細資訊，請參閱[連線至 Amazon Redshift Serverless](https://docs.aws.amazon.com/redshift/latest/mgmt/serverless-connecting.html) 中「連線至可公開存取的 Amazon Redshift Serverless 執行個體」一節以及 [授予 Firehose 對 Amazon Redshift 目的地的存取權](controlling-access.md#using-iam-rs)。 **身分驗證** 您可以選擇直接輸入使用者名稱/密碼，或從 擷取秘密 AWS Secrets Manager 以存取 Amazon Redshift Serverless 工作群組。 + **使用者名稱** 指定具有存取 Amazon Redshift Serverless 工作群組許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift `INSERT` 許可，才可以將 S3 儲存貯體中的資料複製至 Amazon Redshift Serverless 工作群組。 + **密碼** 為具有存取 Amazon Redshift Serverless 工作群組許可的使用者指定密碼。 + **Secret** 從 選取包含 AWS Secrets Manager Amazon Redshift Serverless 工作群組登入資料的秘密。如果您在下拉式清單中看不到秘密，請在 中 AWS Secrets Manager 為 Amazon Redshift 登入資料建立一個秘密。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **資料庫** 要放入複製資料的 Amazon Redshift 資料庫。 **資料表** 要放入複製資料的 Amazon Redshift 資料表。 **資料欄** (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量，請使用此選項。 **中繼 S3 目的地** Amazon Data Firehose 會先將資料交付至 S3 儲存貯體，然後發出 Amazon Redshift **COPY**命令將資料載入 Amazon Redshift Serverless 工作群組。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體，或是選擇您目前擁有的儲存貯體。 Firehose 在將資料載入至 Amazon Redshift Serverless 工作群組後，不會從 S3 儲存貯體刪除資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》**中的[物件生命週期管理](https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html)。 **中繼 S3 字首** (選用) 要使用 Amazon S3 物件的預設字首，請將此選項保留空白。Firehose 會自動為交付的 Amazon S3 物件使用 "`YYYY/MM/dd/HH`" UTC 時間格式的字首。您可以新增到此字首前方。如需詳細資訊，請參閱[設定 Amazon S3 物件名稱格式](s3-object-name.md)。 **COPY options (COPY 選項)** 此處指的是可以在 Amazon Redshift **COPY** 命令中指定的參數。根據您的組態而定，這些參數可能為必要。例如，如果啟用 Amazon S3 資料壓縮，則需要 "`GZIP`"。如果您的 S3 儲存貯體不在與 Amazon Redshift Serverless 工作群組相同的 AWS 區域中，則需要 "`REGION`"。如需詳細資訊，請參閱《Amazon Redshift 資料庫開發人員指南》中的 [COPY](https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。 **COPY command (COPY 命令)** Amazon Redshift **COPY** 命令。如需詳細資訊，請參閱《Amazon Redshift 資料庫開發人員指南》中的 [COPY](https://docs.aws.amazon.com/redshift/latest/dg/r_COPY.html)。 **Retry duration (重試持續時間)** 如果 **COPY** Amazon Redshift Serverless 工作群組的資料失敗，Firehose 會重試的持續時間 (0–7200 秒）。Firehose 每 5 分鐘重試一次，直到重試持續時間結束為止。如果您將重試持續時間設定為 0 （零） 秒，Firehose 不會在**COPY**命令失敗時重試。 **緩衝提示** Firehose 會先緩衝傳入的資料，再將其交付至指定的目的地。建議的目的地緩衝區大小因服務提供者而異。 **S3 壓縮** 選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮，或不壓縮資料。Snappy、zip 檔和 Hadoop 相容的 Snappy 壓縮不適用於以 Amazon Redshift 作為目的地的 Firehose 串流。 **S3 副檔名格式 （選用）** S3 副檔名格式 （選用） – 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能，指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名，例如 .parquet 或 .gz。當您搭配資料格式轉換或 S3 壓縮使用此功能時，請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭，且可包含允許的字元：0-9a-z！-\$1.\$1‘()。副檔名不能超過 128 個字元。 **S3 加密** Firehose 支援使用 AWS Key Management Service (SSE-KMS) 加密 Amazon S3 中交付資料的 Amazon S3 伺服器端加密。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型，或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料，您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊，請參閱[使用伺服器端加密搭配 AWS KMS 受管金鑰保護資料 (SSE-KMS)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)。 ## 設定 OpenSearch Service 的目的地設定 Firehose 支援 Elasticsearch 版本 – 1.5、2.3、5.1、5.3、5.5、5.6，以及所有 6.\$1、7.\$1 和 8.\$1 版本。Firehose 支援 Amazon OpenSearch Service 2.x 和 3.x。 本節會描述使用 OpenSearch Service 作為目的地的選項。 **** + 為下列欄位輸入值： ** **OpenSearch Service 域** ** 要交付資料的 OpenSearch Service 域。 ** **索引** ** 將資料索引至您的 OpenSearch Service 叢集時，所使用的 OpenSearch Service 索引名稱。 ** **Index rotation (索引輪換)** ** 選擇 OpenSearch Service 索引輪換是否啟用及頻率。若啟用索引輪換，Amazon Data Firehose 便會將對應的時間戳記附加到指定的索引名稱，並進行輪換。如需詳細資訊，請參閱[設定 OpenSearch Service 的索引輪換](es-index-rotation.md)。 ** **類型** ** 將資料索引至您的 OpenSearch Service 叢集時，所使用的 OpenSearch Service 類型名稱。若是 Elasticsearch 7.x 和 OpenSearch 1.x，每個索引僅能使用一個類型。如果您嘗試為已具備其他類型的現有索引指定新類型，則 Firehose 會在執行時期傳回錯誤。 針對 Elasticsearch 7.x，將此欄位保留空白。 ** **Retry duration (重試持續時間)** ** 如果對 OpenSearch 的索引請求失敗，Firehose 重試的持續時間。對於重試持續時間，您可以設定介於 0-7200 秒之間的任何值。預設的重試持續時間為 300 秒。Firehose 將重試多次並指數退避，直到重試持續時間過期為止。 重試持續時間到期後，Firehose 會將資料交付至已設定的 S3 錯誤儲存貯體無效字母佇列 (DLQ)。對於交付至 DLQ 的資料，您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回 OpenSearch 目的地。 如果因為 OpenSearch 叢集的停機時間或維護而想要封鎖 Firehose 串流將資料交付至 DLQ，您可以將重試持續時間設定為較高的值，以秒為單位。您可以聯絡 [AWS 支援](https://aws.amazon.com/contact-us/)，將超過 7200 秒的重試持續時間值增加到 。 ** **DocumentID 類型** ** 表示設定文件 ID 的方法。支援的方法為 Firehose 產生的文件 ID 和 OpenSearch Service 產生的文件 ID。未設定文件 ID 值時，Firehose 產生的文件 ID 是預設選項。OpenSearch Service 產生的文件 ID 是建議選項，因為其支援大量寫入操作，包括日誌分析和可觀測性，在 OpenSearch Service 域取用較少的 CPU 資源，因此可改善效能。 ** **目的地 VPC 連線能力** ** 如果您的 OpenSearch Service 域位於私有 VPC 中，則請使用此區段來指定該 VPC。同時，請指定 Amazon Data Firehose 將資料傳送至您的 OpenSearch Service 網域時，要使用的子網路和子群組。您可以使用 OpenSearch Service 域所使用的相同安全群組。如果您指定不同的安全群組，請確認這些群組可以輸出 HTTPS 流量到 OpenSearch Service 域的安全群組。此外，請確定 OpenSearch Service 網域的安全群組允許來自您在設定 Firehose 串流時所指定安全群組的 HTTPS 流量。如果您針對 Firehose 串流和 OpenSearch Service 網域使用相同的安全群組，請確定安全群組的傳入規則允許 HTTPS 流量。如需安全群組規則的詳細資訊，請參閱 Amazon VPC 文件中 OpenSearch 的[安全群組規則](https://docs.aws.amazon.com/vpc/latest/userguide/VPC_SecurityGroups.html#SecurityGroupRules)。 當您指定子網路以將資料交付至私有 VPC 中的目的地時，請確定您選擇的子網路中有足夠的可用 IP 地址。如果指定的子網路中沒有可用的可用 IP 地址，Firehose 無法為私有 VPC 中的資料交付建立或新增 ENIs，且交付將會降級或失敗。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 OpenSearch Serverless 的目的地設定 本節會描述使用 OpenSearch Serviceless 作為目的地的選項。 **** + 為下列欄位輸入值： ** **OpenSearch Serverless 集合** ** 資料要交付至的 OpenSearch Serverless 索引群組的端點。 ** **索引** ** 將資料索引至您的 OpenSearch Serviceless 集合時，所使用的 OpenSearch Serviceless 索引名稱。 ** **目的地 VPC 連線能力** ** 如果您的 OpenSearch Serviceless 集合位於私有 VPC 中，請使用此區段來指定該 VPC。同時，請指定 Amazon Data Firehose 將資料傳送至您的 OpenSearch Serverless 集合時，要使用的子網路和子群組。 當您指定子網路以將資料交付至私有 VPC 中的目的地時，請確定您選擇的子網路中有足夠的可用 IP 地址。如果指定的子網路中沒有可用的可用 IP 地址，Firehose 無法為私有 VPC 中的資料交付建立或新增 ENIs，且交付將會降級或失敗。 ** **Retry duration (重試持續時間)** ** 如果對 OpenSearch Serverless 的索引請求失敗，Firehose 重試的持續時間。對於重試持續時間，您可以設定介於 0-7200 秒之間的任何值。預設的重試持續時間為 300 秒。Firehose 將重試多次並指數退避，直到重試持續時間過期為止。 重試持續時間到期後，Firehose 會將資料交付至已設定的 S3 錯誤儲存貯體無效字母佇列 (DLQ)。對於交付至 DLQ 的資料，您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回 OpenSearch Serverless 目的地。 如果因為 OpenSearch Serverless 叢集的停機時間或維護而想要封鎖 Firehose 串流將資料交付至 DLQ，您可以將重試持續時間設定為較高的值，以秒為單位。您可以聯絡 [AWS 支援](https://aws.amazon.com/contact-us/)，將超過 7200 秒的重試持續時間值增加到 。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 HTTP 端點的目的地設定 本節會描述使用 **HTTP 端點**作為目的地的選項。 **重要** 如果您選擇 HTTP 端點作為目的地，則請檢閱並遵循 [了解 HTTP 端點交付請求和回應規格](httpdeliveryrequestresponse.md) 中的指示。 **** + 為下列欄位提供值： **HTTP 端點名稱 - 選用** 指定 HTTP 端點的使用者易記名稱。例如 `My HTTP Endpoint Destination`。 **HTTP 端點 URL** 請使用下列格式指定 HTTP 端點的 URL：`https://xyz.httpendpoint.com`。該 URL 必須為 HTTPS URL。 **身分驗證** 您可以選擇直接輸入存取金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 HTTP 端點。 + **（選用） 存取金鑰** 如果您需要取得存取金鑰，以便從 Firehose 將資料交付至其端點，請聯絡端點擁有者。 + **Secret** 從 選取 AWS Secrets Manager 包含 HTTP 端點存取金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中 AWS Secrets Manager 為存取金鑰建立一個秘密。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 會使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 對於 HTTP 端點目的地，如果您在 CloudWatch Logs 中看到目的地端點的 413 個回應代碼，請降低 Firehose 串流上的緩衝提示大小，然後再試一次。 ## 設定 Datadog 的目的地設定 本節說明使用 **Datadog** 作為目的地的選項。[如需有關 Datadog 的詳細資訊，請參閱 https://docs.datadoghq.com/integrations/amazon\$1web\$1services/](https://docs.datadoghq.com/integrations/amazon_web_services/)。 **** + 提供下列欄位的值。 **HTTP 端點 URL** 在下拉式功能表中選擇您要從下列其中一個選項傳送資料的位置。 + **Datadog 日誌 - US1** + **Datadog 日誌 - US3** + **Datadog 日誌 - US5** + **Datadog 日誌 - AP1** + **Datadog 日誌 - EU** + **Datadog 日誌 - GOV** + **Datadog 指標 - US** + **Datadog 指標 - US5** + **Datadog 指標 - AP1** + **Datadog 指標 - EU** + **Datadog 組態 - US1** + **Datadog 組態 - US3** + **Datadog 組態 - US5** + **Datadog 組態 - AP1** + **Datadog 組態 - 歐洲** + **Datadog 組態 - US GOV** **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 Datadog。 + **API 金鑰** 請聯絡 Datadog 取得您需要的 API 金鑰，以便從 Firehose 將資料交付至此端點。 + **Secret** 從 選取 AWS Secrets Manager 包含 Datadog API 金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 會使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 Honeycomb 的目的地設定 本節說明使用 **Honeycomb** 作為目的地的選項。如需有關 Honeycomb 的詳細資訊，請參閱 [https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/](https://docs.honeycomb.io/getting-data-in/metrics/aws-cloudwatch-metrics/ )。 **** + 為下列欄位提供值： **Honeycomb Kinesis 端點** 請使用下列格式指定 HTTP 端點的 URL：https://api.honeycomb.io/1/kinesis\$1events/\$1\$1dataset\$1\$1 **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 Honeycomb。 + **API 金鑰** 請聯絡 Honeycomb 以取得您需要的 API 金鑰，以便從 Firehose 將資料交付至此端點。 + **Secret** 從 選取 AWS Secrets Manager 包含 Honeycomb API 金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 會使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 以啟用要求的內容編碼。這是 Honeycomb 目的地的建議選項。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 Coralogix 的目的地設定 本節會描述使用 **Coralogix** 作為目的地的選項。如需 Coralogix 的詳細資訊，請參閱 [Coralogix 入門](https://coralogix.com/docs/guide-first-steps-coralogix/)。 **** + 為下列欄位提供值： **HTTP 端點 URL** 從下拉式功能表的下列選項中選擇 HTTP 端點 URL： + **Coralogix - US** + **Coralogix - SINGAPORE** + **Coralogix - IRELAND** + **Coralogix - INDIA** + **Coralogix - STOCKHOLM** **身分驗證** 您可以選擇直接輸入私有金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 Coralogix。 + **私有金鑰** 請聯絡 Coralogix 取得您需要的私有金鑰，以便從 Firehose 將資料交付至此端點。 + **Secret** 從 選取 AWS Secrets Manager 包含 Coralogix 私有金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 會使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 以啟用要求的內容編碼。這是 Coralogix 目的地的建議選項。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 + applicationName：執行 Data Firehose 的環境 + subsystemName：資料 Firehose 整合的名稱 + computerName：使用中的 Firehose 串流名稱 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小會根據服務供應商而有所不同。 ## 設定 Dynatrace 的目的地設定 本節會描述使用 **Dynatrace** 作為目的地的選項。如需詳細資訊，請參閱 [https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/](https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/)。 **** + 選擇選項以使用 Dynatrace 做為 Firehose 串流的目的地。 **擷取類型** 選擇是否要在 Dynatrace 中交付**指標**或**日誌 **（預設），以進行進一步分析和處理。 **HTTP 端點 URL** 從下拉式選單中選擇 HTTP 端點 URL (**Dynatrace US**、**Dynatrace EU** 或 **Dynatrace Global**)。 **身分驗證** 您可以選擇直接輸入 API 字符，或從 擷取秘密 AWS Secrets Manager 以存取 Dynatrace。 + **API 記號** 產生您需要的 Dynatrace API 字符，以便從 Firehose 將資料交付至此端點。如需詳細資訊，請參閱 [Dynatrace API - 權杖和身分驗證](https://docs.dynatrace.com/docs/dynatrace-api/basics/dynatrace-api-authentication)。 + **Secret** 從 選取 AWS Secrets Manager 包含 Dynatrace API 字符的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **API URL** 提供您的 Dynatrace 環境的 API URL。 **內容編碼** 選擇是否要啟用內容編碼來壓縮請求的內文。Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。啟用時，會以 **GZIP** 格式壓縮的內容。 **Retry duration (重試持續時間)** 指定 Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Firehose 在初次嘗試期間或重試後將資料傳送至 HTTP 端點時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。緩衝提示包含串流的緩衝區大小和間隔。建議的目的地緩衝區大小會根據服務供應商而有所不同。 ## 設定 LogicMonitor 的目的地設定 本節會描述使用 **LogicMonitor** 作為目的地的選項。如需詳細資訊，請參閱 https：//[https://www.logicmonitor.com](https://www.logicmonitor.com)。 **** + 為下列欄位提供值： **HTTP 端點 URL** 以下列格式指定 HTTP 端點的 URL。 ``` https://ACCOUNT.logicmonitor.com ``` **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 LogicMonitor。 + **API 金鑰** 請聯絡 LogicMonitor，以取得從 Firehose 啟用資料交付至此端點所需的 API 金鑰。 + **Secret** 從 選取 AWS Secrets Manager 包含 LogicMonitor API 金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 Logz.io 的目的地設定 本節說明使用 **Logz.io** 作為目的地的選項。如需詳細資訊，請參閱 https：//[https://logz.io/](https://logz.io/)。 **注意** 在歐洲 (米蘭) 區域中，Logz.io 並非支援的 Amazon Data Firehose 目的地。 **** + 為下列欄位提供值： **HTTP 端點 URL** 以下列格式指定 HTTP 端點的 URL。URL 必須是 `HTTPS` URL。 ``` https://listener-aws-metrics-stream-.logz.io/ ``` 例如 ``` https://listener-aws-metrics-stream-us.logz.io/ ``` **身分驗證** 您可以選擇直接輸入運送字符，或從 擷取秘密 AWS Secrets Manager 以存取 Logz.io。 + **運送字符** 請聯絡 Logz.io：//。 + **Secret** 從 選取 AWS Secrets Manager 包含 Logz.io 運送字符的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至 Logz.io 的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 MongoDB Atlas 的目的地設定 本節說明針對目的地使用 **MongoDB Atlas** 的選項。如需詳細資訊，請參閱 [Amazon Web Services 上的 MongoDB Atlas](https://www.mongodb.com/products/platform/atlas-cloud-providers/aws)。 **** + 為下列欄位提供值： **API Gateway URL** 以下列格式指定 HTTP 端點的 URL。 ``` https://xxxxx.execute-api.region.amazonaws.com/stage ``` URL 必須是 `HTTPS` URL。 **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 MongoDB Atlas。 + **API 金鑰** 請遵循 [Amazon Web Services 上的 MongoDB Atlas ](https://www.mongodb.com/products/platform/atlas-cloud-providers/aws)中的指示，取得`APIKeyValue`從 Firehose 啟用資料交付至此端點所需的 。 + **Secret** 從 選取秘密 AWS Secrets Manager ，其中包含由 Lambda 與 MongoDB Atlas 互動所支援的 API Gateway API 金鑰。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選第三方供應商的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 ## 設定新複本的目的地設定 本節會描述使用 **New Relic** 作為目的地的選項。如需詳細資訊，請參閱 https：//[https://newrelic.com](https://newrelic.com)。 **** + 為下列欄位提供值： **HTTP 端點 URL** 從下拉式清單的下列選項中選擇 HTTP 端點 URL。 + **New Relic 日誌 - US** + **New Relic 指標 - US** + **New Relic 指標 - EU** **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 New Relic。 + **API 金鑰** 從 New Relic One 帳戶設定輸入您的授權金鑰，這是 40 個字元的十六進位字串。您需要此 API 金鑰，才能從 Firehose 將資料交付至此端點。 + **Secret** 從 選取 AWS Secrets Manager 包含新複本 API 金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至新複本 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 Snowflake 的目的地設定 本節說明將 Snowflake 用於目的地的選項。 **注意** Firehose 與 Snowflake 的整合已在美國東部 （維吉尼亞北部）、美國西部 （奧勒岡）、歐洲 （愛爾蘭）、美國東部 （俄亥俄）、亞太區域 （東京）、歐洲 （法蘭克福）、亞太區域 （新加坡）、亞太區域 （首爾） 和亞太區域 （雪梨）、亞太區域 （孟買）、歐洲 （倫敦）、南美洲 （聖保羅）、加拿大 （中部）、歐洲 （巴黎）、亞太區域 （大阪）、歐洲 （斯德哥爾摩）、亞太區域 （雅加達） AWS 區域提供。 **連線設定** **** + 為下列欄位提供值： **Snowflake 帳戶 URL** 指定 Snowflake 帳戶 URL。例如：`xy12345.us-east-1.aws.snowflakecomputing.com`。請參閱 [Snowflake 文件](https://docs.snowflake.com/en/user-guide/admin-account-identifier#format-2-legacy-account-locator-in-a-region)，了解如何判斷您的帳戶 URL。請注意，您不可以指定連接埠號碼，而通訊協定 (https：//) 是選用的。 **身分驗證** 您可以選擇手動輸入 userlogin、私有金鑰和密碼短語，或從 擷取秘密 AWS Secrets Manager 以存取 Snowflake。 + **使用者登入** 指定要用於載入資料的 Snowflake 使用者。確認使用者具有存取權，可將資料插入 Snowflake 資料表中。 + **私有金鑰** 指定要以 `PKCS8` 格式使用 Snowflake 進行身分驗證的私有金鑰。此外，請勿將 PEM 標頭和頁尾包含在私有金鑰中。如果金鑰分成多行，請移除換行符號。以下是私有金鑰必須看起來的範例。 ``` -----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY----- ``` 移除 中的空間，`KEY_CONTENT`並將其提供給 Firehose。不需要標頭/頁尾或換行字元。 + **Passphrase (密碼短語)** 指定密碼來解密經加密的私密金鑰。如果私密金鑰未加密，您可以將此欄位保留空白。如需詳細資訊，請參閱[使用金鑰對身分驗證和金鑰輪換](https://docs.snowflake.com/en/user-guide/data-load-snowpipe-streaming-configuration#using-key-pair-authentication-key-rotation)。 + **Secret** 從 選取 AWS Secrets Manager 包含 Snowflake 登入資料的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **角色組態** 使用預設 Snowflake 角色 - 如果選取此選項，Firehose 就不會將任何角色傳遞至 Snowflake。此時會擔任預設角色以載入資料。請確認預設角色具有將資料插入 Snowflake 資料表的許可。 使用自訂 Snowflake 角色 - 輸入將資料載入 Snowflake 資料表時由 Firehose 擔任的非預設 Snowflake 角色。 **Snowflake 連線能力** 選項為**私有**或**公有**。 **私有 VPCE ID (選用)** VPCE ID 可讓 Firehose 透過私有方式與 Snowflake 連線。ID 格式為 com.amazonaws.vpce.[region].vpce-svc-*[id]*。如需詳細資訊，請參閱 [AWS PrivateLink & Snowflake](https://docs.snowflake.com/en/user-guide/admin-security-privatelink)。 如果您的 Snowflake 叢集已啟用私有連結，請使用 `AwsVpceIds`型網路政策來允許 Amazon Data Firehose 資料。Firehose 不需要您在 Snowflake 帳戶中設定 IP 型網路政策。啟用 IP 型網路政策可能會干擾 Firehose 連線。如果您有需要 IP 型政策的邊緣案例，請提交[支援票證](https://support.console.aws.amazon.com/support/home?region=us-east-1#/case/create)來聯絡 Firehose 團隊。如需您可以使用的 VPCE IDs 清單，請參閱 [在 VPC 中存取 Snowflake](controlling-access.md#using-iam-snowflake-vpc)。 **資料庫組態** + 您必須指定以下設定，才能使用 Snowflake 作為 Firehose 串流目的地。 + Snowflake 資料庫 - Snowflake 中的所有資料都保留在資料庫中。 + Snowflake 結構描述 - 每個資料庫由一或多個結構描述組成，這些是資料庫物件的邏輯分組，例如資料表和視圖 + Snowflake 資料表 - Snowflake 中的所有資料都儲存在資料庫資料表中，邏輯結構化為欄和列的集合。 **Snowflake 資料表的資料載入選項** + 使用 JSON 金鑰做為資料欄名稱 + 使用 VARIANT 資料欄 + 內容欄名稱 – 在資料表中指定欄名稱，其中必須載入原始資料。 + 中繼資料資料欄名稱 （選用） – 在資料表中指定資料欄名稱，其中必須載入中繼資料資訊。當您啟用此欄位時，會根據來源類型，在 Snowflake 資料表中看到下列資料欄。 **對於做為來源的直接 PUT** ``` { "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" } ``` **對於 Kinesis Data Stream 作為來源** ``` { "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" } ``` **Retry duration (重試持續時間)** 如果因 Snowflake 服務問題而開啟頻道或交付至 Snowflake 失敗，Firehose 重試的持續時間 (0–7200 秒）。Firehose 會以指數退避重試，直到重試持續時間結束為止。如果您將重試持續時間設定為 0 （零） 秒，Firehose 不會在 Snowflake 失敗時重試，並將資料路由到 Amazon S3 錯誤儲存貯體。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。如需詳細資訊，請參閱[設定緩衝提示](create-configure-backup.md#buffering-hints)。 ## 設定 Splunk 的目的地設定 本節說明使用 Splunk 做為目的地的選項。 **注意** Firehose 會將資料交付至使用 Classic Load Balancer 或 Application Load Balancer 設定的 Splunk 叢集。 **** + 為下列欄位提供值： **Splunk cluster endpoint (Splunk 叢集端點)** 若要判斷端點，請參閱 [Splunk 文件中的設定 Amazon Data Firehose 將資料傳送至 Splunk 平台](http://docs.splunk.com/Documentation/AddOns/latest/Firehose/ConfigureFirehose)。 **Splunk endpoint type (Splunk 端點類型)** 在大多數情況下，請選擇`Raw endpoint`。選擇`Event endpoint`您是否使用 預先處理資料 AWS Lambda ，以依事件類型將資料傳送至不同的索引。如需判斷該使用何種端點的相關資訊，請參閱 Splunk 文件中的[設定 Amazon Data Firehose 以傳送資料至 Splunk 平台](http://docs.splunk.com/Documentation/AddOns/released/Firehose/ConfigureFirehose)。 **身分驗證** 您可以選擇直接輸入身分驗證字符，或從 擷取秘密 AWS Secrets Manager 以存取 Splunk。 + **Authentication token (身分驗證字符)** 若要設定可從 Amazon Data Firehose 接收資料的 Splunk 端點，請參閱 Splunk 文件中[適用於 Amazon Data Firehose 的 Splunk 附加元件的安裝和組態概觀](http://docs.splunk.com/Documentation/AddOns/released/Firehose/Installationoverview)。儲存您在設定此 Firehose 串流的端點時從 Splunk 取得的字符，並將其新增至此處。 + **Secret** 從 選取 AWS Secrets Manager 包含 Splunk 身分驗證字符的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **HEC acknowledgement timeout (HEC 確認訊息逾時)** 指定 Amazon Data Firehose 等待 Splunk 確認索引的時間長度。如果 Splunk 未在達到逾時之前傳送確認，Amazon Data Firehose 會將其視為資料交付失敗。接著 Amazon Data Firehose 會重試或將資料備份到 Amazon S3 儲存貯體，依據您設定的重試持續時間值而定。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試傳送資料至 Splunk 的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 Splunk 的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 Splunk （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待 Splunk 的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小會根據服務供應商而有所不同。 ## 設定 Splunk 可觀測性雲端的目的地設定 本節會描述使用 **Splunk Observability Cloud** 作為目的地的選項。如需詳細資訊，請參閱 [https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html\$1connect-to-aws-using-the-splunk-observability-cloud-api](https://docs.splunk.com/Observability/gdi/get-data-in/connect/aws/aws-apiconfig.html#connect-to-aws-using-the-splunk-observability-cloud-api)。 **** + 為下列欄位提供值： **雲端擷取端點 URL** 您可以在 Splunk 可觀測性主控台的設定檔 > 組織 > 即時資料擷取端點中找到 Splunk 可觀測性雲端的即時資料擷取 URL。 **身分驗證** 您可以選擇直接輸入存取字符，或從 擷取秘密 AWS Secrets Manager 以存取 Splunk 可觀測性雲端。 + **存取記號** 在 Splunk Observability 主控台中，從**設定**下的**存取權杖**複製包含 INGEST 授權範圍在內的 Splunk Observability 存取權杖。 + **Secret** 從 選取 AWS Secrets Manager 包含 Splunk 可觀測性雲端存取字符的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試將資料傳送至所選 HTTP 端點的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的目的地緩衝區大小因服務提供者而異。 ## 設定 Sumo Logic 的目的地設定 本節會描述使用 **Sumo Logic** 作為目的地的選項。如需詳細資訊，請參閱 https：//[https://www.sumologic.com](https://www.sumologic.com)。 **** + 為下列欄位提供值： **HTTP 端點 URL** 請使用下列格式指定 HTTP 端點的 URL：`https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token`。該 URL 必須為 HTTPS URL。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試傳送資料到 Sumo Logic 的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。建議的 Elastic 目的地緩衝區大小因服務提供者而異。 ## 設定彈性的目的地設定 本節會描述使用 **Elastic** 作為目的地的選項。 **** + 為下列欄位提供值： **Elastic 端點 URL** 請使用下列格式指定 HTTP 端點的 URL：`https://.es..aws.elastic-cloud.com`。該 URL 必須為 HTTPS URL。 **身分驗證** 您可以選擇直接輸入 API 金鑰，或從 擷取秘密 AWS Secrets Manager 以存取 Elastic。 + **API 金鑰** 請聯絡 Elastic 取得您需要的 API 金鑰，以便從 Firehose 將資料交付至其服務。 + **Secret** 從 選取 AWS Secrets Manager 包含 Elastic API 金鑰的秘密。如果您在下拉式清單中看不到秘密，請在 中建立一個秘密 AWS Secrets Manager。如需詳細資訊，請參閱[在 Amazon Data Firehose AWS Secrets Manager 中使用 驗證](using-secrets-manager.md)。 **內容編碼** Amazon Data Firehose 使用內容編碼來壓縮請求的內文，然後再將其傳送至目的地。選擇 **GZIP** (預設選擇) 或**已停用**以啟用/停用請求的內容編碼。 **Retry duration (重試持續時間)** 指定 Amazon Data Firehose 重試傳送資料到 Elastic 的時間長度。 傳送資料後，Amazon Data Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤，或是在逾時期間內未收到確認訊息，則 Amazon Data Firehose 會開始計算重試持續時間。在重試持續時間結束之前，該服務會持續重試。在此之後，Amazon Data Firehose 會將其視為資料傳遞失敗，然後將資料備份到 Amazon S3 儲存貯體。 每次 Amazon Data Firehose 將資料傳送至 HTTP 端點 （初始嘗試或重試） 時，都會重新啟動確認逾時計數器，並等待來自 HTTP 端點的確認。 即使重試持續時間過期，Amazon Data Firehose 仍會等待確認，直到收到確認或達到確認逾時期間為止。如果確認逾時，Amazon Data Firehose 會判斷重試計數器中是否剩餘時間。如果還有時間，將再次重試並重複執行邏輯，直到收到確認或判斷已無重試時間為止。 如果您不希望 Amazon Data Firehose 重試傳送資料，請將此值設為 0。 **參數 - 選用** Amazon Data Firehose 會在每個 HTTP 呼叫中包含這些金鑰值對。這些參數可協助您識別和整理目的地。 **緩衝提示** Amazon Data Firehose 在將傳入資料傳遞至指定目的地之前會先緩衝資料。彈性目的地的建議緩衝區大小為 1 MiB。 # 設定備份設定 Amazon Data Firehose 使用 Amazon S3 來備份其嘗試交付至所選目的地的所有或僅失敗的資料。 **重要** 只有在 Firehose 串流的來源為 Direct PUT 或 Kinesis Data Streams 時，才支援備份設定。 零緩衝功能僅適用於應用程式目的地，不適用於 Amazon S3 備份目的地。 如果您做出下列其中一個選擇，您可以指定 Firehose 串流的 S3 備份設定。 + 如果您將 Amazon S3 設定為 Firehose 串流的目的地，並選擇指定 AWS Lambda 函數來轉換資料記錄，或選擇轉換 Firehose 串流的資料記錄格式。 + 如果您將 Amazon Redshift 設定為 Firehose 串流的目的地，並選擇指定 AWS Lambda 函數來轉換資料記錄。 + 如果您將下列任何服務設定為 Firehose 串流的目的地：Amazon OpenSearch Service、Datadog、Dynatrace、HTTP Endpoint、LogicMonitor、MongoDB Cloud、New Relic、Splunk 或 Sumo Logic、Snowflake、Apache Iceberg Tables。 以下是 Firehose 串流的備份設定。 + Amazon S3 中的來源記錄備份 - 如果 S3 或 Amazon Redshift 是您選取的目的地，此設定會指出您是要啟用來源資料備份，還是保持停用狀態。如果將任何其他支援的服務 (S3 或 Amazon Redshift 除外) 設為您選取的目的地，則此設定會指示您是要備份所有來源資料，還是僅備份失敗的資料。 + S3 備份儲存貯體 - 這是 Amazon Data Firehose 備份資料的 S3 儲存貯體。 + S3 備份儲存貯體字首 - 這是 Amazon Data Firehose 備份資料的字首。 + S3 備份儲存貯體錯誤輸出字首 - 所有失敗的資料都會備份在此 S3 儲存貯體錯誤輸出字首中。 + 緩衝提示、壓縮和加密以進行備份 - Amazon Data Firehose 使用 Amazon S3 來備份其嘗試交付至所選目的地的所有或失敗資料。Amazon Data Firehose 會先緩衝傳入的資料，再將其交付 （備份） 至 Amazon S3。您可以選擇 1-128 MiBs 的緩衝區大小和 60–900 秒的緩衝區間隔。滿足的條件會先觸發資料交付至 Amazon S3。如果您啟用資料轉換，緩衝間隔會從 Amazon Data Firehose 收到轉換資料的時間套用到資料交付到 Amazon S3。如果交付至目的地的資料落後於寫入 Firehose 串流的資料，Amazon Data Firehose 會動態提高緩衝區大小以追上進度。此動作有助於確保所有資料都交付到目的地。 + S3 壓縮 - 選擇 GZIP、Snappy、Zip 或 Hadoop 相容 Snappy 資料壓縮，或沒有資料壓縮。Snappy、Zip 和 Hadoop 相容 Snappy 壓縮不適用於 Amazon Redshift 做為目的地的 Firehose 串流。 + S3 副檔名格式 （選用） – 為交付至 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果您啟用此功能，指定的副檔名會覆寫資料格式轉換或 S3 壓縮功能附加的預設副檔名，例如 .parquet 或 .gz。當您將此功能與資料格式轉換或 S3 壓縮搭配使用時，請確定是否已設定正確的副檔名。副檔名必須以句號 (.) 開頭，且可包含允許的字元：0-9a-z！-\$1.\$1‘()。副檔名不能超過 128 個字元。 + Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密，以加密 Amazon S3 中的交付資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型，或使用您擁有的金鑰清單中的 AWS KMS 金鑰進行加密。如果您使用 AWS KMS 金鑰加密資料，您可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊，請參閱[使用伺服器端加密搭配 AWS KMS 受管金鑰保護資料 (SSE-KMS)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)。 ## 設定緩衝提示 Amazon Data Firehose 會將記憶體中的傳入串流資料緩衝至特定大小 （緩衝大小） 和一段特定時間 （緩衝間隔），再交付至指定的目的地。當您想要將大小最佳的檔案交付至 Amazon S3，並從資料處理應用程式獲得更好的效能，或調整 Firehose 交付速率以符合目的地速度時，您會使用緩衝提示。 您可以在建立新的 Firehose 串流時設定緩衝大小和緩衝間隔，或更新現有 Firehose 串流上的緩衝大小和緩衝間隔。緩衝大小以 MBs為單位，緩衝間隔以秒為單位。不過，如果指定它們其中一個值，您也必須提供其他的值。第一個滿足的緩衝條件會觸發 Firehose 交付資料。如果您未設定緩衝值，則會使用預設值。 您可以透過 AWS 管理主控台 AWS Command Line Interface、 或 AWS SDKs 設定 Firehose 緩衝提示。對於現有的串流，您可以使用主控台中的**編輯**選項或使用 [UpdateDestination](https://docs.aws.amazon.com/firehose/latest/APIReference/API_UpdateDestination.html) API，以適合您的使用案例的值重新設定緩衝提示。對於新串流，您可以使用主控台或使用 [CreateDeliveryStream](https://docs.aws.amazon.com/firehose/latest/APIReference/API_CreateDeliveryStream.html) API 將緩衝提示設定為新串流建立的一部分。若要調整緩衝大小，請在 [CreateDeliveryStream](https://docs.aws.amazon.com/firehose/latest/APIReference/API_CreateDeliveryStream.html) 或 [UpdateDestination](https://docs.aws.amazon.com/firehose/latest/APIReference/API_UpdateDestination.html) API 的目的地特定`DestinationConfiguration`參數`IntervalInSeconds`中設定 `SizeInMBs`和 。 **注意** 緩衝提示會套用至碎片或分割區層級，而動態分割緩衝提示則會套用至串流或主題層級。 若要滿足較低的即時使用案例延遲，您可以使用零緩衝間隔提示。當您將緩衝間隔設定為零秒時，Firehose 不會緩衝資料，並在幾秒內交付資料。將緩衝提示變更為較低的值之前，請向廠商確認 Firehose 對其目的地的建議緩衝提示。 零緩衝功能僅適用於應用程式目的地，不適用於 Amazon S3 備份目的地。 零緩衝功能不適用於動態分割。 當您設定緩衝時間間隔少於 60 秒以提供較低的延遲時，Firehose 會對 S3 目的地使用分段上傳。由於 S3 目的地的分段上傳，如果您選擇緩衝時間間隔小於 60 秒，則 S3 `PUT` API 成本會稍微增加。 如需目的地特定的緩衝提示範圍和預設值，請參閱下表： | 目標 | 緩衝大小，以 MB 為單位 （括號中的預設值） | 緩衝間隔，以秒為單位 （括號中的預設值） | | --- | --- | --- | | Amazon S3 | 1-128 (5) | 0-900 (300) | | Apache Iceberg 資料表 | 1-128 (5) | 0-900 (300) | | Amazon Redshift | 1-128 (5) | 0-900 (300) | | OpenSearch Serverless | 1-100 (5) | 0-900 (300) | | OpenSearch | 1-100 (5) | 0-900 (300) | | Splunk | 1-5 (5) | 0-60 (60) | | Datadog | 1-4 (4) | 0-900 (60) | | Coralogix | 1-64 (6) | 0-900 (60) | | Dynatrace | 1-64 (5) | 0-900 (60) | | 彈性 | 1 | 0-900 (60) | | Honeycomb | 1-64 (15) | 0-900 (60) | | HTTP 端點 | 1-64 (5) | 0-900 (60) | | LogicMonitor | 1-64 (5) | 0-900 (60) | | Logzio | 1-64 (5) | 0-900 (60) | | mongoDB | 1-16 (5) | 0-900 (60) | | newRelic | 1-64 (5) | 0-900 (60) | | sumoLogic | 1-64 (1) | 0-900 (60) | | Splunk Observability Cloud | 1-64 (1) | 0-900 (60) | | Snowflake | 1 - 128 (1) | 0 - 900 (0) | # 配置進階設定 下一節包含 Firehose 串流進階設定的詳細資訊。 + 伺服器端加密 - Amazon Data Firehose 支援使用 AWS Key Management Service (AWS KMS) 的 Amazon S3 伺服器端加密，以加密 Amazon S3 中的交付資料。如需詳細資訊，請參閱[使用伺服器端加密搭配 AWS KMS 受管金鑰保護資料 (SSE-KMS)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingKMSEncryption.html)。 + 錯誤記錄 - Amazon Data Firehose 會記錄與處理和交付相關的錯誤。此外，啟用資料轉換後，它可以記錄 Lambda 調用，並將資料傳送錯誤傳送至 CloudWatch Logs。如需詳細資訊，請參閱[使用 CloudWatch Logs 監控 Amazon Data Firehose](monitoring-with-cloudwatch-logs.md)。 **重要** 選用時，強烈建議在 Firehose 串流建立期間啟用 Amazon Data Firehose 錯誤記錄。此作法可確保在記錄處理或交付失敗時，您可以存取錯誤詳細資料。 + 許可 - Amazon Data Firehose 會將 IAM 角色用於 Firehose 串流所需的所有許可。您可以選擇在自動指派必要許可的情況下建立新的角色，或選擇為 Amazon Data Firehose 建立的現有角色。此角色用於授予 Firehose 對各種服務的存取權，包括 S3 儲存貯體、 AWS KMS 金鑰 （如果啟用資料加密） 和 Lambda 函數 （如果啟用資料轉換）。主控台可能會建立具有預留位置的角色。如需詳細資訊，請參閱[什麼是 IAM？](https://docs.aws.amazon.com/IAM/latest/UserGuide/introduction.html)。 **注意** IAM 角色 （包括預留位置） 是根據您在建立 Firehose 串流時選擇的組態所建立。如果您對 Firehose 串流來源或目的地進行任何變更，您必須手動更新 IAM 角色。 + 標籤 - 您可以新增標籤來組織 AWS 資源、追蹤成本和控制存取。 如果您在 `CreateDeliveryStream`動作中指定標籤，Amazon Data Firehose 會對`firehose:TagDeliveryStream`動作執行額外的授權，以驗證使用者是否具有建立標籤的許可。如果您未提供此許可，使用 IAM 資源標籤建立新 Firehose 串流的請求會失敗，`AccessDeniedException`如下所示。 ``` AccessDeniedException User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy. ``` 下列範例示範的政策可讓使用者建立 Firehose 串流並套用標籤。 選擇備份和進階設定後，請檢閱您的選擇，然後選擇**建立 Firehose 串流**。 新的 Firehose 串流在可用之前，需要幾分鐘處於**建立**狀態。您的 Firehose 串流處於**作用中**狀態後，您就可以開始從生產者傳送資料到該串流。