建立 Amazon EventBridge 管道 - Amazon EventBridge
指定來源設定篩選定義擴充設定目標規劃管道設定驗證組態參數

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

建立 Amazon EventBridge 管道

EventBridge 管道可讓您在來源和目標之間建立 point-to-point 整合，包括進階事件轉換和擴充。若要建立 EventBridge 管道，請執行下列步驟：

  1. 指定來源

  2. 設定事件篩選 (選用)

  3. 定義事件擴充 (選用)

  4. 設定目標

  5. 規劃管道設定

如需有關如何使用 建立管道的資訊 AWS CLI，請參閱 AWS CLI命令參考 中的建立管道。

指定來源

若要開始，請指定管道接收事件的來源。

使用控制台指定管道來源的步驟

  1. 在 開啟 Amazon EventBridge 主控台https://console.aws.amazon.com/events/。

  2. 在導覽窗格中，選擇管道。

  3. 選擇建立管道。

  4. 輸入管道的名稱。

  5. (選用) 輸入管道的描述。

  6. 在建立管道頁籤上，針對來源，選擇要為此管指定的來源類型，然後規劃來源。

    組態屬性會因您選擇的來源類型而有所不同：

    Confluent
    若要將 Confluent Cloud 串流設定為來源，請使用 主控台

    1. 針對來源 ，選擇 Confluent Cloud 。

    2. 針對引導伺服器，輸入您的經紀人的 host:port 對地址。

    3. 在主題名稱中，輸入管道將從中讀取的主題名稱。

    4. （選用） 針對 VPC，選擇您想要VPC的 。然後，針對VPC子網路 ，選擇所需的子網路。針對VPC安全群組 ，選擇安全群組。

    5. 對於身分驗證 - 選用 ，開啟使用身分驗證並執行下列動作：

      1. 針對驗證方法，請選擇驗證類型。

      2. 針對秘密金鑰，請選擇秘密金鑰。

      如需詳細資訊，請參閱 Confluent 文件中的驗證至 Confluent Cloud 資源。

    6. (選用) 針對其他設定，請執行下列動作：

      1. 針對起始位置，選擇下列的一或多個選項：

        • 最新：使用碎片中的最新記錄開始讀取串流。

        • 修剪水平線：使用碎片中最後一個未修剪的記錄開始讀取串流。這是碎片中最古老的記錄。

      2. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      3. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

    DynamoDB

    1. 針對來源，選擇 DynamoDB。

    2. 針對 DynamoDB 串流，請選擇您要用作來源的串流。

    3. 針對起始位置，選擇下列的一或多個選項：

      • 最新：使用碎片中的最新記錄開始讀取串流。

      • 修剪水平線：使用碎片中最後一個未修剪的記錄開始讀取串流。這是碎片中最古老的記錄。

    4. (選用) 針對其他設定，請執行下列動作：

      1. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      2. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

      3. 針對每個碎片的並行批次 - 選用 ，輸入可同時讀取的相同碎片中的批次數。

      4. 針對部份批次料號失敗時，請選擇下列項目：

        • AUTOMATIC_BISECT – 將每個批次減半，並每半次重試一次，直到處理所有記錄，或批次中仍有一則失敗訊息。

        注意

        如果您未選擇 AUTOMATIC_BISECT，您可以傳回特定失敗的記錄，而且只會重試這些記錄。

    Kinesis
    若要使用主控台設定 Kinesis 來源

    1. 針對來源，選擇 Kinesis。

    2. 針對 Kinesis 串流，請選擇您要用作來源的串流。

    3. 針對起始位置，選擇下列的一或多個選項：

      • 最新：使用碎片中的最新記錄開始讀取串流。

      • 修剪水平線：使用碎片中最後一個未修剪的記錄開始讀取串流。這是碎片中最古老的記錄。

      • 在時間戳記：從指定的時間開始讀取串流。在時間戳記 下，使用 YYYY/MM/DD 和 hh：mm：ss 格式輸入資料和時間。

    4. (選用) 針對其他設定，請執行下列動作：

      1. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      2. (選用) 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

      3. 針對每個碎片的並行批次 - 選用 ，輸入可同時讀取的相同碎片中的批次數。

      4. 針對部份批次料號失敗時，請選擇下列項目：

        • AUTOMATIC_BISECT – 將每個批次減半，並每半次重試，直到處理所有記錄，或批次中仍有一則失敗訊息。

        注意

        如果您未選擇 AUTOMATIC_BISECT，您可以傳回特定失敗的記錄，而且只會重試這些記錄。

    Amazon MQ
    若要使用主控台設定 Amazon MQ 來源

    1. 針對來源，選擇 Amazon MQ。

    2. 針對 Amazon MQ 中介，請選擇您要用作來源的串流。

    3. 在佇列名稱中，輸入管道將從中讀取的佇列名稱。

    4. 對於身分驗證方法 ，選擇 BASIC_AUTH。

    5. 針對秘密金鑰，請選擇秘密金鑰。

    6. (選用) 針對其他設定，請執行下列動作：

      1. 針對批次大小 - 選用，輸入每個批次的最大訊息數。預設值為 100.

      2. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

    Amazon MSK
    使用主控台設定 Amazon MSK來源

    1. 針對來源 ，選擇 Amazon MSK。

    2. 針對 Amazon MSK叢集 ，選擇您要使用的叢集。

    3. 在主題名稱中，輸入管道將從中讀取的主題名稱。

    4. (選用) 針對取用者群組 ID，輸入要加入的取用者群組 ID。

    5. (選用) 針對驗證 - 選用，請開啟使用驗證並執行下列動作：

      1. 針對驗證方法，選擇您想要的類型。

      2. 針對秘密金鑰，請選擇秘密金鑰。

    6. (選用) 針對其他設定，請執行下列動作：

      1. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      2. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

      3. 針對起始位置，選擇下列的一或多個選項：

        • 最新：使用碎片中最新記錄開始閱讀主題。

        • 修剪水平線：使用碎片中最後一個未修剪的記錄開始讀取主題。這是碎片中最古老的記錄。

          注意

          針對 Apache Kafka，修剪地平線與最早是相同的。

    Self managed Apache Kafka
    若要使用主控台設定自我管理的 Apache Kafka 來源

    1. 針對源，選擇自我管理 Apache Kafka。

    2. 針對引導伺服器，輸入您的經紀人的 host:port 對地址。

    3. 在主題名稱中，輸入管道將從中讀取的主題名稱。

    4. （選用） 針對 VPC，選擇您想要VPC的 。然後，針對VPC子網路 ，選擇所需的子網路。針對VPC安全群組 ，選擇安全群組。

    5. (選用) 針對驗證 - 選用，請開啟使用驗證並執行下列動作：

      1. 針對驗證方法，請選擇驗證類型。

      2. 針對秘密金鑰，請選擇秘密金鑰。

    6. (選用) 針對其他設定，請執行下列動作：

      1. 針對起始位置，選擇下列的一或多個選項：

        • 最新：使用碎片中的最新記錄開始讀取串流。

        • 修剪水平線：使用碎片中最後一個未修剪的記錄開始讀取串流。這是碎片中最古老的記錄。

      2. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      3. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

    Amazon SQS
    使用主控台設定 Amazon SQS來源

    1. 對於 Source (來源)，請選擇 SQS。

    2. 針對SQS佇列 ，選擇您要使用的佇列。

    3. (選用) 針對其他設定，請執行下列動作：

      1. 針對批次大小 - 選用，輸入每個批次的最大記錄數。預設值為 100.

      2. 若為批次視窗 - 選用，請輸入在繼續之前收集記錄的秒數上限。

設定事件篩選 (選用)

您可以將篩選新增至管道，以便只將一部分事件從來源傳送至目標。

若要使用主控台設定篩選條件

  1. 選擇篩選。

  2. 在範例事件 - 選用下，您會看到可用來建立事件模式的範例事件，或者您可以選擇輸入您自己的事件來輸入您自己的事件。

  3. 在事件模式底下，輸入您要用來篩選事件的事件模式。如需建構篩選條件的詳細資訊，請參閱 Amazon EventBridge 管道中的事件過濾。

    下列範例事件模式只會傳送城市欄位中值為西雅圖的事件。

    {
  "data": {
    "City": ["Seattle"]
  }
}

現在正在篩選事件，您可以為管道新增選擇性的擴充和目標。

定義事件擴充 (選用)

您可以傳送事件資料以擴充 Lambda 函數、 AWS Step Functions 狀態機器、Amazon API Gateway 或API目的地。

若要選取擴充

  1. 選擇擴充。

  2. 在詳細資料下，針對服務，選取您要用於擴充的服務和相關設定。

您還可以在發送資料以進行增強之前對其進行轉換。

(選用) 定義輸入轉換器

  1. 選擇擴充輸入轉換器 - 選用。

  2. 針對範例事件/事件裝載，選擇範例事件類型。

  3. 在轉換器中，輸入轉換器語法，例如，在 "Event happened at <$.detail.field>." 中，<$.detail.field> 是範例事件中欄位的參考。您也可以按兩下範例事件中的欄位，將其新增至轉換器。

  4. 針對輸出，請確認輸出看起來像您想要的那樣。

現在資料已經過篩選和增強，您必須定義要將事件資料傳送至的目標。

設定目標

若要設定目標

  1. 選擇 Target (目標)。

  2. 在詳細資訊下，針對目標服務，選擇目標。顯示的欄位會隨您選擇的目標而異。請視需要輸入此目標類型的特定資訊。

您還可以在向目標發送資料之前對其進行轉換。

(選用) 定義輸入轉換器

  1. 選擇目標輸入轉換器 - 選用。

  2. 針對範例事件/事件裝載，選擇範例事件類型。

  3. 在轉換器中，輸入轉換器語法，例如，在 "Event happened at <$.detail.field>." 中，<$.detail.field> 是範例事件中欄位的參考。您也可以按兩下範例事件中的欄位，將其新增至轉換器。

  4. 針對輸出，請確認輸出看起來像您想要的那樣。

現在已規劃管道，請確保其設定已正確規劃。

規劃管道設定

依預設，管道處於作用中狀態，但您可以將其停用。您還可以指定管的權限、設置管道日誌和加入標籤。

規劃管道設定

  1. 選擇管道設定標籤。

  2. 根據預設，新建立的管道在建立後立即處於作用中狀態。如果要建立非作用中的管道，請在啟用下，針對啟用管道，關閉作用中。

  3. 在權限下，針對執行角色，執行下列其中一項作業：

    1. 若要為此管道 EventBridge 建立新的執行角色，請選擇為此特定資源建立新的角色。在角色名稱底下，您可以選擇性地編輯角色名稱。

    2. 若要使用現有的角色，選擇使用現有的角色。在角色名稱下，選擇角色。

  4. （選用） 如果您已將 Kinesis 或 DynamoDB 串流指定為管道來源，則可以設定重試政策和無效字母佇列 （DLQ）。

    針對重試政策和無效字母佇列 - 選用，請執行下列動作：

    在重試政策下，執行下列操作：

    1. 如果您想開啟重試政策，請開啟重試。根據預設，新建立的管道未開啟重試原則。

    2. 針對事件的最長存留期，輸入介於一分鐘 (00:01) 到 24 小時 (24:00) 之間的某個值。

    3. 針對重試嘗試，輸入介於 0 到 185 之間的某個數。

    4. 如果您想要使用無效字母佇列 （DLQ），請開啟無效字母佇列 ，選擇您選擇的方法，然後選擇您要使用的佇列或主題。根據預設，新建立的管道不會使用 DLQ。

  5. 選擇加密管道資料時 EventBridge 要使用 KMS key 的 。

    如需 EventBridge 如何使用 的詳細資訊 KMS keys，請參閱 靜態加密。

    • 選擇使用 AWS 擁有的金鑰 EventBridge 來使用 加密資料 AWS 擁有的金鑰。

      AWS 擁有的金鑰 這是 KMS key EventBridge 擁有和管理用於多個 AWS 帳戶的 。一般而言，除非您需要稽核或控制保護資源的加密金鑰，否則 AWS 擁有的金鑰 是不錯的選擇。

      此為預設值。

    • 選擇使用 客戶受管金鑰 EventBridge ，使用您指定或建立 客戶受管金鑰 的 來加密資料。

      客戶受管金鑰 KMS keys 位於您建立、擁有和管理的 AWS 帳戶中。您可以完全控制這些 KMS keys。

      1. 指定現有的 客戶受管金鑰，或選擇建立新的 KMS key。

        EventBridge 會顯示金鑰狀態，以及與指定 相關聯的任何金鑰別名 客戶受管金鑰。

  6. (選用) 在記錄 - 選用底下，您可以設定 EventBridge 管道如何將日誌資訊傳送至支援的服務，包括如何設定這些日誌。

    如需記錄管道日誌的詳細資訊，請參閱 記錄 Amazon EventBridge 管道性能。

    CloudWatch 根據預設，日誌會選取為日誌目的地，ERROR日誌層級也是。因此，根據預設， EventBridge Pipes 會建立一個新 CloudWatch 日誌群組，將包含詳細資訊ERROR層級的日誌記錄傳送到其中。

    若要讓 EventBridge 管道將日誌記錄傳送至任何支援的日誌目的地，請執行下列動作：

    1. 在日誌 - 選用底下，選擇要傳送日誌檔記錄的目的地。

    2. 針對日誌層級 ，選擇要 EventBridge 包含在日誌記錄中的資訊層級。預設會選取 ERROR 日誌層級。

      如需詳細資訊，請參閱指定 EventBridge 管道記錄層級。

    3. 如果您想要在日誌記錄中包含事件承載資訊和服務請求和回應資訊 EventBridge ，請選取包含執行資料。

      如需詳細資訊，請參閱在 EventBridge 管道記錄中包含執行資料。

    4. 設定您選取的每個日誌目的地：

      對於 CloudWatch Logs 日誌，在CloudWatch 日誌下執行下列動作：

      • 對於CloudWatch 日誌群組 ，選擇是否 EventBridge 建立新的日誌群組，或者您可以選取現有的日誌群組或指定現有日誌群組ARN的 。

      • 針對新的日誌群組，請視需要編輯日誌群組名稱。

      CloudWatch 預設會選取 日誌。

      對於 Firehose 串流日誌，在Firehose 串流日誌 下，選取 Firehose 串流。

      對於 Amazon S3 日誌，在 S3 日誌下執行下列操作：

      • 輸入儲存貯體的名稱來作為日誌目的地使用。

      • 輸入儲存貯體擁有者的帳戶 AWS ID。

      • 輸入 EventBridge 建立 S3 物件時要使用的任何首碼文字。

        如需詳細資訊，請參閱《Amazon Simple Storage Service 使用者指南》中的利用首字組織物件。

      • 選擇 EventBridge 您希望格式化 S3 日誌記錄的方式：

  7. (選用) 在標籤 - 選用底下選擇新增標籤並為規則輸入一個或多個標籤。如需詳細資訊，請參閱在 Amazon 中標記資源 EventBridge。

  8. 選擇建立管道。

驗證組態參數

建立管道後， 會 EventBridge 驗證下列組態參數：

  • IAM 角色 – 由於管道的來源無法在建立管道後變更，因此 會 EventBridge 驗證提供IAM的角色是否可以存取來源。

    注意

    EventBridge 不會對擴充或目標執行相同的驗證，因為它們可以在建立管道之後更新。

  • 批次處理 – EventBridge 確認來源的批次大小不超過目標的最大批次大小。如果是這樣， EventBridge 需要較低的批次大小。此外，如果目標不支援批次處理，您就無法 EventBridge 設定來源的批次處理。

  • 擴充： EventBridge 驗證API閘道和API目的地擴充的批次大小為 1，因為僅支援 1 的批次大小。