DynamoDB 零 -ETL 與 Amazon OpenSearch Service 整合 - Amazon DynamoDB

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

DynamoDB 零 -ETL 與 Amazon OpenSearch Service 整合

Amazon DynamoDB 透過 DynamoDB 擷取外掛程式提供與 Amazon OpenSearch Service 的零ETL整合。 DynamoDB OpenSearch Amazon OpenSearch Ingestion 提供完全受管、無程式碼的體驗,可將資料擷取至 Amazon OpenSearch Service。

透過 DynamoDB OpenSearch 擷取外掛程式,您可以使用一或多個 DynamoDB 資料表作為擷取至一或多個 OpenSearch 服務索引的來源。您可以從 OpenSearch 中的 Ingestion 或 DynamoDB Integrations 瀏覽並設定 DynamoDB 作為來源的 OpenSearch 擷取管道 AWS Management Console。 DynamoDB

運作方式

外掛程式使用 DynamoDB 匯出至 Amazon S3 來建立初始快照以載入 OpenSearch。載入快照後,外掛程式會使用 DynamoDB Streams,以近乎即時的方式複寫任何進一步的變更。每個項目都會在 OpenSearch 擷取中作為事件處理,並且可以使用處理器外掛程式進行修改。您可以捨棄屬性或建立複合屬性,並透過路由將其傳送至不同的索引。

您必須啟用point-in-time 復原 (PITR),才能使用匯出至 Amazon S3。您也必須啟用 DynamoDB Streams (選取新舊映像選項) 才能使用它。可以透過排除匯出設定,在不拍攝快照的情況下建立管道。

您也可以透過排除串流設定,建立僅具有快照且無更新的管道。外掛程式不會在資料表上使用讀取或寫入輸送量,因此使用時可安全,不會影響生產流量。在建立此 或其他整合之前,應考慮串流上的平行取用者數量有限制。如需其他考量,請參閱 與 DynamoDB 整合的最佳實務

對於簡單的管道,單一 OpenSearch 運算單位 (OCU) 可以每秒處理約 1 MB 的寫入。這相當於約 1000 個寫入請求單位 (WCU)。視管道的複雜性和其他因素而定,您可能會達到高於或低於此目標。

OpenSearch 擷取支援導致無法復原錯誤的事件的無效字母佇列 (DLQ)。此外,即使 DynamoDB 、管道或 Amazon OpenSearch Service 的服務中斷,管道也可以從中斷的地方繼續,而無需使用者介入。

如果中斷持續超過 24 小時,可能會導致更新遺失。不過,管道會繼續處理還原可用性時仍然可用的更新。除非處於無效字母佇列中,否則您需要進行新的索引建置,以修正因捨棄事件所造成的任何異常。

如需外掛程式的所有設定和詳細資訊,請參閱 OpenSearch Ingestion DynamoDB 外掛程式文件

透過主控台整合建立體驗

DynamoDB OpenSearch 和服務在 中具有整合的體驗 AWS Management Console,可簡化入門程序。當您完成這些步驟時,服務會自動選取 DynamoDB 藍圖,並為您新增適當的 DynamoDB 資訊。

若要建立整合,請遵循 OpenSearch Ingestion 入門指南 中的 。當您前往步驟 3:建立管道 時,請將步驟 1 和 2 取代為下列步驟:

  1. 導覽至 DynamoDB 主控台。

  2. 在左側導覽窗格中,選擇整合

  3. 選取您要複寫至 的 DynamoDB 資料表 OpenSearch。

  4. 選擇 Create (建立)。

從這裡,您可以繼續教學課程的其餘部分。

後續步驟

如需更了解 DynamoDB 如何與 OpenSearch Service 整合,請參閱以下內容: