使用 AWS CloudFormation 範本開始 Neptune-to-OpenSearch複寫 - Amazon Neptune

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 AWS CloudFormation 範本開始 Neptune-to-OpenSearch複寫

啟動您區域特有的 AWS CloudFormation 堆疊

下列每個 AWS CloudFormation 範本都會在特定 AWS 區域中建立串流消費者應用程式執行個體。若要使用 AWS CloudFormation 主控台啟動對應的堆疊,請根據您要使用的 AWS 區域,選擇下表中的其中一個啟動堆疊按鈕。

區域 檢視 在設計工具中檢視 啟動
美國東部 (維吉尼亞北部) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
美國東部 (俄亥俄) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
美國西部 (加利佛尼亞北部) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
美國西部 (奧勒岡) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
加拿大 (中部) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
南美洲 (聖保羅) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
歐洲 (斯德哥爾摩) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
歐洲 (愛爾蘭) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
歐洲 (倫敦) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
Europe (Paris) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
歐洲 (西班牙) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
歐洲 (法蘭克福) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
Middle East (Bahrain) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
中東 (UAE) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
以色列 (特拉維夫) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
非洲 (開普敦) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (香港) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (東京) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (首爾) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (新加坡) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (雅加達) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
亞太區域 (孟買) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
中國 (北京) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
中國 (寧夏) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (美國西部) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.
AWS GovCloud (美國東部) 檢視 在設計工具中檢視 Orange button labeled "Launch Stack" with an arrow icon.

Create Stack (建立堆疊) 頁面中,選擇 Next (下一步)

新增有關您正在建立的新 OpenSearch堆疊的詳細資訊

指定堆疊詳細資訊頁面提供您可以用來控制全文檢索搜尋設定的屬性和參數。

堆疊名稱 – 您正在建立的新 AWS CloudFormation 堆疊名稱。您通常可以使用預設值 NeptuneStreamPoller

Parameters (參數) 下提供下列項目:

串流取用者執行VPC位置的網路組態
  • VPC– 提供輪詢 Lambda 函數將執行VPC的 名稱。

  • List of Subnet IDs - 要建立網路界面的子網路。新增與 Neptune 叢集對應的子網路。

  • List of Security Group Ids– 提供授予來源 Neptune 資料庫叢集寫入傳入存取權IDs的安全群組。

  • List of Route Table Ids– 如果您還沒有 Amazon DynamoDB 端點VPC,則需要此項目才能在 Neptune 中建立 Amazon DynamoDB 端點。您必須提供與子網路IDs相關聯的逗號分隔路由表清單。

  • Require to create Dynamo DB VPC Endpoint - 預設為 true 的布林值。只有在 中已建立 DynamoDB 端點false時,才需要將其變更為 VPC。

  • Require to create Monitoring VPC Endpoint - 預設為 true 的布林值。只有在 中已建立監控端點false時,才需要將其變更為 VPC。

串流輪詢器
  • Application Name - 您通常可將此設定保留為預設值 (NeptuneStream)。如果使用不同的名稱,其必須是唯一的。

  • Memory size for Lambda Poller - 用來設定 Lambda 輪詢器函數可用的記憶體大小。預設值是 2,048 MB。

  • Lambda Runtime - 從 Neptune 串流擷取項目之 Lambda 函數中使用的語言。您可以將此項設為 python3.9java8

  • S3 Bucket having Lambda code artifacts - 除非您要使用從其他 S3 儲存貯體載入的自訂 Lambda 輪詢函數,否則請保留空白。

  • S3 Key corresponding to Lambda Code artifacts - 除非您要使用自訂的 Lambda 輪詢函數,否則請保留空白。

  • StartingCheckpoint – 串流輪詢器的起始檢查點。預設值為 0:0,這表示從 Neptune 串流開頭處開始。

  • StreamPollerInitialState - 輪詢器的初始狀態。預設值為 ENABLED,這表示串流複寫會在整個堆疊建立完成後立即開始。

  • Logging level for Lambda - 一般而言,會將此設定保留為預設值 INFO

  • Managed Policies for Lambda Execution - 一般而言,除非您要使用自訂的 Lambda 輪詢函數,否則請保留空白。

  • Stream Records Handler - 一般而言,除非您要為 Neptune 串流中的記錄使用自訂處理器,否則請保留空白。

  • Maximum records Fetched from Stream - 您可以使用此參數調整效能。預設值 (100) 是很好的開始。允許的上限為 10,000。數字愈大,從串流讀取記錄所需的網路呼叫就愈少,但處理記錄所需的記憶體就愈多。

  • Max wait time between two Polls (in Seconds) - 決定調用 Lambda 輪詢器輪詢 Neptune 串流的頻率。將此值設為 0 可連續輪詢。最高值為 3,600 秒 (1 小時)。預設值 (60 秒) 是很好的開始,視圖表資料變更的速度而定。

  • Maximum Continuous polling period (in Seconds) - 用來設定 Lambda 輪詢函數的逾時。應介於 5 秒到 900 秒之間。預設值 (600 秒) 是很好的開始。

  • Step Function Fallback Period– 等待輪詢器的單位數量 step-function-fallback-period,之後透過 Amazon CloudWatch Events 呼叫步驟函數,從失敗中復原。預設值值 (5 分鐘) 是很好的開始。

  • Step Function Fallback Period Unit - 用來測量前述 Step Function Fallback Period 的時間單位 (分鐘、小時、天)。通常預設值 (分鐘) 即足夠。

  • Data replication scope– 決定要複寫節點和邊緣,還是只複寫節點到 OpenSearch (這僅適用於 Gremlin 引擎資料)。預設值 (All) 通常是很好的開始。

  • Ignore OpenSearch missing document error– 用於判斷是否可以 OpenSearch 忽略 中缺少的文件錯誤的旗標。遺失文件錯誤很少發生,但如果未忽略,則需要手動介入。預設值 (True) 通常是很好的開始。

  • Enable Non-String Indexing - 要啟用或停用為沒有字串內容之欄位編製索引的旗標。如果此旗標設定為 true,非字串欄位會在 中編製索引 OpenSearch,或者如果 false,則只會編製字串欄位的索引。預設值為 true

  • Properties to exclude from being inserted into OpenSearch– 以逗號分隔的屬性清單或述詞索引鍵,以排除 OpenSearch 索引。如果此CFN參數值留空,則所有屬性索引鍵都會編製索引。

  • Datatypes to exclude from being inserted into OpenSearch– 以逗號分隔的屬性或述詞資料類型清單,從 OpenSearch 索引中排除。如果此CFN參數值保留空白,所有可安全轉換為 OpenSearch 資料類型的屬性值都會編製索引。

Neptune 串流
  • Endpoint of source Neptune Stream - (必要) 這會採用以下兩種格式之一:

    • https://your DB cluster:port/propertygraph/stream (或其別名 https://your DB cluster:port/pg/stream)。

    • https://your DB cluster:port/sparql/stream

  • Neptune Query Engine– 選擇 Gremlin 或 SPARQL。

  • Is IAM Auth Enabled?– 如果您的 Neptune 資料庫叢集正在使用IAM身分驗證,請將此參數設定為 true

  • Neptune Cluster Resource Id– 如果您的 Neptune 資料庫叢集使用IAM身分驗證,請將此參數設定為叢集資源 ID。資源 ID 和叢集 ID 不同。其改採的格式為:cluster- 加上 28 個英數字元。它可以在 Neptune 主控台的叢集詳細資訊下找到。

目標 OpenSearch 叢集
  • Endpoint for OpenSearch service– (必要) 在 中提供 OpenSearch 服務的端點VPC。

  • Number of Shards for OpenSearch Index - 預設值 (5) 通常是很好的開始。

  • Number of Replicas for OpenSearch Index - 預設值 (1) 通常是很好的開始。

  • Geo Location Fields for Mapping - 如您使用的是地理位置欄位,請在這裡列出屬性索引鍵。

警示
  • Require to create Cloud watch Alarmtrue 如果您想要為新堆疊建立 CloudWatch 警示,請將此設定為 。

  • SNS Topic ARN for Cloudwatch Alarm Notifications – 應傳送 CloudWatch 警示通知SNSARN的主題 (只有在啟用警示時才需要)。

  • Email for Alarm Notifications - 應接收警示通知的電子郵件地址 (僅在警示啟用時才需要)。

對於警示通知的目的地,您只能新增SNS、僅限電子郵件,或同時新增 SNS和電子郵件。

執行 AWS CloudFormation 範本

現在,您可以完成佈建 Neptune 串流消費者應用程式執行個體的程序,如下所示:

  1. 在 AWS CloudFormation的指定堆疊詳細資訊頁面上,選擇下一個

  2. 選項頁面上,選擇下一步

  3. 檢閱頁面上,選取第一個核取方塊以確認 AWS CloudFormation 將建立IAM資源。選取第二個核取方塊,確認新堆疊 CAPABILITY_AUTO_EXPAND

    注意

    CAPABILITY_AUTO_EXPAND 明確確認在建立堆疊時,無需事先檢閱,即可擴充巨集。使用者通常會在處理過的範本中建立變更集,以便在實際建立堆疊之前,檢閱巨集所做的變更。如需詳細資訊,請參閱 AWS CloudFormation CreateStack AWS CloudFormation API 參考 中的 API操作。

    然後選擇 Create (建立)