部署串流資料向量化藍圖 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

部署串流資料向量化藍圖

本主題說明如何部署串流資料向量化藍圖。

部署串流資料向量化藍圖
  1. 確保下列資源設定正確:

    1. 佈建或無伺服器 MSK 叢集,具有一或多個包含資料的 主題。

  2. Bedrock 設定:存取所需的 Bedrock 模型。目前支援的 Bedrock 模型為:

    • Amazon Titan Embeddings G1 - Text

    • Amazon Titan 文字內嵌 V2

    • Amazon Titan Multimodal Embeddings G1

    • Cohere Embed English

    • Cohere Embed Multilingual

  3. AWS OpenSearch 集合:

    • 您可以使用佈建或無伺服器 OpenSearch Service 集合。

    • OpenSearch Service 集合必須至少有一個索引。

    • 如果您計劃使用 OpenSearch Serverless 集合,請務必建立向量搜尋集合。如需如何設定向量索引的詳細資訊,請參閱知識庫中自有向量存放區的先決條件。若要進一步了解向量化,請參閱 Amazon OpenSearch Service 的向量資料庫功能說明

      注意

      建立向量索引時,您必須使用向量欄位名稱 embedded_data

    • 如果您計劃使用 OpenSearch 佈建集合,則需要將藍圖建立的 MSF 應用程式角色 (包含 Opensearch 存取政策) 做為主要使用者新增至 OpenSearch 集合。此外,確認 OpenSearch 中的存取政策設定為「允許」動作。這是啟用精細存取控制的必要條件。

    • 或者,您可以啟用 OpenSearch 儀表板的存取以檢視結果。請參閱啟用精細存取控制

  4. 使用允許 aws:CreateStack 許可的角色登入。

  5. 前往 MSF 主控台儀表板,然後選取建立串流應用程式

  6. 選擇設定串流處理應用程式的方法中,選取使用藍圖

  7. 藍圖下拉式功能表中選取即時 AI 應用程式藍圖。

  8. 提供所需的組態。請參閱 建立頁面組態

  9. 選取部署藍圖以啟動 CloudFormation 部署。

  10. CloudFormation 部署完成後,請前往部署的 Flink 應用程式。檢查應用程式的執行期屬性。

  11. 您可以選擇變更/新增執行期屬性到您的應用程式。如需設定這些屬性的詳細資訊,請參閱執行期屬性組態

    注意

    請注意:

    如果您使用已佈建的 OpenSearch,請確保您已啟用精細存取控制

    如果您的佈建叢集是私有的,請將 https://新增至 OpenSearch 佈建的 VPC 端點 URL,然後變更為sink.os.endpoint指向此端點。

    如果您的佈建叢集是公有叢集,請確保您的 MSF 應用程式可以存取網際網路。如需詳細資訊,請參閱 >>>>>> express-brokers-publication-merge type="documentation" url="managed-flink/latest/java/vpc-internet.html" >VPC 連線的 Managed Service for Apache Flink 應用程式的網際網路和服務存取權

  12. 當您滿意所有組態後,請選取 Run。應用程式將開始執行。

  13. MSK 叢集中的幫浦訊息。

  14. 導覽至 Opensearch 叢集,然後前往 OpenSearch 儀表板。

  15. 在儀表板上,選取左側選單中的探索。您應該會看到保留的文件及其向量內嵌。

  16. 請參閱使用向量搜尋集合,了解如何使用存放在索引中的向量。

建立頁面組態

本主題說明在指定即時 AI 應用程式藍圖的組態時,要參考的建立頁面組態。

應用程式名稱

MSF 中的現有欄位,為您的應用程式提供任何名稱。

MSK 叢集

從下拉式清單中選取您在設定期間建立的 MSK 叢集。

主題

新增您在設定中建立的主題名稱 (s)。

輸入串流資料類型

如果您要提供字串輸入給 MSK 串流,請選擇字串

如果 MSK 串流中的輸入是 JSON,請選擇 JSON。在內嵌的 JSON 金鑰中,寫入輸入 JSON 中要傳送給 Bedrock 以產生內嵌的欄位名稱。

Bedrock 內嵌模型

從清單中選擇一個。請確定您擁有所選模型的模型存取權,否則堆疊可能會失敗。請參閱新增或移除對 Amazon Bedrock 基礎模型的存取權

OpenSearch 叢集

從下拉式清單中選取您建立的叢集。

OpenSearch 向量索引名稱

選取您在上述步驟中建立的向量索引。