為您的 Amazon 基岩知識庫抓取網頁

登入 AWS Management Console 使用具有 Amazon 基岩許可的IAM角色，並在以下位置打開 Amazon 基岩控制台。https://console.aws.amazon.com/bedrock/

在左側導覽窗格中，選取 [知識庫]。

在 [知識庫] 區段中，選取 [建立知識庫]。

提供知識庫詳細資料。

1. 提供知識庫名稱和可選描述。

2. 提供 AWS Identity and Access Management 角色，用於建立知識庫所需的必要存取權限。

   注意

   所以此 IAM 可以為您建立具有所有必要權限的角色，作為建立知識庫的主控台步驟的一部分。完成建立知識庫的步驟之後， IAM 具有所有必需權限的角色會套用至您的特定知識庫。

3. 建立您要指派給知識庫的任何標籤。

轉到下一節以配置您的數據源。

選擇「Web 爬行者程式」作為您的資料來源，並提供組態詳細資訊。

(選擇性) 變更預設資料來源名稱並輸入「說明」。

提供URLs您要抓取URLs的來源。您可以選取「新增來源」，最多新增 9 個額外URLs的項目URLs。透過提供來源URL，即表示您確認您已獲得編目其網域的授權。

檢查進階設定。您可以選擇性地變更預設選取的設定。

用於 KMS key 設定時，您可以選擇自訂金鑰或使用預設提供的資料加密金鑰。

將數據轉換為嵌入時， Amazon Bedrock 使用密鑰加密您的臨時數據 AWS 擁有和管理，默認情況下。您可以使用自己的KMS密鑰。如需詳細資訊，請參閱資料擷取期間的暫時性資料儲存加密。

對於資料刪除原則設定，您可以選擇下列其中一項：

選取編目來源URLs範圍的選項。

輸入編目速度的最大節流。URLs每台主機每分鐘內擷取 1 到 300 URLs 之間。較高的爬網速度會增加負載，但所花費的時間更少。

對於URL正則表達式模式（可選），您可以通過在框中輸入正則表達式模式來添加包含模式或排除模式。您最多可以新增 25 個包含和 25 個排除濾鏡模式，方法是選取 [新增模式]。包含和排除模式會根據您的範圍進行編目。如果發生衝突，排除模式優先。

選擇預設或自訂的區塊和剖析組態。

1. 如果您選擇自訂設定，請選取下列其中一個區塊選項：

   • 固定大小的塊：內容拆分為您設置的近似令牌大小的文本塊。您可以設定不得超過區塊的記號數目上限，以及連續區塊之間的重疊百分比。

   • 默認塊：內容分割成多達 300 個令牌的文本塊。如果單一文件或內容片段包含少於 300 個標記，則不會進一步分割文件。

   • 分層塊：內容組織成父子塊的嵌套結構。您可以設置最大父塊令牌大小和最大子塊令牌大小。您也可以設定連續父區塊與連續子區塊之間重疊 Token 的絕對數目。

   • 語義塊：內容組織成語義相似的文本塊或句子組。您可以將目標/當前句子周圍的最大句子數設置為組合在一起（緩衝區大小）。您也可以設定中斷點百分位數閾值，以將文字分割成有意義的區塊。語義塊使用基礎模型。檢視 Amazon Bedrock 定價基礎模型的成本信息。

   • 沒有區塊：每個文檔被視為一個單一的文本塊。您可能希望通過將文檔拆分為單獨的文件來預處理它們。

   注意

   建立資料來源之後，就無法變更資料塊化策略。

2. 您可以選擇使用 Amazon Bedrock解析文檔以解析比標準文本更多的基礎模型。例如，您可以在文件中剖析表格式資料，但其結構完整無缺。檢視 Amazon Bedrock 定價基礎模型的成本信息。

3. 您可以選擇使用 AWS Lambda 用於自定義分塊策略以及如何處理和攝取文檔元數據屬性/字段的功能。提供 Amazon S3 Lambda 函數輸入和輸出的值區位置。

轉到下一節以配置向量存儲。

選擇將資料轉換為向量嵌入的模型。

建立向量存放區以允許 Amazon 基岩存放、更新和管理嵌入。您可以快速建立新的向量存放區，或從已建立的支援向量存放區中進行選取。如果您建立新的向量存放區，系統會為您設定 Amazon OpenSearch 無伺服器向量搜尋集合和索引，其中包含必要欄位。如果您從支援的向量存放區中選取，則必須對應向量欄位名稱和中繼資料欄位名稱。

移至下一節以檢閱您的知識庫組態。

檢查您的知識庫的詳細信息。您可以在繼續前進並創建知識庫之前編輯任何部分。