Amazon Bedrock ナレッジベースのウェブページをクロールする

Amazon Bedrock アクセス許可を持つ IAM ロールを使用して AWS Management Console にサインインし、https://console.aws.amazon.com/bedrock/ で Amazon Bedrock コンソールを開きます。

左側のナビゲーションペインで [ナレッジベース] を選択します。

[ナレッジベース] セクションで、[ナレッジベースを作成] を選択します。

ナレッジベースの詳細を入力します。

1. ナレッジベース名と説明 (オプション) を入力します。

2. ナレッジベースの作成に必要なアクセス許可の AWS Identity and Access Management ロールを指定します。

   注記

   必要なすべてのアクセス許可を持つ IAM ロールは、ナレッジベースを作成するためのコンソール手順の一部として作成できます。ナレッジベースを作成するステップを完了すると、必要なすべてのアクセス許可を持つ IAM ロールが特定のナレッジベースに適用されます。

3. ナレッジベースに割り当てるタグを作成します。

次のセクションに移動して、データソースを設定します。

データソースとしてウェブクローラーを選択し、設定の詳細を指定します。

(オプション) デフォルトのデータソース名を変更し、説明を入力します。

クロールする URL のソース URL を指定します。ソース URL の追加を選択すると、最大 9 つの URL を追加できます。ソース URL を提供することで、そのドメインをクロールする権限があることを確認することになります。

詳細設定を確認します。デフォルトで選択された設定をオプションで変更できます。

KMS key 設定では、カスタムキーを選択するか、デフォルトのデータ暗号化キーを使用できます。

データを埋め込みに変換する際、デフォルトで、Amazon Bedrock は AWS が所有および管理するキーを使用して一時データを暗号化します。独自の KMS キーを使用できます。詳細については、「データインジェスト時の一時データストレージの暗号化」を参照してください。

データ削除ポリシーの設定では、次のいずれかを選択できます。

ソース URL をクローリングする範囲 のオプションを選択します。

クローリング速度の最大スロットリング を入力します。ホストごとに 1 分あたり 1～300 URL を取り込みます。クローリング速度が高いほど負荷は増加しますが、所要時間は短くなります。

URL 正規表現パターン (オプション) では、ボックスに正規表現パターンを入力して、包含パターンまたは除外パターンを追加できます。[新しいパターンを追加する] を選択すると、包含および除外フィルターパターンをそれぞれ最大 25 個追加できます。包含パターンと除外パターンは、適用範囲に従ってクロールされます。競合がある場合、除外パターンが優先されます。

デフォルトまたはカスタマイズされたチャンキングおよび解析設定を選択します。

1. カスタム設定を選択した場合は、次のいずれかのチャンキングオプションを選択します。

   • 固定サイズのチャンキング: コンテンツは、設定されたおおよそのトークンサイズのテキストのチャンクに分割されます。チャンク内のトークン数の上限と、連続するチャンク間の重複率を設定できます。

   • デフォルトのチャンキング: コンテンツは最大 300 トークンのテキストのチャンクに分割されます。1 つのドキュメントまたはコンテンツの一部に含まれるトークンが 300 個未満の場合、ドキュメントはそれ以上分割されません。

   • 階層的チャンキング: 親子チャンクのネストされた構造に整理されたコンテンツ。親チャンクトークンの最大サイズと子チャンクトークンの最大サイズを設定します。連続する親チャンク間および連続する子チャンク間で重複するトークンの絶対数も設定できます。

   • セマンティックチャンキング: 意味的に似たテキストチャンクまたは文のグループに整理されたコンテンツ。対象文/現在文を囲む文をグループ化するための文の最大数を設定します (バッファサイズ)。また、テキストを意味のあるチャンクに分割するためのブレークポイントパーセンタイルしきい値も設定します。セマンティックチャンキングは基盤モデルを使用します。基盤モデルのコストの詳細については、「Amazon Bedrock の料金」を参照してください。

   • チャンキングなし: 各ドキュメントは 1 つのテキストチャンクとして扱われます。ドキュメントを別々のファイルに分割して前処理することをお勧めします。

   注記

   データソースの作成後は、チャンキング戦略を変更することはできません。

2. Amazon Bedrock の基盤モデルをドキュメントに使用して、標準テキスト以上のものを解析できます。例えば、ドキュメント内の表形式データを、構造がそのままの状態で解析できます。基盤モデルのコストの詳細については、「Amazon Bedrock の料金」を参照してください。

3. AWS Lambda 関数を使用してチャンキング戦略をカスタマイズし、ドキュメントメタデータ属性/フィールドの処理方法と取り込み方法を選択できます。Lambda 関数の入力と出力の Amazon S3 バケットの場所を指定します。

次のセクションに移動して、ベクトルストアを設定します。

データをベクトル埋め込みに変換するモデルを選択します。

Amazon Bedrock が埋め込みを保存、更新、および管理できるようにベクトルストアを作成します。新しいベクトルストアを簡単に作成することも、作成済みのサポートされているベクトルストアから選択することもできます。新しいベクトルストアを作成すると、Amazon OpenSearch Serverless ベクトル検索コレクションと、必須フィールドを含むインデックスが設定されます。サポートされているベクトルストアから選択する場合は、ベクトルフィールド名とメタデータフィールド名をマッピングする必要があります。

次のセクションに移動して、ナレッジベース設定を確認します。

ナレッジベースの詳細を確認します。次に進みナレッジベースを作成する前に、任意のセクションを編集できます。