Amazon Bedrock ナレッジベースを使用して RAG アプリケーションを構築する

ローカルディレクトリを作成し、サンプル PDFs。

$ mkdir -p ~/kb-pdfs && cd ~/kb-pdfs
curl -sSL -o aws-overview.pdf https://d1.awsstatic.com/whitepapers/aws-overview.pdf
curl -sSL -o wellarchitected-framework.pdf https://docs.aws.amazon.com/pdfs/wellarchitected/latest/framework/wellarchitected-framework.pdf
curl -sSL -o s3-userguide.pdf https://docs.aws.amazon.com/pdfs/AmazonS3/latest/userguide/s3-userguide.pdf

各ファイルをアクセスポイントにアップロードします。access-point-alias をアクセスポイントエイリアス (例: ) に置き換えますmy-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias。エイリアスは、ボリュームのアタッチされた Amazon S3 アクセスポイント、または を実行して、Amazon FSx コンソールで確認できますaws fsx describe-s3-access-point-attachments。

$ for f in *.pdf; do
    aws s3 cp "$f" "s3://access-point-alias/$f"
done

ファイルがボリュームに送信されたことを確認します。

$ aws s3 ls s3://access-point-alias/

Amazon S3 ベクトルバケットを作成します。ベクトルバケット名は、標準の Amazon S3 バケットと同じグローバル一意性ルールに従います。このチュートリアルでは、 を使用しますfsxn-kb-vectors。 を一意の名前に置き換えます。

$ aws s3vectors create-vector-bucket --vector-bucket-name fsxn-kb-vectors

バケットにベクトルインデックスを作成します。インデックスディメンションは埋め込みモデルの出力ディメンションと一致する必要があります。Titan Text Embeddings v2 は 1024 ディメンションを出力します。nonFilterableMetadataKeys この設定では、Bedrock メタデータフィールドをフィルタリング不可としてマークし、ベクトルごとのフィルタリング可能なメタデータ制限の 2 KB から除外します。

$ aws s3vectors create-index --vector-bucket-name fsxn-kb-vectors \
    --index-name bedrock-kb-index \
    --dimension 1024 --distance-metric cosine --data-type float32 \
    --metadata-configuration '{"nonFilterableMetadataKeys":["AMAZON_BEDROCK_METADATA","AMAZON_BEDROCK_TEXT"]}'

レスポンスindexArnの に注意してください。 で使用しますステップ 4: ナレッジベースとデータソースを作成する。

Amazon Bedrock コンソール (https://console.aws.amazon.com/bedrock/) を開きます。

左側のナビゲーションペインで、ナレッジベースを選択し、ナレッジベースの作成を選択します。

ナレッジベースの詳細に、名前 ( などfsxn-kb) と説明を入力します。

IAM アクセス許可で、新しいサービスロールを作成して使用します。

データソースで、Amazon S3 を選択し、次へを選択します。

データソース名 ( などfsxn-s3ap-source) を入力します。

S3 URI の場合は、「」と入力s3://し、その後にアクセスポイントエイリアス、例えば「」を入力しますs3://my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias。コンソールは、このフィールドでバケット名とアクセスポイントエイリアスを区別しません。アクセスポイントエイリアスはそのまま受け入れられます。

[次へ] を選択します。

埋め込みモデルで、Titan Text Embeddings v2 を選択します。

「ベクトルデータベース」で、「新しいベクトルストアのクイック作成」を選択し、Amazon S3 Vectors」を選択します。[次へ] を選択します。

設定を確認し、ナレッジベースの作成を選択します。ナレッジベースの作成には数分かかる場合があります。

ナレッジベースを作成します。プレースホルダーを値に置き換えます。indexArn は、ステップ 2 で作成した Amazon S3 ベクトルインデックスの ARN です。

$ aws bedrock-agent create-knowledge-base --name fsxn-kb \
    --role-arn arn:aws:iam::account-id:role/fsxn-kb-role \
    --knowledge-base-configuration '{
        "type":"VECTOR",
        "vectorKnowledgeBaseConfiguration":{
            "embeddingModelArn":"arn:aws:bedrock:region::foundation-model/amazon.titan-embed-text-v2:0"
        }
    }' \
    --storage-configuration '{
        "type":"S3_VECTORS",
        "s3VectorsConfiguration":{
            "indexArn":"index-arn"
        }
    }'

レスポンス内の knowledgeBaseId を書き留めます。

データソースを作成します。フォーム を使用して、Amazon S3 アクセスポイントエイリアスを bucketArnフィールドのバケット名として渡しますarn:aws:s3:::access-point-alias。

$ aws bedrock-agent create-data-source \
    --knowledge-base-id knowledge-base-id \
    --name fsxn-s3ap-source \
    --data-source-configuration '{
        "type":"S3",
        "s3Configuration":{"bucketArn":"arn:aws:s3:::access-point-alias"}
    }'

レスポンス内の dataSourceId を書き留めます。

Amazon Bedrock コンソールで、ナレッジベースを開きます。

データソースセクションで、データソースを選択し、同期を選択します。

同期ステータスが準備完了を表示するまで待ちます。

取り込みジョブを開始します。

$ aws bedrock-agent start-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id

レスポンス内の ingestionJobId を書き留めます。

ジョブが完了するまでポーリングします。

$ aws bedrock-agent get-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id \
    --ingestion-job-id ingestion-job-id

status フィールドは から IN_PROGRESSに移行しますCOMPLETE。statistics フィールドには、スキャンおよびインデックス作成されたドキュメントの数が表示されます。

Amazon Bedrock コンソールで、ナレッジベースを開きます。

ナレッジベースのテストを選択します。

「レスポンスの生成」で、テキスト生成モデル (Nova Lite など) を選択します。

などの質問を入力しWhat are the pillars of the AWS Well-Architected Framework?、実行を選択します。回答には、Amazon S3 アクセスポイントのソースドキュメントにリンクする引用参照が表示されます。