使用 Amazon Bedrock 知識庫建置 RAG 應用程式

建立本機目錄並下載範例 PDFs。

$ mkdir -p ~/kb-pdfs && cd ~/kb-pdfs
curl -sSL -o aws-overview.pdf https://d1.awsstatic.com/whitepapers/aws-overview.pdf
curl -sSL -o wellarchitected-framework.pdf https://docs.aws.amazon.com/pdfs/wellarchitected/latest/framework/wellarchitected-framework.pdf
curl -sSL -o s3-userguide.pdf https://docs.aws.amazon.com/pdfs/AmazonS3/latest/userguide/s3-userguide.pdf

將每個檔案上傳至存取點。將access-point-alias取代為您的存取點別名 （例如 my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias)。您可以在 Amazon FSx 主控台中找到磁碟區連接的 Amazon S3 存取點下的別名，或執行 aws fsx describe-s3-access-point-attachments。

$ for f in *.pdf; do
    aws s3 cp "$f" "s3://access-point-alias/$f"
done

驗證登陸磁碟區的檔案。

$ aws s3 ls s3://access-point-alias/

建立 Amazon S3 向量儲存貯體。向量儲存貯體名稱遵循與標準 Amazon S3 儲存貯體相同的全域唯一性規則。本教學課程使用 fsxn-kb-vectors；以唯一名稱取代 。

$ aws s3vectors create-vector-bucket --vector-bucket-name fsxn-kb-vectors

在儲存貯體中建立向量索引。索引維度必須符合內嵌模型的輸出維度； Titan Text Embeddings v2 輸出 1024 個維度。nonFilterableMetadataKeys 設定會將 Bedrock 中繼資料欄位標示為不可篩選，使它們不會超出每個向量 2 KB 的可篩選中繼資料限制。

$ aws s3vectors create-index --vector-bucket-name fsxn-kb-vectors \
    --index-name bedrock-kb-index \
    --dimension 1024 --distance-metric cosine --data-type float32 \
    --metadata-configuration '{"nonFilterableMetadataKeys":["AMAZON_BEDROCK_METADATA","AMAZON_BEDROCK_TEXT"]}'

在回應indexArn中記下 ；您可以在 中使用它步驟 4：建立知識庫和資料來源。

開啟位於 https://console.aws.amazon.com/bedrock/ 的 Amazon Bedrock 主控台。

在左側導覽窗格中，選擇知識庫，然後選擇建立知識庫。

在知識庫詳細資訊下，輸入名稱 （例如 fsxn-kb) 和描述。

在 IAM 許可下，選擇建立並使用新的服務角色。

針對資料來源，選擇 Amazon S3，然後選擇下一步。

輸入資料來源名稱 （例如 fsxn-s3ap-source)。

對於 S3 URI，輸入 s3:// 後面接著您的存取點別名，例如 s3://my-kb-ap-a1b2c3d4e5f6g7h8i9j0kl1mnop2uuse1a-ext-s3alias。主控台不會區分儲存貯體名稱和此欄位中的存取點別名；存取點別名會依原狀接受。

選擇下一步。

在內嵌模型下，選擇 Titan Text Embeddings v2。

在向量資料庫中，選擇快速建立新的向量存放區，然後選取 Amazon S3 向量。選擇下一步。

檢閱組態，然後選擇建立知識庫。知識庫可能需要幾分鐘的時間才能建立。

建立知識庫。將預留位置取代為您的值。indexArn 是您在步驟 2 中建立的 Amazon S3 向量索引的 ARN。

$ aws bedrock-agent create-knowledge-base --name fsxn-kb \
    --role-arn arn:aws:iam::account-id:role/fsxn-kb-role \
    --knowledge-base-configuration '{
        "type":"VECTOR",
        "vectorKnowledgeBaseConfiguration":{
            "embeddingModelArn":"arn:aws:bedrock:region::foundation-model/amazon.titan-embed-text-v2:0"
        }
    }' \
    --storage-configuration '{
        "type":"S3_VECTORS",
        "s3VectorsConfiguration":{
            "indexArn":"index-arn"
        }
    }'

記下回應中的 knowledgeBaseId。

建立資料來源。使用 格式，將 Amazon S3 存取點別名做為 bucketArn 欄位中的儲存貯體名稱傳遞arn:aws:s3:::access-point-alias。

$ aws bedrock-agent create-data-source \
    --knowledge-base-id knowledge-base-id \
    --name fsxn-s3ap-source \
    --data-source-configuration '{
        "type":"S3",
        "s3Configuration":{"bucketArn":"arn:aws:s3:::access-point-alias"}
    }'

記下回應中的 dataSourceId。

在 Amazon Bedrock 主控台中，開啟您的知識庫。

在資料來源區段中，選取您的資料來源，然後選擇同步。

等待同步狀態顯示就緒。

啟動擷取任務。

$ aws bedrock-agent start-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id

記下回應中的 ingestionJobId。

輪詢任務直到完成。

$ aws bedrock-agent get-ingestion-job \
    --knowledge-base-id knowledge-base-id \
    --data-source-id data-source-id \
    --ingestion-job-id ingestion-job-id

status 欄位會從 轉換為 IN_PROGRESS COMPLETE。statistics 欄位會顯示已掃描和編製索引的文件數量。

在 Amazon Bedrock 主控台中，開啟您的知識庫。

選擇測試知識庫。

在產生回應下，選取文字產生模型 （例如 Nova Lite)。

輸入問題，例如 What are the pillars of the AWS Well-Architected Framework? ，然後選擇執行。答案會顯示引文參考，連結至 Amazon S3 存取點中的來源文件。