Amazon Bedrock 지식 기반으로 데이터 동기화 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock 지식 기반으로 데이터 동기화

지식 기반을 만든 후에는 데이터를 수집하거나 동기화하여 데이터를 쿼리할 수 있습니다. 수집을 통해 지정한 벡터 임베딩 모델 및 구성을 기반으로 데이터 소스의 원시 데이터를 벡터 임베딩으로 변환할 수 있습니다.

수집을 시작하기 전에 데이터 소스가 다음 조건을 충족하는지 확인합니다.

  • 데이터 소스에 대한 연결 정보를 구성했습니다. 데이터 소스 커넥터가 데이터 소스 리포지토리에서 데이터를 크롤링하도록 구성하려면 Supported data source connectors 섹션을 참조하세요. 지식 기반을 만드는 과정에서 데이터 소스를 구성하게 됩니다.

  • 선택한 벡터 임베딩 모델 및 벡터 저장소를 구성했습니다. 지원되는 벡터 임베딩 모델 및 지식 기반에 대한 벡터 저장소를 참조하세요. 지식 기반을 만드는 과정에서 벡터 임베딩을 구성하게 됩니다.

  • 파일이 지원되는 형식입니다. 자세한 내용은 지원되는 문서 형식을 참조하세요.

  • 파일이 AWS 일반 참조의 Amazon Bedrock endpoints and quotas에 지정된 Ingestion job file size를 초과하지 않습니다.

  • 데이터 소스에 메타데이터 파일이 포함된 경우, 다음 조건을 확인하여 메타데이터 파일이 무시되지 않도록 하세요.

    • 각 .metadata.json 파일은 연결된 소스 파일과 동일한 파일 이름과 확장자를 공유합니다.

    • 지식 기반에 대한 벡터 인덱스가 Amazon OpenSearch Serverless 벡터 스토어에 있는 경우 벡터 인덱스가 faiss 엔진으로 구성되어 있는지 확인합니다. 벡터 인덱스가 nmslib 엔진으로 구성되어 있다면 다음 중 하나를 수행해야 합니다.

    • 지식 기반에 대한 벡터 인덱스가 Amazon Aurora 데이터베이스 클러스터에 있는 경우, 수집을 시작하기 전에 인덱스의 테이블에 메타데이터 파일의 각 메타데이터 속성에 대한 열이 포함되어 있는지 확인합니다.

데이터 소스에서 파일을 추가, 수정 또는 제거할 때마다 데이터 소스를 동기화하여 지식 기반에 다시 인덱싱해야 합니다. 동기화는 증분적으로 이루어지므로 Amazon Bedrock은 마지막 동기화 이후에 추가, 수정 또는 삭제된 문서만 처리합니다.

데이터를 지식 기반에 수집하고 최신 데이터와 동기화하는 방법을 알아보려면 원하는 방법의 탭을 선택한 다음 다음 단계를 따릅니다.

Console
데이터를 지식 기반에 수집하고 최신 데이터와 동기화하는 방법

  1. 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/.

  2. 왼쪽 탐색 창에서 지식 기반을 선택합니다.

  3. 데이터 소스 섹션에서 동기화를 선택하여 데이터 수집 또는 최신 데이터 동기화를 시작합니다. 현재 진행 중인 데이터 소스 동기화를 중지하려면 중지를 선택합니다. 데이터 소스 동기화를 중지하려면 데이터 소스가 현재 동기화 중이어야 합니다. 동기화를 다시 선택하여 나머지 데이터를 수집할 수 있습니다.

  4. 데이터 모으기가 완료되면 녹색 성공 배너가 나타납니다.

    참고

    데이터 동기화가 완료된 후 새로 동기화된 데이터의 벡터 임베딩이 지식 기반에 반영되고 Amazon Aurora() 이외의 벡터 스토어를 사용하는 경우 쿼리에 사용할 수 있는 데 몇 분 정도 걸릴 수 있습니다RDS.

  5. 데이터 소스를 선택하여 동기화 기록을 볼 수 있습니다. 경고 보기를 선택하여 데이터 모으기 작업이 실패한 이유를 확인합니다.

API

데이터를 지식 기반에 수집하고 최신 데이터와 동기화하려면 Amazon Bedrock용 에이전트 빌드 시간 엔드포인트로 StartIngestionJob 요청을 보냅니다. knowledgeBaseId 및 dataSourceId를 지정합니다. StopIngestionJob 요청을 전송하여 현재 실행 중인 데이터 수집 작업을 중지할 수도 있습니다. dataSourceId, ingestionJobId, 및 knowledgeBaseId을 지정합니다. 데이터 수집을 중지하려면 데이터 수집 작업이 현재 실행 중이어야 합니다. 준비가 되면 StartIngestionJob 요청을 다시 보내 나머지 데이터를 수집할 수 있습니다.

Amazon Bedrock용 에이전트 빌드 시간 엔드포인트를 사용하여 GetIngestionJob 요청의 응답에 ingestionJobId 반환된를 사용하여 수집 작업의 상태를 추적합니다. 또한 knowledgeBaseId 및 dataSourceId를 지정합니다.

  • 수집 작업이 완료되면 응답의 status는 COMPLETE가 됩니다.

    참고

    데이터 수집이 완료된 후 Amazon Aurora() 이외의 벡터 스토어를 사용하는 경우 쿼리를 위해 새로 수집된 데이터의 벡터 임베딩을 벡터 스토어에서 사용할 수 있으려면 몇 분 정도 걸릴 수 있습니다RDS.

  • 응답의 statistics 객체는 데이터 소스의 문서 관련 수집 성공 여부에 대한 정보를 반환합니다.

또한 Amazon Bedrock용 에이전트 빌드 시간 엔드포인트로 ListIngestionJobs 요청을 전송하여 데이터 소스의 모든 수집 작업에 대한 정보를 볼 수 있습니다. https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bra-bt 데이터가 수집되는 지식 기반의 dataSourceId 및 knowledgeBaseId를 지정합니다.

  • filters 객체에서 검색할 상태를 지정하여 결과를 필터링합니다.

  • 작업이 시작된 시각 또는 sortBy 객체를 지정하여 작업 상태를 기준으로 정렬합니다. 오름차순 또는 내림차순을 지정할 수 있습니다.

  • 응답으로 반환할 최대 결과 수를 maxResults 필드에 설정할 수 있습니다. 설정한 수보다 많은 결과가 있는 경우 응답에서 nextToken이 반환되며, 이를 다른 ListIngestionJobs 요청으로 전송하여 다음 작업 배치를 확인할 수 있습니다.