Amazon Bedrock 지식 기반과 데이터 동기화 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon Bedrock 지식 기반과 데이터 동기화

지식 기반을 생성한 후에는 데이터를 수집하거나 동기화하여 데이터를 쿼리할 수 있습니다. Ingestion은 지정한 벡터 임베딩 모델 및 구성을 기반으로 데이터 소스의 원시 데이터를 벡터 임베딩으로 변환합니다.

수집을 시작하기 전에 데이터 소스가 다음 조건을 충족하는지 확인합니다.

  • 데이터 소스에 대한 연결 정보를 구성했습니다. 데이터 소스 리포지토리에서 데이터를 크롤링하도록 데이터 소스 커넥터를 구성하려면 지원되는 데이터 소스 커넥터 섹션을 참조하세요. 지식 기반 생성의 일부로 데이터 소스를 구성합니다.

  • 선택한 벡터 임베딩 모델 및 벡터 스토어를 구성했습니다. 지식 기반은 지원되는 벡터 임베딩 모델 및 벡터 스토어를 참조하세요. https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base-setup.html 지식 기반 생성의 일부로 벡터 임베딩을 구성합니다.

  • 파일은 지원되는 형식으로 되어 있습니다. 자세한 내용은 문서 형식 지원을 참조하세요.

  • 파일은 Amazon Bedrock 엔드포인트에 지정된 Ingestion 작업 파일 크기와 의 할당량을 초과하지 않습니다 AWS 일반 참조. https://docs.aws.amazon.com/general/latest/gr/bedrock.html

  • 데이터 소스에 메타데이터 파일이 포함된 경우 다음 조건을 확인하여 메타데이터 파일이 무시되지 않도록 하세요.

    • 각 .metadata.json 파일은 연결된 소스 파일과 동일한 파일 이름과 확장명을 공유합니다.

    • 지식 베이스의 벡터 인덱스가 Amazon OpenSearch Serverless 벡터 스토어에 있는 경우 벡터 인덱스가 faiss 엔진으로 구성되어 있는지 확인합니다. 벡터 인덱스가 nmslib 엔진으로 구성된 경우 다음 중 하나를 수행해야 합니다.

    • 지식 기반용 벡터 인덱스가 Amazon Aurora 데이터베이스 클러스터에 있는 경우 수집을 시작하기 전에 인덱스의 테이블에 메타데이터 파일의 각 메타데이터 속성에 대한 열이 포함되어 있는지 확인합니다.

데이터 소스에서 파일을 추가, 수정 또는 제거할 때마다 데이터 소스를 동기화하여 지식 기반에 다시 인덱싱해야 합니다. 동기화는 증분적이므로 Amazon Bedrock은 마지막 동기화 이후 추가, 수정 또는 삭제된 문서만 처리합니다.

데이터를 지식 기반에 수집하고 최신 데이터와 동기화하는 방법을 알아보려면 선택한 방법에 해당하는 탭을 선택하고 다음 단계를 따릅니다.

Console
데이터를 지식 기반에 수집하고 최신 데이터와 동기화하려면

  1. 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/.

  2. 왼쪽 탐색 창에서 지식 기반을 선택합니다.

  3. 데이터 소스 섹션에서 동기화를 선택하여 데이터 수집을 시작하거나 최신 데이터를 동기화합니다. 현재 동기화 중인 데이터 소스를 중지하려면 중지를 선택합니다. 데이터 소스 동기화를 중지하려면 데이터 소스가 현재 동기화 중이어야 합니다. 동기화를 다시 선택하여 나머지 데이터를 수집할 수 있습니다.

  4. 데이터 모으기가 완료되면 녹색 성공 배너가 나타납니다.

    참고

    데이터 동기화가 완료된 후 새로 동기화된 데이터의 벡터 임베딩이 지식 기반에 반영되고 Amazon Aurora() 이외의 벡터 스토어를 사용하는 경우 쿼리에 사용할 수 있는 데 몇 분 정도 걸릴 수 있습니다RDS.

  5. 데이터 소스를 선택하여 동기화 기록을 볼 수 있습니다. 경고 보기를 선택하여 데이터 모으기 작업이 실패한 이유를 확인합니다.

API

데이터를 지식 기반에 수집하고 최신 데이터와 동기화하려면 Amazon Bedrock용 에이전트 빌드 시간 엔드포인트 로 StartIngestionJob 요청을 보냅니다. knowledgeBaseId 및 를 지정합니다dataSourceId. StopIngestionJob 요청을 전송하여 현재 실행 중인 데이터 수집 작업을 중지할 수도 있습니다. dataSourceId, ingestionJobId, 및 knowledgeBaseId을 지정합니다. 데이터 수집을 중지하려면 데이터 수집 작업이 현재 실행 중이어야 합니다. 준비가 되면 StartIngestionJob 요청을 다시 보내 나머지 데이터를 수집할 수 있습니다.

Agents for Amazon Bedrock 빌드 타임 엔드포인트를 사용하여 수집 작업의 상태를 추적하는 GetIngestionJob 요청의 응답에서 ingestionJobId 반환된 를 사용합니다. 또한 knowledgeBaseId 및 를 지정합니다dataSourceId.

  • 수집 작업이 완료되면 응답의 status는 COMPLETE가 됩니다.

    참고

    데이터 수집이 완료된 후 Amazon Aurora() 이외의 벡터 스토어를 사용하는 경우 쿼리를 위해 새로 수집된 데이터의 벡터 임베딩을 벡터 스토어에서 사용할 수 있으려면 몇 분 정도 걸릴 수 있습니다RDS.

  • 응답의 statistics 객체는 데이터 소스의 문서 관련 수집 성공 여부에 대한 정보를 반환합니다.

또한 Amazon Bedrock용 에이전트 빌드 시간 엔드포인트 를 사용하여 ListIngestionJobs 요청을 보내 데이터 소스의 모든 수집 작업에 대한 정보를 볼 수 있습니다. https://docs.aws.amazon.com/general/latest/gr/bedrock.html#bra-bt 데이터가 수집되는 knowledgeBaseId 지식 기반의 dataSourceId 및 를 지정합니다.

  • filters 객체에서 검색할 상태를 지정하여 결과를 필터링합니다.

  • 작업이 시작된 시각 또는 sortBy 객체를 지정하여 작업 상태를 기준으로 정렬합니다. 오름차순 또는 내림차순을 지정할 수 있습니다.

  • 응답으로 반환할 최대 결과 수를 maxResults 필드에 설정할 수 있습니다. 설정한 수보다 많은 결과가 있는 경우 응답은 다음 작업 배치를 보기 위해 다른 ListIngestionJobs 요청에서 보낼 수 nextToken 있는 를 반환합니다.