Atributos compatíveis Pré-requisitos Configuração de conexão

Conecte-se ao Amazon S3 para obter sua base de conhecimento do Amazon Bedrock

O Amazon S3 é um serviço de armazenamento de objetos que armazena dados como objetos em buckets. Você pode se conectar ao seu bucket Amazon S3 para sua base de conhecimento do Amazon Bedrock usando o AWS Console de gerenciamento para Amazon Bedrock ou o CreateDataSourceAPI(consulte Amazon Bedrock suportado) e SDKs AWS CLI).

Você pode carregar um pequeno lote de arquivos em um bucket do Amazon S3 usando o console do Amazon S3 ou. API Você pode alternativamente usar AWS DataSyncpara carregar vários arquivos para o S3 continuamente e transferir arquivos em um cronograma do local, do edge, de outra nuvem ou AWS armazenamento.

Atualmente, somente buckets S3 de uso geral são suportados.

Há limites para quantos arquivos e MB por arquivo podem ser rastreados. Consulte Cotas para bases de conhecimento.

Atributos compatíveis

Campos de metadados do documento
Filtros de conteúdo de inclusão/exclusão
Sincronizações incrementais de conteúdo para conteúdo adicionado, atualizado e excluído

Pré-requisitos

No Amazon S3, certifique-se de:

Observe o bucket do Amazon S3, o URI Amazon Resource Name (ARN) e o AWS ID da conta do proprietário do bucket. Você pode encontrar o URI e ARN na seção de propriedades no console do Amazon S3. Seu bucket deve estar na mesma região da sua base de conhecimento do Amazon Bedrock. Você deve ter permissão para acessar o bucket.

Em seu AWS conta, certifique-se de:

Inclua as permissões necessárias para se conectar à sua fonte de dados no AWS Identity and Access Management (IAM) política de funções/permissões para sua base de conhecimento. Para obter informações sobre as permissões necessárias para que essa fonte de dados seja adicionada à sua base de conhecimento IAM função, consulte Permissões para acessar fontes de dados.

nota

Se você usa o console, o IAM Uma função com todas as permissões necessárias pode ser criada para você como parte das etapas para criar uma base de conhecimento. Depois de configurar sua fonte de dados e outras configurações, o IAM a função com todas as permissões necessárias é aplicada à sua base de conhecimento específica.

Configuração de conexão

Para se conectar ao seu bucket do Amazon S3, você deve fornecer as informações de configuração necessárias para que o Amazon Bedrock possa acessar e rastrear seus dados. Você também deve seguir Pré-requisitos o.

Um exemplo de configuração para essa fonte de dados está incluído nesta seção.

Para obter mais informações sobre filtros de inclusão/exclusão, campos de metadados do documento, sincronização incremental e como eles funcionam, selecione o seguinte:

Você pode incluir um arquivo separado que especifica os campos/atributos de metadados do documento para cada arquivo no Amazon S3. Por exemplo, o documento oscars-coverage_20240310.pdf contém artigos de notícias, que podem ser categorizados por ano e gênero. Neste exemplo, crie e faça o upload para o seu bucket do seguinte oscars-coverage_20240310.pdf.metadata.json file.


{
    "metadataAttributes": {
        "genre": "entertainment",
        "year": 2024
    }
}

O arquivo de metadados deve usar o mesmo nome do arquivo de documento fonte associado, .metadata.json anexado ao final do nome do arquivo. O arquivo de metadados deve ser armazenado na mesma pasta ou local do arquivo de origem em seu bucket do Amazon S3. O arquivo não deve exceder o limite de 10 KB. Para obter informações sobre os tipos de dados de atributo/campo suportados e os operadores de filtragem que você pode aplicar aos seus campos de metadados, consulte Metadados e filtragem.

Você pode incluir ou excluir o rastreamento de determinados conteúdos. Por exemplo, você pode especificar um prefixo de exclusão/padrão de expressão regular para ignorar o rastreamento de qualquer arquivo que contenha “privado” no nome do arquivo. Você também pode especificar um prefixo de inclusão/padrão de expressão regular para incluir determinadas entidades de conteúdo ou tipos de conteúdo. Se você especificar um filtro de inclusão e exclusão e ambos corresponderem a um documento, o filtro de exclusão terá precedência e o documento não será rastreado.

Um exemplo de um padrão de filtro para incluir somente PDF arquivos: “.*\\ .pdf”

O conector da fonte de dados rastreia conteúdo novo, modificado e excluído sempre que sua fonte de dados é sincronizada com sua base de conhecimento. Amazon Bedrock pode usar o mecanismo da sua fonte de dados para rastrear alterações no conteúdo e rastrear o conteúdo que foi alterado desde a última sincronização. Quando você sincroniza sua fonte de dados com sua base de conhecimento pela primeira vez, todo o conteúdo é rastreado por padrão.

Para sincronizar sua fonte de dados com sua base de conhecimento, use StartIngestionJobAPIou selecione sua base de conhecimento no console e selecione Sincronizar na seção de visão geral da fonte de dados.

Importante

Todos os dados que você sincroniza da sua fonte de dados ficam disponíveis para qualquer pessoa com bedrock:Retrieve permissão para recuperá-los. Isso também pode incluir quaisquer dados com permissões de fonte de dados controladas. Para obter mais informações, consulte Permissões da base de conhecimento.

Console

A seguir está um exemplo de uma configuração para conexão com o Amazon S3 para sua base de conhecimento do Amazon Bedrock. Você configura sua fonte de dados como parte das etapas de criação da base de conhecimento no console.

Faça login no AWS Management Console usando uma IAMfunção com permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/
No painel de navegação esquerdo, selecione Bases de conhecimento.
Na seção Bases de conhecimento, selecione Criar base de conhecimento.
Forneça os detalhes da base de conhecimento.
1. Forneça o nome da base de conhecimento e a descrição opcional.
2. Forneça o AWS Identity and Access Management função para as permissões de acesso necessárias para criar uma base de conhecimento.
  
  nota
  A ferramenta IAM Uma função com todas as permissões necessárias pode ser criada para você como parte das etapas do console para criar uma base de conhecimento. Depois de concluir as etapas para criar uma base de conhecimento, o IAM a função com todas as permissões necessárias é aplicada à sua base de conhecimento específica.
3. Crie as tags que você deseja atribuir à sua base de conhecimento.
Vá para a próxima seção para configurar sua fonte de dados.
Escolha o Amazon S3 como sua fonte de dados e forneça os detalhes da configuração da conexão.
1. Forneça o nome da fonte de dados.
2. Especifique se seu bucket do Amazon S3 está no seu atual AWS conta ou outra AWS conta.
3. Navegue a partir de um local existente de bucket do Amazon S3 ou forneça o. URI Você pode encontrar o URI e ARN na seção de propriedades no console do Amazon S3. Seu bucket deve estar na mesma região da sua base de conhecimento do Amazon Bedrock. Você deve ter permissão para acessar o bucket.
  
  Você pode optar por usar seu próprio gerenciado AWS KMS chave para criptografia de dados.
Verifique as configurações avançadas. Opcionalmente, você pode alterar as configurações padrão selecionadas.
Defina sua chave de criptografia de dados transitória e a política de exclusão de dados nas configurações avançadas.

Para KMS key nas configurações, você pode escolher uma chave personalizada ou usar a chave de criptografia de dados padrão fornecida.

Ao converter seus dados em incorporações, Amazon Bedrock criptografa seus dados transitórios com uma chave que AWS possui e gerencia, por padrão. Você pode usar sua própria KMS chave. Para obter mais informações, consulte Criptografia do armazenamento de dados temporário durante a ingestão de dados.

Para configurações de política de exclusão de dados, você pode escolher:
- Excluir: exclui todos os dados da sua fonte de dados que são convertidos em incorporações vetoriais após a exclusão de uma base de conhecimento ou recurso de fonte de dados. Observe que o armazenamento vetorial em si não é excluído, apenas os dados. Esse sinalizador é ignorado se um AWS a conta foi excluída.
- Reter: retém todos os dados da sua fonte de dados que são convertidos em incorporações vetoriais após a exclusão de uma base de conhecimento ou recurso de fonte de dados. Observe que o armazenamento vetorial em si não será excluído se você excluir uma base de conhecimento ou um recurso de fonte de dados.
Continue configurando sua fonte de dados.
Escolha as configurações padrão ou personalizadas de fragmentação e análise.
1. Se você escolher configurações personalizadas, selecione uma das seguintes opções de fragmentação:
  - Fragmentação de tamanho fixo: conteúdo dividido em partes de texto com o tamanho aproximado do token definido. Você pode definir o número máximo de tokens que não devem exceder um bloco e a porcentagem de sobreposição entre blocos consecutivos.
  - Fragmentação padrão: conteúdo dividido em partes de texto de até 300 tokens. Se um único documento ou parte do conteúdo contiver menos de 300 tokens, o documento não será mais dividido.
  - Fragmentação hierárquica: conteúdo organizado em estruturas aninhadas de partes pai-filho. Você define o tamanho máximo do token do fragmento principal e o tamanho máximo do token do fragmento secundário. Você também define o número absoluto de tokens de sobreposição entre partes consecutivas dos pais e partes secundárias consecutivas.
  - Fragmentação semântica: conteúdo organizado em partes de texto semanticamente semelhantes ou grupos de frases. Você define o número máximo de frases ao redor da frase de destino/atual para agrupar (tamanho do buffer). Você também define o limite do percentil do ponto de interrupção para dividir o texto em partes significativas. A fragmentação semântica usa um modelo básico. Visualizar Amazon Bedrock preços para obter informações sobre o custo dos modelos de fundação.
  - Sem fragmentação: cada documento é tratado como um único fragmento de texto. Talvez você queira pré-processar seus documentos dividindo-os em arquivos separados.
  nota
  Você não pode alterar a estratégia de fragmentação depois de criar a fonte de dados.
2. Você pode escolher usar Amazon Bedrock O modelo básico da para analisar documentos para analisar mais do que o texto padrão. Você pode analisar dados tabulares em documentos com sua estrutura intacta, por exemplo. Visualizar Amazon Bedrock preços para obter informações sobre o custo dos modelos de fundação.
3. Você pode optar por usar um AWS Lambda função para personalizar sua estratégia de fragmentação e como os atributos/campos de metadados do documento são tratados e ingeridos. Forneça o Amazon S3 localização do bucket para a entrada e saída da função Lambda.
Vá para a próxima seção para configurar seu armazenamento de vetores.
Escolha um modelo para converter seus dados em incorporações vetoriais.

Crie um armazenamento vetorial para permitir que o Amazon Bedrock armazene, atualize e gerencie incorporações. Você pode criar rapidamente um novo repositório de vetores ou selecionar um repositório de vetores compatível que você criou. Se você criar um novo armazenamento de vetores, uma coleção e um índice de pesquisa vetorial Amazon OpenSearch Serverless com os campos obrigatórios serão configurados para você. Se você selecionar um repositório de vetores compatível, deverá mapear os nomes dos campos vetoriais e os nomes dos campos de metadados.

Vá para a próxima seção para revisar as configurações da sua base de conhecimento.
Verifique os detalhes da sua base de conhecimento. Você pode editar qualquer seção antes de começar a criar sua base de conhecimento.

nota
O tempo necessário para criar a base de conhecimento depende de suas configurações específicas. Quando a criação da base de conhecimento é concluída, o status da base de conhecimento muda para o estado de pronta ou disponível.
Quando sua base de conhecimento estiver pronta e disponível, sincronize sua fonte de dados pela primeira vez e sempre que quiser manter seu conteúdo atualizado. Selecione sua base de conhecimento no console e selecione Sincronizar na seção de visão geral da fonte de dados.

API

A seguir está um exemplo de uma configuração para conexão com o Amazon S3 para sua base de conhecimento do Amazon Bedrock. Você configura sua fonte de dados usando o API com o AWS CLI ou compatívelSDK, como Python. Depois de ligar CreateKnowledgeBase, você liga CreateDataSourcepara criar sua fonte de dados com suas informações de conexãodataSourceConfiguration. Lembre-se também de especificar sua estratégia/abordagem de fragmentação vectorIngestionConfiguration e sua política de exclusão de dados em. dataDeletionPolicy

AWS Command Line Interface


aws bedrock create-data-source \
 --name "S3 connector" \
 --description "S3 data source connector for Amazon Bedrock to use content in S3" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://s3-bedrock-connector-configuration.json \
 --data-deletion-policy "DELETE" \
 --vector-ingestion-configuration '{"chunkingConfiguration":[{"chunkingStrategy":"FIXED_SIZE","fixedSizeChunkingConfiguration":[{"maxTokens":"100","overlapPercentage":"10"}]}]}'
                    
s3-bedrock-connector-configuration.json
{
    "s3Configuration": {
	    "bucketArn": "arn:aws:s3:::bucket-name",
	    "bucketOwnerAccountId": "000000000000",
	    "inclusionPrefixes": [
	        ".*\\.pdf"
	    ]
    },
    "type": "S3"	
}

Atenção O Javascript está desativado ou não está disponível no seu navegador.

Para usar a documentação da AWS, o Javascript deve estar ativado. Consulte as páginas de Ajuda do navegador para obter instruções.

Convenções do documento

Cria uma fonte de dados

Confluence