Rastreie páginas da web para sua base de conhecimento do Amazon Bedrock

Faça login no AWS Management Console usando uma IAMfunção com permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

No painel de navegação esquerdo, selecione Bases de conhecimento.

Na seção Bases de conhecimento, selecione Criar base de conhecimento.

Forneça os detalhes da base de conhecimento.

1. Forneça o nome da base de conhecimento e a descrição opcional.

2. Forneça o AWS Identity and Access Management função para as permissões de acesso necessárias para criar uma base de conhecimento.

   nota

   A ferramenta IAM Uma função com todas as permissões necessárias pode ser criada para você como parte das etapas do console para criar uma base de conhecimento. Depois de concluir as etapas para criar uma base de conhecimento, o IAM a função com todas as permissões necessárias é aplicada à sua base de conhecimento específica.

3. Crie as tags que você deseja atribuir à sua base de conhecimento.

Vá para a próxima seção para configurar sua fonte de dados.

Escolha o Web Crawler como sua fonte de dados e forneça os detalhes da configuração.

(Opcional) Altere o nome da fonte de dados padrão e insira uma Descrição.

Forneça a fonte URLs do que URLs você deseja rastrear. Você pode adicionar até 9 adicionais URLs selecionando Adicionar fonte URLs. Ao fornecer uma fonteURL, você confirma que está autorizado a rastrear seu domínio.

Verifique as configurações avançadas. Opcionalmente, você pode alterar as configurações padrão selecionadas.

Para KMS key nas configurações, você pode escolher uma chave personalizada ou usar a chave de criptografia de dados padrão fornecida.

Ao converter seus dados em incorporações, Amazon Bedrock criptografa seus dados transitórios com uma chave que AWS possui e gerencia, por padrão. Você pode usar sua própria KMS chave. Para obter mais informações, consulte Criptografia do armazenamento de dados temporário durante a ingestão de dados.

Para as configurações da política de exclusão de dados, você pode escolher:

Selecione uma opção para o escopo do rastreamento de sua fonte. URLs

Insira Limitação máxima da velocidade de rastreamento. Ingira URLs entre 1 e 300 URLs por host por minuto. Uma velocidade de rastreamento maior aumenta a carga, mas leva menos tempo.

Para padrões URLRegex (opcional), você pode adicionar padrões de inclusão ou padrões de exclusão inserindo o padrão de expressão regular na caixa. Você pode adicionar até 25 padrões de filtro de inclusão e 25 de exclusão selecionando Adicionar novo padrão. Os padrões de inclusão e exclusão são rastreados de acordo com seu escopo. Se houver um conflito, o padrão de exclusão tem precedência.

Escolha as configurações padrão ou personalizadas de fragmentação e análise.

1. Se você escolher configurações personalizadas, selecione uma das seguintes opções de fragmentação:

   • Fragmentação de tamanho fixo: conteúdo dividido em partes de texto com o tamanho aproximado do token definido. Você pode definir o número máximo de tokens que não devem exceder um bloco e a porcentagem de sobreposição entre blocos consecutivos.

   • Fragmentação padrão: conteúdo dividido em partes de texto de até 300 tokens. Se um único documento ou parte do conteúdo contiver menos de 300 tokens, o documento não será mais dividido.

   • Fragmentação hierárquica: conteúdo organizado em estruturas aninhadas de partes pai-filho. Você define o tamanho máximo do token do fragmento principal e o tamanho máximo do token do fragmento secundário. Você também define o número absoluto de tokens de sobreposição entre partes consecutivas dos pais e partes secundárias consecutivas.

   • Fragmentação semântica: conteúdo organizado em partes de texto semanticamente semelhantes ou grupos de frases. Você define o número máximo de frases ao redor da frase de destino/atual para agrupar (tamanho do buffer). Você também define o limite do percentil do ponto de interrupção para dividir o texto em partes significativas. A fragmentação semântica usa um modelo básico. Visualizar Amazon Bedrock preços para obter informações sobre o custo dos modelos de fundação.

   • Sem fragmentação: cada documento é tratado como um único fragmento de texto. Talvez você queira pré-processar seus documentos dividindo-os em arquivos separados.

   nota

   Você não pode alterar a estratégia de fragmentação depois de criar a fonte de dados.

2. Você pode escolher usar Amazon Bedrock O modelo básico da para analisar documentos para analisar mais do que o texto padrão. Você pode analisar dados tabulares em documentos com sua estrutura intacta, por exemplo. Visualizar Amazon Bedrock preços para obter informações sobre o custo dos modelos de fundação.

3. Você pode optar por usar um AWS Lambda função para personalizar sua estratégia de fragmentação e como os atributos/campos de metadados do documento são tratados e ingeridos. Forneça o Amazon S3 localização do bucket para a entrada e saída da função Lambda.

Vá para a próxima seção para configurar seu armazenamento de vetores.

Escolha um modelo para converter seus dados em incorporações vetoriais.

Crie um armazenamento vetorial para permitir que o Amazon Bedrock armazene, atualize e gerencie incorporações. Você pode criar rapidamente um novo repositório de vetores ou selecionar um repositório de vetores compatível que você criou. Se você criar um novo armazenamento de vetores, uma coleção e um índice de pesquisa vetorial Amazon OpenSearch Serverless com os campos obrigatórios serão configurados para você. Se você selecionar um repositório de vetores compatível, deverá mapear os nomes dos campos vetoriais e os nomes dos campos de metadados.

Vá para a próxima seção para revisar as configurações da sua base de conhecimento.

Verifique os detalhes da sua base de conhecimento. Você pode editar qualquer seção antes de começar a criar sua base de conhecimento.