View a markdown version of this page

Integração com o Web Crawler - Amazon Quick
Capacidades do Web CrawlerPré-requisitosPrepare o acesso e a autenticação do siteConfigurar a integração com o Web CrawlerConfigurar o rastreamentoGerencie bases de conhecimentoSolução de problemas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Integração com o Web Crawler

 Aplica-se a: Enterprise Edition 

Com a integração do Web Crawler no Amazon Quick, você pode criar bases de conhecimento a partir do conteúdo do site rastreando e indexando páginas da web. Essa integração oferece suporte a recursos de ingestão de dados com diferentes opções de autenticação.

Capacidades do Web Crawler

Você pode fazer perguntas sobre o conteúdo armazenado em sites e páginas da web. Por exemplo, você pode pesquisar sites de documentação, bases de conhecimento ou informações específicas em várias páginas da web.

Com essa integração, você pode acessar e entender o conteúdo da web, independentemente da localização ou do tipo. Você também obtém detalhes contextuais, como datas de publicação, histórico de modificações e propriedade da página, para uma descoberta de informações mais eficiente.

nota

A integração com o Web Crawler suporta somente a ingestão de dados. Ele não fornece recursos de ação para gerenciar sites ou serviços da web.

Pré-requisitos

Antes de configurar a integração do Web Crawler, verifique se você tem o seguinte:

  • URLs de sites para rastrear e indexar.

  • Você precisa de uma conta Amazon Quick com a Enterprise Edition.

  • Um site que não está protegido por um firewall e não requer plug-ins de navegador especiais para se conectar.

Prepare o acesso e a autenticação do site

Antes de configurar a integração no Amazon Quick, prepare suas credenciais de acesso ao site. A integração do Web Crawler oferece suporte a diferentes métodos de autenticação:

Sem autenticação

Use para rastrear sites que não exigem autenticação.

Autenticação básica

Autenticação básica HTTP padrão para sites seguros. Quando você visita um site protegido, seu navegador exibe uma caixa de diálogo que solicita suas credenciais.

Credenciais necessárias:

  • URL da página de login - A URL da página de login

  • Nome de usuário - Nome de usuário de autenticação básica

  • Senha - Senha de autenticação básica

Autenticação de formulários

Para sites que usam páginas de login baseadas em formulários HTML. Você especifica expressões XPath para identificar os campos do formulário na página de login.

XPath (XML Path Language) é uma linguagem de consulta para navegar por elementos em um documento HTML ou XML. Para encontrar um XPath para um elemento de página da Web, clique com o botão direito do mouse no elemento em seu navegador e escolha Inspecionar. Nas ferramentas do desenvolvedor, clique com o botão direito do mouse no código HTML destacado, escolha Copiar e, em seguida, escolha Copiar XPath.

Informações necessárias:

  • URL da página de login - URL do formulário de login (por exemplo,https://example.com/login)

  • Nome de usuário - Nome de usuário de login

  • Senha - Senha de login

  • Campo de nome de usuário XPath - XPath para campo de entrada de nome de usuário (por exemplo,) //input[@id='username']

  • (Opcional) Botão de nome de usuário XPath — campo de botão XPath para nome de usuário (por exemplo,) //input[@id='username_button']

  • Campo de senha XPath - XPath para campo de entrada de senha (por exemplo,) //input[@id='password']

  • Botão de senha XPath - XPath para botão de senha (por exemplo,) //button[@type='password']

Autenticação SAML

Para sites que usam autenticação de login SAML-based único (SSO).

A autenticação SAML (Security Assertion Markup Language) é um padrão de identidade federado que permite o SSO. Você se autentica por meio de um provedor de identidade centralizado (como Microsoft Azure AD ouOkta) em vez de inserir as credenciais diretamente em cada aplicativo. O provedor de identidade passa um token seguro de volta ao aplicativo para conceder acesso.

Informações necessárias:

  • URL da página de login - URL da página de login do SAML

  • Nome de usuário - nome de usuário SAML

  • Senha - senha SAML

  • Campo de nome de usuário XPath - XPath para campo de entrada de nome de usuário (por exemplo,) //input[@id='username']

  • (Opcional) Botão de nome de usuário XPath — campo de botão XPath para nome de usuário (por exemplo,) //input[@id='username_button']

  • Campo de senha XPath - XPath para campo de entrada de senha (por exemplo,) //input[@id='password']

  • Botão de senha XPath - XPath para botão de senha (por exemplo,) //button[@type='password']

Exemplos de configuração do XPath

Use estes exemplos de XPath para configurar o formulário e a autenticação SAML:


Username field examples:
//input[@id='username']
//input[@name='user']
//input[@class='username-field']

Password field examples:
//input[@id='password']
//input[@name='pass']
//input[@type='password']

Submit button examples:
//button[@type='submit']
//input[@type='submit']
//button[contains(text(), 'Login')]

Configurar a integração com o Web Crawler

Depois de preparar seus requisitos de acesso ao site, crie a integração do Web Crawler no Amazon Quick.

  1. No console Amazon Quick, escolha Knowledge.

  2. Encontre o Web Crawler e escolha o ícone Adicionar (+).

  3. Escolha Acessar dados do Web Crawler. A integração do Web Crawler oferece suporte somente ao acesso a dados - a execução da ação não está disponível para o rastreamento na Web.

  4. Configure os detalhes da integração e o método de autenticação e, em seguida, crie bases de conhecimento conforme necessário.

    1. Escolha o tipo de autenticação para sua integração com o web crawler.

    2. Insira os detalhes necessários com base no método de autenticação escolhido.

    3. (Opcional) Escolha uma conexão VPC para rastrear sites hospedados em sua rede privada. A conexão VPC deve ser configurada nas configurações administrativas antes que você possa escolhê-la aqui. Para obter mais informações, consulte Configurando uma VPC para usar com o Amazon Quick.

      nota

      Você não pode alterar a conexão VPC após a criação da integração. Para usar uma conexão VPC diferente, crie uma nova integração.

    4. Escolha Criar e continuar.

    5. Insira o nome e a descrição da sua base de conhecimento.

    6. Adicione os URLs de conteúdo que você deseja rastrear.

    7. Escolha Criar.

Depois de escolher Criar, a sincronização de dados é iniciada automaticamente.

Configurar o rastreamento

Você pode configurar quais sites e páginas rastrear e como filtrar o conteúdo.

Configurar URLs e fontes de conteúdo

Configure quais sites e páginas devem ser rastreados:

URLs diretos

Especifique URLs individuais a serem rastreados:


https://example.com/docs
https://example.com/blog
https://example.com/support

Limite: máximo de 10 URLs por conjunto de dados

Filtros de conteúdo e configurações de rastreamento

Configurações do escopo de rastreamento

Para visualizar essas configurações, você deve primeiro configurar uma base de conhecimento e depois examinar a opção de configurações avançadas.

Profundidade de rastreamento

  • Intervalo: 0-10 (padrão: 1)

  • 0 = rastrear somente URLs especificados

  • 1 = incluir páginas vinculadas com um nível de profundidade

  • Valores mais altos seguem links mais profundos no site

Máximo de links por página

  • Padrão: 100

  • Máximo: 1.000

  • Controla quantos links seguir em cada página

Tempo de Wait (Espera)

  • Padrão: 1

  • O tempo (em segundos) em que o rastreador da Web espera por cada página após a página atingir um estado pronto. Aumente esse valor para páginas com JavaScript conteúdo dinâmico que são carregadas após o modelo principal.

Gerencie bases de conhecimento

Depois de configurar sua integração com o Web Crawler, você pode criar e gerenciar bases de conhecimento a partir do conteúdo do seu site rastreado.

Edite bases de conhecimento existentes

Você pode modificar suas bases de conhecimento existentes do Web Crawler:

  1. No console Amazon Quick, escolha Bases de conhecimento.

  2. Escolha sua base de conhecimento do Web Crawler na lista.

  3. Escolha o ícone de três pontos em Ações e escolha Editar base de conhecimento.

  4. Atualize suas configurações conforme necessário e escolha Salvar.

Anexos e rastreamento de arquivos

Controle se o sistema processa arquivos e anexos vinculados a páginas da web:

  • Ativar rastreamento de anexos de arquivos — Escolha essa opção para rastrear e indexar arquivos e anexos encontrados em páginas da Web, como PDFs, documentos e arquivos de mídia.

Comportamento de rastreamento e configuração de sincronização

Sua integração com o Web Crawler segue estas práticas de rastreamento:

  • Modelo de sincronização incremental: a primeira sincronização executa o rastreamento completo. As sincronizações subsequentes capturam somente as alterações.

  • Tentativa automática: lógica de Built-in repetição para solicitações com falha.

  • Tratamento de duplicatas: detecção e desduplicação automáticas de URLs.

  • Identificação do rastreador: se identifica com a string amazon-Quick-on-behalf-of-<UUID> user-agent nos cabeçalhos da solicitação. Você pode direcionar esse agente de usuário em seu robots.txt arquivo para permitir ou proibir especificamente o rastreador. Para obter mais informações, consulte Robots.txt  Compliance.

Descoberta do mapa do site

O Web Crawler verifica automaticamente os mapas do site anexando caminhos comuns aos seus URLs iniciais. Você não precisa fornecer URLs de mapas do site separadamente. Os seguintes caminhos estão verificados:


sitemap.xml
sitemap_index.xml
sitemap/sitemap.xml
sitemap/sitemap_index.xml
sitemaps/sitemap.xml
sitemap/index.xml

Por exemplo, se o URL inicial forhttps://example.com/docs, o rastreador verifica se https://example.com/docs/sitemap.xmlhttps://example.com/docs/sitemap_index.xml, e assim por diante.

nota

O Web Crawler não segue referências recursivas de índice de sitemaps. Somente os URLs listados diretamente em um mapa do site descoberto são usados. As diretivas de sitemap em robots.txt não são usadas para descoberta de sitemaps.

Robots.txt  Compliance

O Web Crawler respeita o protocolo robots.txt e respeita as diretivas de agente de usuário e de permissão ou proibição. Use essas diretivas para controlar como o rastreador acessa seu site.

Como funciona a verificação do robots.txt

  • Host-level verificação: o Web Crawler lê os arquivos robots.txt no nível do host (por exemplo, por exemplo. com/robots.txt).

  • Suporte a vários hosts: para domínios com vários hosts, o Web Crawler respeita as regras de robôs para cada host separadamente.

  • Comportamento alternativo: se o Web Crawler não conseguir buscar o robots.txt devido a erros de bloqueio, análise ou tempo limite, ele se comporta como se o robots.txt não existisse. Nesse caso, o rastreador continua rastreando o site.

Campos robots.txt suportados

O Web Crawler reconhece esses campos robots.txt (os nomes dos campos não diferenciam maiúsculas de minúsculas, os valores diferenciam maiúsculas de minúsculas):

user-agent

Identifica a qual rastreador as regras se aplicam.

allow

Um caminho de URL que pode ser rastreado.

disallow

Um caminho de URL que pode não ser rastreado.

crawl-delay

O tempo (em segundos) de espera entre as solicitações ao seu site.

Suporte para metatags

O Web Crawler suporta metatags de robôs em nível de página que você pode usar para controlar como seus dados são usados. Você pode especificar configurações em nível de página incluindo uma meta tag em páginas HTML ou em um cabeçalho HTTP.

Metatags suportadas
noindex

Não indexe a página. Se você não especificar essa regra, a página poderá ser indexada e qualificada para aparecer em experiências.

nofollow

Não siga os links desta página. Se você não especificar essa regra, o Web Crawler poderá usar os links na página para descobrir essas páginas vinculadas.

Você pode combinar vários valores usando uma vírgula (por exemplo, “noindex, nofollow”).

nota

Para detectar metatags, o Web Crawler deve acessar sua página. Não bloqueie sua página com robots.txt, pois isso impede que a página seja rastreada novamente.

Solução de problemas

Use esta seção para resolver problemas comuns com a integração do Web Crawler.

Falhas de autenticação

Sintomas:

  • Mensagens de erro “Não é possível autenticar”

  • 401/403 Respostas HTTP

  • Loops de redirecionamento da página de login

  • Erros de tempo limite da sessão

Etapas de resolução:

  1. Verifique se o site pode ser acessado AWS na região em que a instância do Amazon Quick está configurada.

  2. Verifique se suas credenciais estão corretas e se não expiraram.

  3. Verifique a disponibilidade e a acessibilidade do endpoint de autenticação.

  4. Valide as configurações do XPath testando-as nas ferramentas de desenvolvimento do navegador.

  5. Analise os registros de rede do navegador para entender o fluxo de autenticação.

  6. Verifique se o URL da página de login está correto e acessível.

  7. Teste a autenticação manualmente usando as mesmas credenciais.

Problemas de acesso e conectividade

Sintomas:

  • Tempo limite de conexão e erros de rede

  • Erros de rede inacessíveis

  • Falhas na resolução de DNS

Etapas de resolução:

  1. Verifique a conectividade da rede com os sites de destino.

  2. Valide a acessibilidade do site:

    • Verifique a resolução de DNS para domínios de destino.

    • Verifique a SSL/TLS configuração e os certificados.

    • Teste o acesso de redes diferentes, se possível.

Resolução do DNS

O Web Crawler usa DNS para resolver nomes de host de sites (por exemplo,www.example.com) em endereços IP. Por padrão, ele usa resolução de DNS pública.

Ao rastrear sites dentro de uma VPC, talvez seja necessário configurar um servidor DNS privado para que o rastreador possa resolver nomes de host para sites internos. Escolha uma das seguintes opções com base na sua configuração de VPC:

  1. Use o servidor VPC-provided DNS — Se sua VPC tiver nomes de host DNS e resolução de DNS habilitados, você poderá usar o resolvedor de DNS da VPC padrão (normalmente 10.0.0.2 ou, de forma mais geral, a base CIDR da VPC+2). Para obter mais informações, consulte VPC.

  2. Use um servidor DNS personalizado — Se sua VPC usa um resolvedor de DNS personalizado, forneça o endereço IP do servidor DNS interno da sua organização. Trabalhe com o administrador da rede para obter esse endereço.

Se você não configurar um servidor DNS, o rastreador resolverá somente nomes de host registrados publicamente.

JavaScript-dependent navegação

Sintomas:

  • Somente o URL inicial é indexado, nenhuma página adicional é descoberta

  • O rastreamento é concluído com êxito, mas retorna somente um documento

Etapas de resolução:

  1. O Web Crawler executa JavaScript e renderiza o conteúdo da página, mas não simula interações do usuário, como cliques, rolagens ou ações de passar o mouse. Se seu site carrega links de navegação por meio da interação do usuário (por exemplo, manipuladores de cliques, rolagem infinita ou menus dinâmicos), o rastreador não consegue descobrir esses links.

  2. Inspecione sua página nas ferramentas do desenvolvedor do navegador para verificar se os links de navegação usam <a href="..."> elementos padrão. Se, em vez disso, os links forem conectados por meio de manipuladores de JavaScript eventos, o rastreador não os seguirá.

  3. Se seu site fornecer um mapa do site, o Web Crawler verificará automaticamente os caminhos comuns do mapa do site nos seus URLs iniciais. Certifique-se de que seu mapa do site esteja disponível em um local padrão (por exemplo/sitemap.xml) para que o rastreador possa descobrir URLs adicionais sem depender da extração de links na página.

  4. Como alternativa, forneça todos os URLs da página de destino diretamente como URLs iniciais.

  5. Se o conteúdo puder ser exportado como arquivos HTML, PDF ou de texto, considere usar o conector Amazon S3 como sua fonte de dados.

Problemas de rastreamento e conteúdo

Sintomas:

  • Conteúdo ausente ou incompleto

  • Rastreamentos incompletos ou rescisão antecipada

  • Erros de limitação de taxa (429 respostas)

  • O conteúdo não está sendo indexado corretamente

Etapas de resolução:

  1. Revise as restrições do robots.txt:

    • Verifique se há restrições de rastreamento no arquivo robots.txt.

    • Verifique se o rastreador tem permissão para acessar os caminhos de destino.

    • Certifique-se de que a conformidade com o robots.txt não esteja bloqueando o conteúdo.

  2. Verifique a limitação e a limitação da taxa:

    • Monitore os cabeçalhos de resposta para obter informações sobre limites de taxa.

    • Implemente atrasos de rastreamento apropriados.

  3. Verifique os padrões e filtros de URL:

    • Teste os padrões de regex para verificar a precisão.

    • Verifique a formatação e a estrutura do URL.

    • Valide a lógica do include/exclude padrão.

  4. Analise as restrições de conteúdo:

    • Verifique se há metatags noindex nas páginas.

    • Verifique o suporte ao tipo de conteúdo.

    • Certifique-se de que o tamanho do conteúdo esteja dentro dos limites.

  5. Atualize o tempo de espera para que o conteúdo seja carregado na página antes que o rastreador comece a rastrear.

Limitações conhecidas

A integração com o Web Crawler tem as seguintes limitações:

  • Limites de URL: máximo de 10 URLs iniciais por conjunto de dados. Você não pode fornecer URLs de mapas do site no campo URL inicial.

  • Profundidade de rastreamento: profundidade máxima de rastreamento de 10 níveis

  • Requisitos de segurança: HTTPS necessário para configurações de proxy da web

As seguintes limitações se aplicam ao usar o Web Crawler com uma conexão VPC:

  • Não há suporte HTTP/3 (QUIC): não HTTP/3 é suportado. A maioria dos sites retornará HTTP/2 automaticamente, mas os sites configurados HTTP/3 somente para não estarão acessíveis.

  • É necessário DNS sobre TCP: a resolução de DNS deve usar TCP. Verifique se seu servidor DNS oferece suporte a DNS via TCP antes de configurar o rastreamento de VPC.

  • São necessários certificados SSL publicamente confiáveis: os sites internos devem usar um certificado de uma autoridade de certificação conhecida (por exemplo, Let's Encrypt ouDigiCert). Os sites que usam certificados CA autoassinados ou privados não conseguem se conectar.

  • Somente IPv4: somente endereços IPv4 são suportados. Sites acessíveis exclusivamente por IPv6 não podem ser rastreados.