View a markdown version of this page

Integrazione con Web Crawler - Amazon Quick
Funzionalità di Web CrawlerPrerequisitiPrepara l'accesso e l'autenticazione del sito webConfigura l'integrazione con Web CrawlerConfigura la scansioneGestisci le basi di conoscenzaRisoluzione dei problemi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Integrazione con Web Crawler

 Si applica a: Enterprise Edition 

Con l'integrazione di Web Crawler in Amazon Quick, puoi creare basi di conoscenza a partire dai contenuti dei siti Web eseguendo la scansione e l'indicizzazione delle pagine Web. Questa integrazione supporta funzionalità di inserimento dati con diverse opzioni di autenticazione.

Funzionalità di Web Crawler

È possibile porre domande sui contenuti archiviati su siti Web e pagine Web. Ad esempio, puoi cercare siti di documentazione, knowledge base o informazioni specifiche su più pagine Web.

Con questa integrazione, puoi accedere e comprendere i contenuti web indipendentemente dalla posizione o dal tipo. Ottieni anche dettagli contestuali come date di pubblicazione, cronologia delle modifiche e proprietà delle pagine per una scoperta più efficiente delle informazioni.

Nota

L'integrazione con Web Crawler supporta solo l'inserimento di dati. Non fornisce funzionalità di azione per la gestione di siti Web o servizi Web.

Prerequisiti

Prima di configurare l'integrazione con Web Crawler, assicurati di disporre di quanto segue:

  • URL di siti Web da scansionare e indicizzare.

  • È necessario un account Amazon Quick con Enterprise Edition.

  • Un sito Web che non è protetto da un firewall e non richiede plug-in speciali del browser per la connessione.

Prepara l'accesso e l'autenticazione del sito web

Prima di configurare l'integrazione in Amazon Quick, prepara le credenziali di accesso al sito web. L'integrazione con Web Crawler supporta diversi metodi di autenticazione:

Nessuna autenticazione

Da utilizzare per la scansione di siti Web che non richiedono l'autenticazione.

Autenticazione di base

Autenticazione di base HTTP standard per siti Web protetti. Quando visiti un sito protetto, il browser visualizza una finestra di dialogo che richiede le tue credenziali.

Credenziali richieste:

  • URL della pagina di accesso: l'URL della pagina di accesso

  • Nome utente: nome utente di autenticazione di base

  • Password - Password di autenticazione di base

Autenticazione modulo

Per i siti Web che utilizzano pagine di accesso basate su moduli HTML. Si specificano le espressioni XPath per identificare i campi del modulo nella pagina di accesso.

XPath (XML Path Language) è un linguaggio di interrogazione per la navigazione degli elementi in un documento HTML o XML. Per trovare un XPath per un elemento della pagina Web, fate clic con il pulsante destro del mouse sull'elemento nel browser e scegliete Ispeziona. Negli strumenti per sviluppatori, fate clic con il pulsante destro del mouse sul codice HTML evidenziato, scegliete Copia, quindi scegliete Copia XPath.

Informazioni obbligatorie:

  • URL della pagina di accesso: URL del modulo di accesso (ad esempio,https://example.com/login)

  • Nome utente: nome utente di accesso

  • Password - Password di accesso

  • Campo nome utente XPath - campo di immissione da XPath a nome utente (ad esempio,) //input[@id='username']

  • (Facoltativo) Pulsante nome utente XPath — campo pulsante da XPath a nome utente (ad esempio,) //input[@id='username_button']

  • Campo password XPath - campo di immissione da XPath a password (ad esempio,) //input[@id='password']

  • Tasto password XPath - pulsante da XPath a password (ad esempio,) //button[@type='password']

Autenticazione SAML

Per i siti Web che utilizzano l'autenticazione SAML-based Single Sign-on (SSO).

L'autenticazione SAML (Security Assertion Markup Language) è uno standard di identità federato che abilita l'SSO. L'autenticazione avviene tramite un provider di identità centralizzato (ad esempio Microsoft Azure AD orOkta) anziché immettere le credenziali direttamente in ogni applicazione. Il provider di identità restituisce un token sicuro all'applicazione per concedere l'accesso.

Informazioni richieste:

  • URL della pagina di accesso: URL della pagina di accesso SAML

  • Nome utente: nome utente SAML

  • Password - Password SAML

  • Campo nome utente XPath - campo di immissione da XPath a nome utente (ad esempio,) //input[@id='username']

  • (Facoltativo) Pulsante nome utente XPath — campo pulsante da XPath a nome utente (ad esempio,) //input[@id='username_button']

  • Campo password XPath - campo di immissione da XPath a password (ad esempio,) //input[@id='password']

  • Tasto password XPath - pulsante da XPath a password (ad esempio,) //button[@type='password']

Esempi di configurazione XPath

Usa questi esempi XPath per configurare l'autenticazione tramite form e SAML:


Username field examples:
//input[@id='username']
//input[@name='user']
//input[@class='username-field']

Password field examples:
//input[@id='password']
//input[@name='pass']
//input[@type='password']

Submit button examples:
//button[@type='submit']
//input[@type='submit']
//button[contains(text(), 'Login')]

Configura l'integrazione con Web Crawler

Dopo aver preparato i requisiti di accesso al sito Web, crea l'integrazione Web Crawler in Amazon Quick.

  1. Nella console di Amazon Quick, scegli Knowledge.

  2. Trova Web Crawler e scegli l'icona Aggiungi (+).

  3. Scegli Accedi ai dati da Web Crawler. L'integrazione con Web Crawler supporta solo l'accesso ai dati: l'esecuzione delle azioni non è disponibile per la scansione Web.

  4. Configura i dettagli di integrazione e il metodo di autenticazione, quindi crea le knowledge base secondo necessità.

    1. Scegli il tipo di autenticazione per l'integrazione del tuo web crawler.

    2. Inserisci i dettagli richiesti in base al metodo di autenticazione scelto.

    3. (Facoltativo) Scegli una connessione VPC per eseguire la scansione dei siti ospitati nella tua rete privata. La connessione VPC deve essere configurata nelle impostazioni di amministrazione prima di poterla scegliere qui. Per ulteriori informazioni, consulta Configurazione di un VPC da utilizzare con Amazon Quick.

      Nota

      Non è possibile modificare la connessione VPC dopo la creazione dell'integrazione. Per utilizzare una connessione VPC diversa, crea una nuova integrazione.

    4. Scegli Crea e continua.

    5. Inserisci il nome e la descrizione della tua knowledge base.

    6. Aggiungi gli URL dei contenuti che desideri scansionare.

    7. Scegli Create (Crea).

Dopo aver scelto Crea, la sincronizzazione dei dati viene avviata automaticamente.

Configura la scansione

Puoi configurare quali siti Web e pagine sottoporre a scansione e come filtrare il contenuto.

Configura gli URL e le fonti di contenuto

Configura i siti Web e le pagine da sottoporre a scansione:

URL diretti

Specifica i singoli URL da sottoporre a scansione:


https://example.com/docs
https://example.com/blog
https://example.com/support

Limite: massimo 10 URL per set di dati

Filtri di contenuto e impostazioni di scansione

Impostazioni dell'ambito di esplorazione

Per visualizzare queste impostazioni, è necessario innanzitutto configurare una knowledge base e quindi esaminare l'opzione delle impostazioni avanzate.

Profondità di scansione

  • Intervallo: 0-10 (impostazione predefinita: 1)

  • 0 = esegue la scansione solo degli URL specificati

  • 1 = include pagine collegate a un livello di profondità

  • Valori più alti seguono i link più in profondità nel sito

Numero massimo di link per pagina

  • Impostazione predefinita: 100

  • Massimo: 1.000

  • Controlla il numero di link da seguire da ogni pagina

Tempo di Wait (Attesa)

  • Impostazione predefinita: 1

  • Il tempo (in secondi) che il web crawler attende per ogni pagina dopo che la pagina ha raggiunto lo stato pronto. Aumenta questo valore per le pagine con JavaScript contenuti dinamici che vengono caricati dopo il modello principale.

Gestisci le basi di conoscenza

Dopo aver configurato l'integrazione con Web Crawler, puoi creare e gestire le knowledge base dai contenuti del tuo sito Web sottoposto a scansione.

Modifica le knowledge base esistenti

Puoi modificare le tue knowledge base di Web Crawler esistenti:

  1. Nella console Amazon Quick, scegli Knowledge base.

  2. Scegli la tua knowledge base Web Crawler dall'elenco.

  3. Scegli l'icona a tre punti in Azioni, quindi scegli Modifica knowledge base.

  4. Aggiorna le impostazioni di configurazione secondo necessità e scegli Salva.

Scansione degli allegati e dei file

Controlla se il sistema elabora file e allegati collegati da pagine Web:

  • Abilita la scansione dei file allegati: scegli questa opzione per eseguire la scansione e indicizzare i file e gli allegati presenti nelle pagine Web, come PDF, documenti e file multimediali.

Comportamento di scansione e configurazione della sincronizzazione

La tua integrazione con Web Crawler segue queste pratiche di scansione:

  • Modello di sincronizzazione incrementale: la prima sincronizzazione esegue una scansione completa. Le sincronizzazioni successive acquisiscono solo le modifiche.

  • Riprova automatica: logica di Built-in riprova per le richieste non riuscite.

  • Gestione dei duplicati: rilevamento e deduplicazione automatici degli URL.

  • Identificazione del crawler: si identifica con la stringa user-agent nelle intestazioni delle richieste. amazon-Quick-on-behalf-of-<UUID> Puoi inserire questo user-agent nel tuo robots.txt file per consentire o disabilitare specificamente il crawler. Per ulteriori informazioni, consulta Conformità Robots.txt.

Individuazione della mappa del sito

Web Crawler verifica automaticamente la presenza di mappe del sito aggiungendo percorsi comuni alle tue URL iniziali. Non è necessario fornire gli URL delle sitemap separatamente. Sono controllati i seguenti percorsi:


sitemap.xml
sitemap_index.xml
sitemap/sitemap.xml
sitemap/sitemap_index.xml
sitemaps/sitemap.xml
sitemap/index.xml

Ad esempio, se l'URL iniziale èhttps://example.com/docs, il crawler verifica e così via. https://example.com/docs/sitemap.xml https://example.com/docs/sitemap_index.xml

Nota

Web Crawler non segue i riferimenti ricorsivi agli indici delle mappe del sito. Vengono utilizzati solo gli URL elencati direttamente in una mappa del sito scoperta. Le direttive Sitemap in robots.txt non vengono utilizzate per l'individuazione delle Sitemap.

Conformità Robots.txt

Web Crawler rispetta il protocollo robots.txt e rispetta le direttive user-agent e allow o disallow. Usa queste direttive per controllare in che modo il crawler accede al tuo sito.

Come funziona il controllo del file robots.txt

  • Host-level verifica: Web Crawler legge i file robots.txt a livello di host (ad esempio, com/robots.txt).

  • Supporto per più host: per i domini con più host, Web Crawler rispetta le regole dei robot per ciascun host separatamente.

  • Comportamento alternativo: se Web Crawler non riesce a recuperare robots.txt a causa di blocchi, errori di analisi o timeout, si comporta come se robots.txt non esistesse. In questo caso, il crawler procede alla scansione del sito.

Campi robots.txt supportati

Web Crawler riconosce questi campi robots.txt (i nomi dei campi non fanno distinzione tra maiuscole e minuscole, i valori fanno distinzione tra maiuscole e minuscole):

user-agent

Identifica a quale crawler si applicano le regole.

allow

Un percorso URL che può essere sottoposto a scansione.

disallow

Un percorso URL che potrebbe non essere sottoposto a scansione.

crawl-delay

Il tempo di attesa (in secondi) tra le richieste al tuo sito web.

Supporto per i meta tag

Web Crawler supporta i meta tag robots a livello di pagina che puoi utilizzare per controllare come vengono utilizzati i tuoi dati. È possibile specificare le impostazioni a livello di pagina includendo un meta tag nelle pagine HTML o in un'intestazione HTTP.

Meta tag supportati
noindex

Non indicizzate la pagina. Se non specifichi questa regola, la pagina potrebbe essere indicizzata e idonea a comparire nelle esperienze.

nofollow

Non seguire i link in questa pagina. Se non specifichi questa regola, Web Crawler può utilizzare i collegamenti nella pagina per scoprire le pagine collegate.

È possibile combinare più valori utilizzando una virgola (ad esempio, «noindex, nofollow»).

Nota

Per rilevare i meta tag, Web Crawler deve accedere alla tua pagina. Non bloccate la pagina con robots.txt, perché questo impedisce che la pagina venga sottoposta a nuova scansione.

Risoluzione dei problemi

Usa questa sezione per risolvere i problemi più comuni relativi all'integrazione con Web Crawler.

Errori di autenticazione

Caratteristiche:

  • Messaggi di errore «Impossibile autenticarsi»

  • 401/403 Risposte HTTP

  • Loop di reindirizzamento della pagina di accesso

  • Errori di timeout della sessione

Fasi di risoluzione:

  1. Verifica che il sito sia raggiungibile dalla AWS regione in cui è configurata l'istanza Amazon Quick.

  2. Verifica che le tue credenziali siano corrette e non scadute.

  3. Verifica la disponibilità e l'accessibilità degli endpoint di autenticazione.

  4. Convalida le configurazioni XPath testandole negli strumenti per sviluppatori del browser.

  5. Esamina i log di rete del browser per comprendere il flusso di autenticazione.

  6. Assicurati che l'URL della pagina di accesso sia corretto e accessibile.

  7. Verifica l'autenticazione manualmente utilizzando le stesse credenziali.

Problemi di accesso e connettività

Caratteristiche:

  • Timeout di connessione ed errori di rete

  • Errori di rete irraggiungibili

  • Errori di risoluzione DNS

Fasi di risoluzione:

  1. Verifica la connettività di rete per i siti web di destinazione.

  2. Convalida l'accessibilità del sito:

    • Verifica la risoluzione DNS per i domini di destinazione.

    • Verifica la SSL/TLS configurazione e i certificati.

    • Prova l'accesso da reti diverse, se possibile.

Risoluzione DNS

Il Web Crawler utilizza il DNS per convertire i nomi host dei siti Web (ad esempiowww.example.com) in indirizzi IP. Per impostazione predefinita, utilizza una risoluzione DNS pubblica.

Quando si esegue la scansione di siti all'interno di un VPC, potrebbe essere necessario configurare un server DNS privato in modo che il crawler possa risolvere i nomi host per i siti interni. Scegli una delle seguenti opzioni in base alla configurazione del tuo VPC:

  1. Usa il server VPC-provided DNS: se il tuo VPC ha sia i nomi host DNS che la risoluzione DNS abilitati, puoi utilizzare il resolver DNS VPC predefinito (in genere 10.0.0.2 o più in generale il VPC CIDR base+2). Per ulteriori informazioni, consulta VPC.

  2. Usa un server DNS personalizzato: se il tuo VPC utilizza un resolver DNS personalizzato, fornisci l'indirizzo IP del server DNS interno della tua organizzazione. Collabora con il tuo amministratore di rete per ottenere questo indirizzo.

Se non configuri un server DNS, il crawler risolve solo i nomi host registrati pubblicamente.

JavaScript-dependent navigazione

Caratteristiche:

  • Viene indicizzato solo l'URL iniziale, nessuna pagina aggiuntiva scoperta

  • La scansione viene completata correttamente ma restituisce un solo documento

Fasi di risoluzione:

  1. Web Crawler esegue JavaScript e visualizza il contenuto della pagina, ma non simula le interazioni dell'utente come clic, scorrimento o azioni al passaggio del mouse. Se il sito carica i link di navigazione tramite l'interazione dell'utente (ad esempio, gestori di clic, scorrimento infinito o menu dinamici), il crawler non è in grado di individuare tali collegamenti.

  2. Esamina la tua pagina negli strumenti per sviluppatori del browser per verificare se i link di navigazione utilizzano elementi standard. <a href="..."> Se invece i link vengono inoltrati tramite gestori di JavaScript eventi, il crawler non li seguirà.

  3. Se il tuo sito fornisce una mappa del sito, Web Crawler verifica automaticamente la presenza di percorsi comuni nelle tue URL iniziali. Assicurati che la tua mappa del sito sia disponibile in una posizione standard (ad esempio/sitemap.xml) in modo che il crawler possa scoprire URL aggiuntivi senza fare affidamento sull'estrazione dei link all'interno della pagina.

  4. In alternativa, fornisci tutti gli URL delle pagine di destinazione direttamente come URL iniziali.

  5. Se i contenuti possono essere esportati come file HTML, PDF o di testo, valuta invece l'utilizzo del connettore Amazon S3 come fonte di dati.

Problemi con la scansione e i contenuti

Caratteristiche:

  • Contenuti mancanti o incompleti

  • Scansioni incomplete o chiusura anticipata

  • Errori di limitazione della frequenza (429 risposte)

  • Il contenuto non viene indicizzato correttamente

Fasi di risoluzione:

  1. Rivedi le restrizioni di robots.txt:

    • Controlla il file robots.txt per le restrizioni di scansione.

    • Verifica che il crawler sia autorizzato ad accedere ai percorsi di destinazione.

    • Assicurati che la conformità a robots.txt non stia bloccando i contenuti.

  2. Controlla la limitazione e la limitazione della frequenza:

    • Monitora le intestazioni delle risposte per informazioni sui limiti di velocità.

    • Implementa ritardi di scansione appropriati.

  3. Verifica i pattern e i filtri degli URL:

    • Verifica la precisione dei pattern regex.

    • Controlla la formattazione e la struttura degli URL.

    • Convalida la logica del include/exclude modello.

  4. Rivedi le restrizioni relative ai contenuti:

    • Verifica la presenza di meta tag noindex nelle pagine.

    • Verifica il supporto per i tipi di contenuto.

    • Assicurati che le dimensioni dei contenuti siano entro i limiti.

  5. Aggiorna il tempo di attesa in modo che il contenuto venga caricato sulla pagina prima che il crawler inizi la scansione.

Limiti noti

L'integrazione con Web Crawler presenta le seguenti limitazioni:

  • Limiti URL: massimo 10 URL iniziali per set di dati. Non puoi fornire gli URL della mappa del sito nel campo dell'URL iniziale.

  • Profondità di scansione: profondità di scansione massima di 10 livelli

  • Requisiti di sicurezza: HTTPS richiesto per le configurazioni del proxy web

Le seguenti limitazioni si applicano quando si utilizza il Web Crawler con una connessione VPC:

  • Nessun supporto HTTP/3 (QUIC): HTTP/3 non è supportato. La maggior parte dei siti tornerà HTTP/2 automaticamente, ma i siti configurati HTTP/3 solo per non saranno accessibili.

  • DNS over TCP richiesto: la risoluzione DNS deve utilizzare TCP. Verifica che il tuo server DNS supporti il DNS su TCP prima di configurare la scansione VPC.

  • Sono richiesti certificati SSL pubblicamente affidabili: i siti interni devono utilizzare un certificato rilasciato da un'autorità di certificazione nota (ad esempio, o). Let's Encrypt DigiCert I siti che utilizzano certificati CA autofirmati o privati non riescono a connettersi.

  • Solo IPv4: sono supportati solo gli indirizzi IPv4. I siti accessibili esclusivamente tramite IPv6 non possono essere sottoposti a scansione.