Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

crawler web

Il Web Crawler si connette e scansiona gli URL specificati per l'utilizzo nella tua knowledge base gestita. Il Web Crawler attraversa le pagine HTML a partire dagli URL iniziali, seguendo i collegamenti secondari in base all'ambito e ai limiti della scansione. Puoi anche fornire gli URL della mappa del sito come punti di partenza. Il Web Crawler rispetta robots.txt in conformità con RFC 9309. https://www.rfc-editor.org/rfc/rfc9309.html

Funzionalità supportate

Metodi di autenticazione

Il Web Crawler supporta quattro metodi di autenticazione. Scegliete il metodo che corrisponde al modo in cui il sito di destinazione autentica gli utenti. Per i siti pubblici senza accesso, usa. NO_AUTH

Prerequisiti

Per il sito web che desideri scansionare, assicurati di:

Nel tuo AWS account, assicurati di:

Come configurare un'origine dati Web Crawler

La configurazione di un'origine dati Web Crawler prevede i seguenti passaggi:

Crea l'origine dati

Console

Per connettere il Web Crawler alla tua knowledge base gestita

1. In Origine dati, fornisci un nome per l'origine dati.

2. Seleziona Web Crawler dal menu a discesa dell'origine dati.

3. In Fonte, scegli URL di origine (fino a 10 URL iniziali) o Sitemap di origine (fino a 3 URL di mappa del sito).

4. Inserisci i tuoi URL nell'area di testo Aggiungi URL, uno per riga.

5. In Autenticazione, seleziona Nessuna autenticazione, Autenticazione di base, Autenticazione tramite modulo o Autenticazione SAML. Per qualsiasi metodo diverso da Nessuna autenticazione, seleziona o crea un AWS Secrets Manager segreto per archiviare le tue credenziali.

6. (Facoltativo) Espandi l'ambito di sincronizzazione per impostare la profondità di scansione (0-10), il numero massimo di link per URL (1—1000), il numero massimo di URL scansionati al minuto (1—300) e l'ambito di scansione: predefinito (stesso host e stesso percorso URL iniziale dell'URL iniziale), solo host (stesso host, qualsiasi percorso) o Sottodomini (stesso dominio principale, inclusi i sottodomini).

7. (Facoltativo) Espandi i modelli di filtro URL per aggiungere espressioni regolari che includono o escludono URL specifici.

API

Per creare un'origine dati Web Crawler, invia una CreateDataSource richiesta con un endpoint build-time di Agents for Amazon Bedrock. L' AWS Command Line Interface esempio seguente crea un'origine dati che esegue la scansione di un sito pubblico senza autenticazione. Per una descrizione di ogni campo, vedere il riferimento ai parametri del connettore che segue.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Il webcrawler-managed-connector.json file contiene quanto segue:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Per un sito autenticato, imposta authType su BASIC_AUTH FORMSAML, o e aggiungi un secretArn aconnectionConfiguration.

Per le knowledge base gestite, CreateDataSource è asincrono: lo stato dell'origine dati passa da CREATING a AVAILABLE quando l'operazione viene completata.

Parametri dei connettori

La configurazione dell'origine dati utilizza i seguenti parametri del connettore. Per utilizzare il Web Crawler, specificare WEB come tipo di connettore. connectorParameters Per i campi sovrapposti connectorParameters (ad esempio deletionProtectionConfiguration emediaExtractionConfiguration), consulta. Connettere un’origine dati

Credenziali di autenticazione

Se il tuo sito web richiede l'autenticazione, archivia le tue credenziali in modo segreto. AWS Secrets Manager Il formato segreto dipende dal tipo di autenticazione scelto.

Autenticazione di base (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Autenticazione del modulo (FORM)

Per l'autenticazione basata su moduli, fornisci espressioni XPath che identifichino il campo del nome utente, il campo della password e il pulsante di invio nella pagina di accesso.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Autenticazione SAML () SAML

Per l'autenticazione SAML, fornisci l'URL della pagina di accesso del provider di identità SAML e le espressioni XPath per i campi del modulo.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Risoluzione dei problemi