Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Robot Web

Le Web Crawler se connecte aux URL que vous spécifiez pour les utiliser dans votre base de connaissances gérée et les analyse. Le Web Crawler parcourt les pages HTML à partir de vos URL de départ, en suivant des liens secondaires en fonction de l'étendue et des limites de votre exploration. Vous pouvez également fournir des URL de plan de site comme points de départ. Le Web Crawler respecte robots.txt conformément à la norme RFC 9309.

Fonctionnalités prises en charge

Méthodes d’authentification

Le Web Crawler prend en charge quatre méthodes d'authentification. Choisissez la méthode qui correspond à la manière dont le site cible authentifie les utilisateurs. Pour les sites publics sans connexion, utilisezNO_AUTH.

Conditions préalables

Pour le site Web que vous souhaitez explorer, assurez-vous de :

Dans votre AWS compte, assurez-vous de  :

Comment configurer une source de données Web Crawler

La configuration d'une source de données Web Crawler implique les étapes suivantes :

Création de la source de données

Console

Pour connecter le Web Crawler à votre base de connaissances gérée

1. Sous Source de données, donnez un nom à votre source de données.

2. Sélectionnez Web Crawler dans la liste déroulante des sources de données.

3. Sous Source, choisissez URL source (jusqu'à 10 URL de point de départ) ou plans de site source (jusqu'à 3 URL de plan de site).

4. Entrez vos URL dans la zone de texte Ajouter des URL, une par ligne.

5. Sous Authentification, sélectionnez Aucune authentification, Authentification de base, Authentification par formulaire ou Authentification SAML. Pour toute méthode autre que l'absence d'authentification, sélectionnez ou créez un AWS Secrets Manager secret pour stocker vos informations d'identification.

6. (Facultatif) Étendez la portée de synchronisation pour définir la profondeur d'analyse (0 à 10), le nombre maximal de liens par URL (1 à 1 000), le nombre maximal d'URL explorées par minute (1 à 300) et l'étendue de l'analyse : par défaut (même hôte et même chemin d'URL initial que l'URL de départ), Hôte uniquement (même hôte, n'importe quel chemin) ou Sous-domaines (même domaine principal, y compris les sous-domaines).

7. (Facultatif) Développez les modèles de filtre d'URL pour ajouter des expressions régulières qui incluent ou excluent des URL spécifiques.

API

Pour créer une source de données Web Crawler, envoyez une CreateDataSource demande avec un point de terminaison Agents for Amazon Bedrock build-time. L' AWS Command Line Interface exemple suivant crée une source de données qui explore un site public sans authentification. Pour une description de chaque champ, reportez-vous à la référence des paramètres du connecteur qui suit.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Le webcrawler-managed-connector.json fichier contient les éléments suivants :

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Pour un site authentifié, définissez authType sur BASIC_AUTHFORM, ouSAML, et ajoutez un secretArn àconnectionConfiguration.

Pour les bases de connaissances gérées, CreateDataSource est asynchrone : l'état de la source de données passe du statut de la source de données CREATING à la AVAILABLE fin de l'opération.

Paramètres du connecteur

La configuration de la source de données utilise les paramètres de connecteur suivants. Pour utiliser le Web Crawler, spécifiez WEB le type de connecteur dansconnectorParameters. Pour les champs encapsulés connectorParameters (tels que deletionProtectionConfiguration etmediaExtractionConfiguration), consultezConnexion d’une sources de données.

Informations d’identification d’authentification

Si votre site Web nécessite une authentification, conservez vos informations d'identification de AWS Secrets Manager manière secrète. Le format secret dépend du type d'authentification que vous choisissez.

Authentification de base (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Authentification par formulaire (FORM)

Pour l'authentification basée sur un formulaire, fournissez des expressions XPath qui identifient le champ du nom d'utilisateur, le champ du mot de passe et le bouton d'envoi sur la page de connexion.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Authentification SAML () SAML

Pour l'authentification SAML, indiquez l'URL de la page de connexion du fournisseur d'identité SAML et les expressions XPath pour les champs du formulaire.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Résolution des problèmes