Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Webcrawler

Der Web Crawler stellt eine Verbindung zu URLs her, die Sie zur Verwendung in Ihrer verwalteten Wissensdatenbank angeben, und crawlt diese. Der Web Crawler durchsucht HTML-Seiten ausgehend von Ihren Seed-URLs und folgt untergeordneten Links, je nach Umfang und Einschränkungen Ihres Crawls. Sie können auch Sitemap-URLs als Startpunkte angeben. Der Web Crawler respektiert robots.txt gemäß RFC 9309.

Unterstützte Features

Authentifizierungsmethoden

Der Web Crawler unterstützt vier Authentifizierungsmethoden. Wählen Sie die Methode, die der Art und Weise entspricht, wie die Zielwebsite Benutzer authentifiziert. Verwenden Sie für öffentliche Websites ohne Anmeldung. NO_AUTH

Voraussetzungen

Stellen Sie für die Website, die Sie crawlen möchten, sicher, dass Sie:

Stellen Sie in Ihrem AWS Konto sicher, dass Sie:

Wie richte ich eine Web Crawler-Datenquelle ein

Das Einrichten einer Web Crawler-Datenquelle umfasst die folgenden Schritte:

Erstellen Sie die Datenquelle

Console

Um den Web Crawler mit Ihrer verwalteten Wissensdatenbank zu verbinden

1. Geben Sie unter Datenquelle einen Namen für Ihre Datenquelle ein.

2. Wählen Sie Web Crawler aus dem Drop-down-Menü für die Datenquelle aus.

3. Wählen Sie unter Quelle Quell-URLs (bis zu 10 Startpunkt-URLs) oder Quell-Sitemaps (bis zu 3 Sitemap-URLs) aus.

4. Gib deine URLs in den Textbereich „URLs hinzufügen“ ein, eine pro Zeile.

5. Wählen Sie unter Authentifizierung die Optionen Keine Authentifizierung, Standardauthentifizierung, Formularauthentifizierung oder SAML-Authentifizierung aus. Wählen Sie für eine andere Methode als „Keine Authentifizierung“ ein AWS Secrets Manager Geheimnis aus, um Ihre Anmeldeinformationen zu speichern, oder erstellen Sie es.

6. (Optional) Erweitern Sie den Sync-Bereich, um die Crawl-Tiefe (0—10), die maximale Anzahl an Links pro URL (1—1000), die maximale Anzahl der pro Minute gecrawlten URLs (1—300) und den Crawling-Bereich festzulegen: Standard (derselbe Host und derselbe anfängliche URL-Pfad wie die Seed-URL), Nur Host (gleicher Host, beliebiger Pfad) oder Subdomains (dieselbe Hauptdomain, einschließlich Subdomains).

7. (Optional) Erweitern Sie URL-Filtermuster, um reguläre Ausdrücke hinzuzufügen, die bestimmte URLs ein- oder ausschließen.

API

Um eine Web Crawler-Datenquelle zu erstellen, senden Sie eine CreateDataSource Anfrage an einen Build-Time-Endpunkt von Agents for Amazon Bedrock. Im folgenden AWS Command Line Interface Beispiel wird eine Datenquelle erstellt, die eine öffentliche Website ohne Authentifizierung crawlt. Eine Beschreibung der einzelnen Felder finden Sie in der folgenden Referenz zu den Connector-Parametern.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

Die webcrawler-managed-connector.json Datei enthält Folgendes:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Setzen Sie für eine authentifizierte Site authType aufBASIC_AUTH, oder FORMSAML, und fügen Sie ein secretArn bis connectionConfiguration hinzu.

Bei verwalteten Wissensdatenbanken CreateDataSource ist dies asynchron: Der Status der Datenquelle wechselt von CREATING zu, AVAILABLE wenn der Vorgang abgeschlossen ist.

Connector-Parameter

Die Datenquellenkonfiguration verwendet die folgenden Connector-Parameter. Um den Web Crawler zu verwenden, geben Sie WEB als Connector Folgendes ein. connectorParameters Informationen zu Feldern, die umgebrochen werden connectorParameters (z. B. deletionProtectionConfiguration undmediaExtractionConfiguration), finden Sie unterVerbinden einer Datenquelle.

Anmeldeinformationen für die Authentifizierung

Wenn für Ihre Website eine Authentifizierung erforderlich ist, speichern Sie Ihre Anmeldeinformationen AWS Secrets Manager geheim. Das geheime Format hängt vom ausgewählten Authentifizierungstyp ab.

Standardauthentifizierung (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Formularauthentifizierung (FORM)

Stellen Sie für die formularbasierte Authentifizierung XPath-Ausdrücke bereit, die das Benutzernamenfeld, das Passwortfeld und die Absenden-Schaltfläche auf der Anmeldeseite identifizieren.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML-Authentifizierung () SAML

Geben Sie für die SAML-Authentifizierung die URL der Anmeldeseite des SAML-Identitätsanbieters und die XPath-Ausdrücke für die Formularfelder an.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Fehlerbehebung