Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Web Crawler de

El rastreador web se conecta a las URL que especifique para usarlas en su base de conocimientos gestionada y las rastrea. El rastreador web recorre las páginas HTML empezando por las URL iniciales y sigue los enlaces secundarios de acuerdo con el alcance y los límites del rastreo. También puedes proporcionar las URL del mapa del sitio como puntos de partida. El Web Crawler respeta el archivo robots.txt de acuerdo con la RFC 9309.

Características admitidas

Métodos de autenticación

El Web Crawler admite cuatro métodos de autenticación. Elija el método que coincida con la forma en que el sitio de destino autentica a los usuarios. Para sitios públicos sin inicio de sesión, utilice. NO_AUTH

Requisitos previos

Para el sitio web que quieres rastrear, asegúrate de:

En tu AWS cuenta, asegúrate de:

Cómo configurar una fuente de datos de Web Crawler

La configuración de una fuente de datos de Web Crawler implica los siguientes pasos:

Cree la fuente de datos

Console

Para conectar el Web Crawler a su base de conocimientos gestionada

1. En Fuente de datos, proporcione un nombre para la fuente de datos.

2. Selecciona Web Crawler en el menú desplegable de la fuente de datos.

3. En Fuente, selecciona URL de origen (hasta 10 URL de punto de partida) o mapas del sitio de origen (hasta 3 URL de mapa del sitio).

4. Introduce tus URL en el área de texto Añadir URL, una por línea.

5. En Autenticación, selecciona Sin autenticación, Autenticación básica , Autenticación de formulario o Autenticación SAML. Para cualquier método que no sea Sin autenticación, selecciona o crea un AWS Secrets Manager secreto para almacenar tus credenciales.

6. (Opcional) Amplíe el alcance de la sincronización para establecer la profundidad de rastreo (de 0 a 10), el máximo de enlaces por URL (de 1 a 1000), el máximo de URL rastreadas por minuto (de 1 a 300) y el alcance del rastreo: predeterminado (el mismo host y la misma ruta URL inicial que la URL inicial), Solo host (mismo host, cualquier ruta) o subdominios (el mismo dominio principal, incluidos los subdominios).

7. (Opcional) Amplíe los patrones de filtro de URL para agregar expresiones regulares que incluyan o excluyan URL específicas.

API

Para crear una fuente de datos de Web Crawler, envíe una CreateDataSource solicitud a un punto final en tiempo de construcción de Agents for Amazon Bedrock. El siguiente AWS Command Line Interface ejemplo crea una fuente de datos que rastrea un sitio público sin autenticación. Para obtener una descripción de cada campo, consulte la referencia a los parámetros del conector que aparece a continuación.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

El webcrawler-managed-connector.json archivo contiene lo siguiente:

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

Para un sitio autenticado, authType configúrelo en BASIC_AUTH FORMSAML, o y agregue un secretArn en. connectionConfiguration

En el caso de las bases de conocimiento administradas, CreateDataSource es asincrónico: el estado de la fuente de datos pasa de CREATING a AVAILABLE cuando se completa la operación.

Parámetros de conector

La configuración de la fuente de datos usa los siguientes parámetros de conector. Para usar el rastreador web, especifique WEB el tipo de conector. connectorParameters Para ver los campos que se connectorParameters agrupan (como deletionProtectionConfiguration ymediaExtractionConfiguration), consulteConexión de un origen de datos.

Credenciales de autenticación

Si tu sitio web requiere autenticación, guarda tus credenciales en un AWS Secrets Manager secreto. El formato secreto depende del tipo de autenticación que elija.

Autenticación básica (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

Autenticación de formularios (FORM)

Para la autenticación basada en formularios, proporcione expresiones XPath que identifiquen el campo del nombre de usuario, el campo de la contraseña y el botón de envío en la página de inicio de sesión.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Autenticación SAML () SAML

Para la autenticación SAML, proporcione la URL de la página de inicio de sesión del proveedor de identidad SAML y las expresiones XPath para los campos del formulario.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

Resolución de problemas