本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

网络爬虫

Web Crawler 会连接并抓取您指定的 URL，以便在托管知识库中使用。Web Crawler 会从您的种子网址开始遍历 HTML 页面，并根据您的抓取范围和限制跟踪子链接。您也可以提供站点地图 URL 作为起点。网络爬虫根据 RFC 9309 尊重 robots.txt。

支持的功能

身份验证方法

Web Crawler 支持四种身份验证方法。选择与目标站点对用户进行身份验证的方式相匹配的方法。对于未登录的公共站点，请使用NO_AUTH。

先决条件

对于要抓取的网站，请确保：

在您的 AWS 账户中，请确保：

如何设置 Web Crawler 数据源

设置 Web Crawler 数据源涉及以下步骤：

创建数据源

Console

将 Web Crawler 连接到您的托管知识库

1. 在 “数据源” 下，为您的数据源提供一个名称。

2. 从数据源下拉列表中选择 Web Crawler。

3. 在 “来源” 下，选择来源网址（最多 10 个起点网址）或来源站点地图（最多 3 个站点地图网址）。

4. 在添加网址文本区域中输入您的网址，每行一个。

5. 在 “身份验证” 下，选择 “无身份验证” 、“基本身份验证” 、“表单身份验证” 或 “SAML 身份验证”。对于除无身份验证以外的任何方法，请选择或创建 AWS Secrets Manager 密钥来存储您的证书。

6. （可选）扩展同步范围以设置抓取深度（0—10）、每个 URL 的最大链接数（1—1000）、每分钟抓取的最大网址（1—300）和抓取范围：默认（与种子 URL 相同的主机和相同的初始 URL 路径）、仅限主机（相同的主机、任何路径）或子域名 （相同的主域，包括子域名）。

7. （可选）扩展 URL 过滤器模式以添加包含或排除特定 URL 的正则表达式。

API

要创建网络爬虫数据源，请使用适用于亚马逊 Bedrock 构建时终端节点的代理发送CreateDataSource请求。以下 AWS Command Line Interface 示例创建了一个无需身份验证即可抓取公共网站的数据源。有关每个字段的描述，请参阅随后的连接器参数参考。

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

该webcrawler-managed-connector.json文件包含以下内容：

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

对于经过身份验证的站点BASIC_AUTH，authType将设置为FORMSAML、或，然后添加secretArn到connectionConfiguration。

对于托管知识库，CreateDataSource是异步的：操作完成后，数据源状态从过渡CREATING到AVAILABLE。

连接器参数

数据源配置使用以下连接器参数。要使用 Web 爬虫，请在中指定WEB为连接器类型。connectorParameters有关换行字段connectorParameters（例如deletionProtectionConfiguration和mediaExtractionConfiguration），请参阅连接数据来源。

身份验证凭证

如果您的网站需要身份验证，请将您的凭据存储在 AWS Secrets Manager 密钥中。密钥格式取决于您选择的身份验证类型。

基本身份验证 (BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

表单身份验证 (FORM)

对于基于表单的身份验证，请提供标识登录页面上的用户名字段、密码字段和提交按钮的 XPath 表达式。

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML 身份验证 () SAML

对于 SAML 身份验证，请为表单字段提供 SAML 身份提供商的登录页面 URL 和 XPath 表达式。

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

问题排查