기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

웹 크롤러

웹 크롤러는 관리형 지식 기반에서 사용하도록 지정한 URLs에 연결하고 크롤링합니다. 웹 크롤러는 크롤링 범위 및 제한에 따라 하위 링크에 따라 시드 URLs에서 시작하여 HTML 페이지를 통과합니다. 사이트맵 URLs 시작점으로 제공할 수도 있습니다. 웹 크롤러는 RFC 9309에 따라 robots.txt를 준수합니다.

지원되는 기능

인증 방법

웹 크롤러는 네 가지 인증 방법을 지원합니다. 대상 사이트가 사용자를 인증하는 방법과 일치하는 메서드를 선택합니다. 로그인이 없는 퍼블릭 사이트의 경우를 사용합니다NO_AUTH.

사전 조건

크롤링하려는 웹 사이트의 경우 다음을 확인합니다.

AWS 계정에서 다음을 확인합니다.

웹 크롤러 데이터 소스를 설정하는 방법

웹 크롤러 데이터 소스 설정에는 다음 단계가 포함됩니다.

데이터 소스 생성

Console

웹 크롤러를 관리형 지식 기반에 연결하려면

1. 데이터 소스에서 데이터 소스의 이름을 입력합니다.

2. 데이터 소스 드롭다운에서 웹 크롤러를 선택합니다.

3. 소스에서 소스 URLs(최대 10개의 시작점 URLs) 또는 소스 사이트맵(최대 3개의 사이트맵 URLs)을 선택합니다.

4. URLs 추가 텍스트 영역에 행당 하나씩 URLs 입력합니다.

5. 인증에서 인증 없음, 기본 인증, 양식 인증 또는 SAML 인증을 선택합니다. 인증 없음 이외의 방법의 경우 보안 AWS Secrets Manager 암호를 선택하거나 생성하여 자격 증명을 저장합니다.

6. (선택 사항) 동기화 범위를 확장하여 크롤링 깊이(0~10), URL당 최대 링크(1~1000), 분당 크롤링된 최대 URLs(1~300) 및 크롤링 범위: 기본(시드 URL과 동일한 호스트 및 동일한 초기 URL 경로), 호스트 전용(동일한 호스트, 모든 경로) 또는 하위 도메인(하위 도메인을 포함한 동일한 기본 도메인)을 설정합니다.

7. (선택 사항) URL 필터 패턴을 확장하여 특정 URLs을 포함하거나 제외하는 정규식을 추가합니다.

API

웹 크롤러 데이터 소스를 생성하려면 Agents for Amazon Bedrock 빌드 타임 엔드포인트를 사용하여 CreateDataSource 요청을 전송합니다. 다음 AWS Command Line Interface 예제에서는 인증 없이 퍼블릭 사이트를 크롤링하는 데이터 소스를 생성합니다. 각 필드에 대한 설명은 다음 커넥터 파라미터 참조를 참조하세요.

aws bedrock-agent create-data-source \
 --name "WebCrawler-connector" \
 --knowledge-base-id "your-knowledge-base-id" \
 --data-source-configuration file://webcrawler-managed-connector.json

webcrawler-managed-connector.json 파일에는 다음이 포함됩니다.

{
    "type": "MANAGED_KNOWLEDGE_BASE_CONNECTOR",
    "managedKnowledgeBaseConnectorConfiguration": {
        "connectorParameters": {
            "type": "WEB",
            "version": "1",
            "connectionConfiguration": {
                "seedUrls": [
                    "https://docs.example.com"
                ],
                "authType": "NO_AUTH"
            },
            "crawlConfiguration": {
                "crawlDepth": 3,
                "maxLinksPerUrl": 100,
                "maxCrawledUrlsPerMinute": 50,
                "syncScope": "SUB_DOMAINS",
                "crawlAttachments": true
            },
            "filterConfiguration": {
                "exclusionPatterns": [
                    "https://docs.example.com/private/.*"
                ]
            }
        }
    }
}

인증된 사이트의 경우를 BASIC_AUTH, FORM또는 authType로 설정하고를 secretArn에 SAML추가합니다connectionConfiguration.

관리형 지식 기반의 경우 CreateDataSource는 비동기식입니다. 작업이 완료되면 데이터 소스 상태가에서 AVAILABLE CREATING로 전환됩니다.

커넥터 파라미터

데이터 소스 구성은 다음 커넥터 파라미터를 사용합니다. 웹 크롤러를 사용하려면에서 커넥터 유형WEB으로를 지정합니다connectorParameters. 래핑되는 필드connectorParameters(예: deletionProtectionConfiguration 및 mediaExtractionConfiguration)는 섹션을 참조하세요데이터 소스 연결.

인증 자격 증명

웹 사이트에 인증이 AWS Secrets Manager 필요한 경우 보안 인증 정보를 보안 암호에 저장합니다. 보안 암호 형식은 선택한 인증 유형에 따라 다릅니다.

기본 인증(BASIC_AUTH)

{
    "userName": "your-username",
    "password": "your-password",
    "authentication": "BASIC_AUTH"
}

양식 인증(FORM)

양식 기반 인증의 경우 로그인 페이지에서 사용자 이름 필드, 암호 필드 및 제출 버튼을 식별하는 XPath 표현식을 제공합니다.

{
    "authentication": "FORM",
    "loginPageUrl": "https://example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

SAML 인증(SAML)

SAML 인증의 경우 양식 필드에 SAML 자격 증명 공급자의 로그인 페이지 URL 및 XPath 표현식을 제공합니다.

{
    "authentication": "SAML",
    "loginPageUrl": "https://your-idp.example.com/login",
    "userName": "your-username",
    "password": "your-password",
    "userNameFieldXpath": "//input[@name='username']",
    "passwordFieldXpath": "//input[@name='password']",
    "userNameButtonXpath": "//button[@type='submit']",
    "passwordButtonXpath": "//button[@type='submit']"
}

문제 해결