View a markdown version of this page

Merayapi halaman web untuk basis pengetahuan Anda - Amazon Bedrock
Fitur yang didukungPrasyaratKonfigurasi koneksi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Merayapi halaman web untuk basis pengetahuan Anda

penting

Untuk akurasi pengambilan yang dioptimalkan dan pengalaman terkelola, kami merekomendasikan Basis Pengetahuan Terkelola Amazon Bedrock.

Web Crawler yang disediakan Amazon Bedrock menghubungkan dan merayapi URL yang telah Anda pilih untuk digunakan dalam basis pengetahuan Amazon Bedrock Anda. Anda dapat merayapi halaman situs web sesuai dengan cakupan atau batasan yang ditetapkan untuk URL yang dipilih. Anda dapat merayapi halaman situs web menggunakan Konsol AWS Manajemen untuk Amazon Bedrock atau CreateDataSource API (lihat SDK yang didukung Amazon Bedrock dan). AWS CLI Saat ini, hanya Amazon OpenSearch Serverless vector store yang tersedia untuk digunakan dengan sumber data ini.

catatan

Konektor sumber data Web Crawler sedang dalam rilis pratinjau dan dapat berubah.

Saat memilih situs web untuk di-crawl, Anda harus mematuhi Kebijakan Penggunaan yang Dapat Diterima Amazon dan semua persyaratan Amazon lainnya. Ingatlah bahwa Anda hanya boleh menggunakan Perayap Web untuk mengindeks halaman web Anda sendiri, atau halaman web yang Anda miliki otorisasi untuk merayapi dan harus menghormati konfigurasi robots.txt..

Web Crawler menghormati robots.txt sesuai dengan RFC 9309

Ada batasan berapa banyak item konten halaman web dan MB per item konten yang dapat dirayapi. Lihat Kuota untuk basis pengetahuan.

Fitur yang didukung

Web Crawler menghubungkan ke dan merayapi halaman HTML mulai dari URL benih, melintasi semua tautan anak di bawah domain dan jalur utama teratas yang sama. Jika salah satu halaman HTML mereferensikan dokumen yang didukung, Web Crawler akan mengambil dokumen-dokumen ini, terlepas dari apakah mereka berada dalam domain utama teratas yang sama. Anda dapat mengubah perilaku crawling dengan mengubah konfigurasi crawling - lihat. Konfigurasi koneksi

Berikut ini didukung bagi Anda untuk:

  • Pilih beberapa URL sumber untuk di-crawl dan atur cakupan URL untuk merayapi hanya host atau juga menyertakan subdomain.

  • Merayapi halaman web statis yang merupakan bagian dari URL sumber Anda.

  • Tentukan akhiran Agen Pengguna khusus untuk menetapkan aturan untuk crawler Anda sendiri.

  • Sertakan atau kecualikan URL tertentu yang cocok dengan pola filter.

  • Hormati arahan robots.txt standar seperti 'Allow' dan 'Disallow'.

  • Batasi cakupan URL yang akan di-crawl dan secara opsional mengecualikan URL yang cocok dengan pola filter.

  • Batasi tingkat crawling URL dan jumlah maksimum halaman yang akan di-crawl.

  • Melihat status URL yang dirayapi di Amazon CloudWatch

Prasyarat

Untuk menggunakan Web Crawler, pastikan Anda:.

  • Periksa apakah Anda berwenang untuk merayapi URL sumber Anda.

  • Periksa jalur ke robots.txt yang sesuai dengan URL sumber Anda tidak memblokir URL agar tidak di-crawl. Web Crawler mematuhi standar robots.txt: secara disallow default jika robots.txt tidak ditemukan untuk situs web. Web Crawler menghormati robots.txt sesuai dengan RFC 9309. Anda juga dapat menentukan akhiran header Agen Pengguna kustom untuk menetapkan aturan untuk crawler Anda sendiri. Untuk informasi selengkapnya, lihat Akses URL Perayap Web dalam Konfigurasi koneksi petunjuk di halaman ini.

  • Akti CloudWatch fkan pengiriman Log dan ikuti contoh log Web Crawler untuk melihat status pekerjaan penyerapan data Anda untuk menelan konten web, dan jika URL tertentu tidak dapat diambil.

catatan

Saat memilih situs web untuk di-crawl, Anda harus mematuhi Kebijakan Penggunaan yang Dapat Diterima Amazon dan semua persyaratan Amazon lainnya. Ingatlah bahwa Anda hanya boleh menggunakan Web Crawler untuk mengindeks halaman web Anda sendiri, atau halaman web yang Anda memiliki otorisasi untuk merayapi.

Konfigurasi koneksi

Untuk informasi selengkapnya tentang cakupan sinkronisasi untuk merayapi URL, inclusion/exclusion filter, akses URL, sinkronisasi tambahan, dan cara kerjanya, pilih yang berikut ini:

Anda dapat membatasi cakupan URL yang akan di-crawl berdasarkan hubungan spesifik URL setiap halaman dengan URL benih. Untuk perayapan yang lebih cepat, Anda dapat membatasi URL ke URL dengan host yang sama dan jalur URL awal dari URL benih. Untuk perayapan yang lebih luas, Anda dapat memilih untuk merayapi URL dengan host yang sama atau dalam subdomain apa pun dari URL benih.

Anda dapat memilih dari opsi berikut.

  • Default: Batasi crawling ke halaman web milik host yang sama dan dengan jalur URL awal yang sama. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/" maka hanya jalur ini dan halaman web yang memanjang dari jalur ini yang akan dirayapi, seperti "https://aws.amazon.com/bedrock/agents/”. Misalnya, URL saudara kandung seperti https://aws.amazon.com/ec2/ "" tidak dirayapi.

  • Hanya host: Batasi crawling ke halaman web milik host yang sama. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/“, maka halaman web dengan" https://aws.amazon.com "juga akan di-crawl, seperti"https://aws.amazon.com/ec2”.

  • Subdomain: Sertakan crawling halaman web apa pun yang memiliki domain utama yang sama dengan URL benih. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/" maka setiap halaman web yang berisi “amazon.com” (subdomain) akan dirayapi, seperti "”. https://www.amazon.com

catatan

Pastikan Anda tidak merayapi halaman web yang berpotensi berlebihan. Tidak disarankan untuk merayapi situs web besar, seperti wikipedia.org, tanpa filter atau batasan ruang lingkup. Merayapi situs web besar akan membutuhkan waktu yang sangat lama untuk merayapi.

Jenis file yang didukung akan dirayapi terlepas dari cakupannya dan jika tidak ada pola pengecualian untuk jenis file.

Web Crawler mendukung situs web statis.

Anda juga dapat membatasi laju crawling URL untuk mengontrol pembatasan kecepatan perayapan. Anda menetapkan jumlah maksimum URL yang dirayapi per host per menit. Selain itu, Anda juga dapat mengatur jumlah maksimum (hingga 25.000) dari total halaman web untuk di-crawl. Perhatikan bahwa jika jumlah total halaman web dari URL sumber melebihi maksimum yang ditetapkan, maka sync/ingestion pekerjaan sumber data Anda akan gagal.

Anda dapat menyertakan atau mengecualikan URL tertentu sesuai dengan cakupan Anda. Jenis file yang didukung akan dirayapi terlepas dari cakupannya dan jika tidak ada pola pengecualian untuk jenis file. Jika Anda menentukan filter penyertaan dan pengecualian dan keduanya cocok dengan URL, filter pengecualian akan diutamakan dan konten web tidak akan di-crawl.

penting

Filter pola ekspresi reguler bermasalah yang menyebabkan kem unduran bencana dan melihat ke depan ditolak.

Contoh pola filter ekspresi reguler untuk mengecualikan URL yang diakhiri dengan lampiran halaman web “.pdf” atau PDF: “.*\ .pdf$”

Contoh pola filter inklusi untuk hanya merayapi URL di bawah jalur tertentu: "https://www\ .example\. com/docs/. *”

Anda dapat menggunakan Web Crawler untuk merayapi halaman situs web yang Anda otorisasi untuk merayapi.

Saat memilih situs web untuk di-crawl, Anda harus mematuhi Kebijakan Penggunaan yang Dapat Diterima Amazon dan semua persyaratan Amazon lainnya. Ingatlah bahwa Anda hanya boleh menggunakan Web Crawler untuk mengindeks halaman web Anda sendiri, atau halaman web yang Anda memiliki otorisasi untuk merayapi.

Web Crawler menghormati robots.txt sesuai dengan RFC 9309

Anda dapat menentukan bot agen pengguna tertentu untuk 'Izinkan' atau 'Larang' agen pengguna untuk merayapi URL sumber Anda. Anda dapat memodifikasi file robots.txt situs web Anda untuk mengontrol cara Web Crawler merayapi URL sumber Anda. Perayap pertama-tama akan mencari bedrockbot-UUID aturan dan kemudian bedrockbot aturan generik di file robots.txt.

Anda juga dapat menambahkan akhiran User-Agent yang dapat digunakan untuk mengizinkan daftar perayap Anda di sistem perlindungan bot. Perhatikan bahwa akhiran ini tidak perlu ditambahkan ke robots.txt file untuk memastikan bahwa tidak ada yang dapat menyamar sebagai string Agen Pengguna. Misalnya, untuk mengizinkan Web Crawler merayapi semua konten situs web dan melarang crawling untuk robot lain, gunakan arahan berikut:

User-agent: bedrockbot-UUID # Amazon Bedrock Web Crawler
Allow: / # allow access to all pages
User-agent: * # any (other) robot
Disallow: / # disallow access to any pages

Setiap kali Web Crawler berjalan, ia mengambil konten untuk semua URL yang dapat dijangkau dari URL sumber dan yang cocok dengan cakupan dan filter. Untuk sinkronisasi inkremental setelah sinkronisasi pertama semua konten, Amazon Bedrock akan memperbarui basis pengetahuan Anda dengan konten baru dan yang dimodifikasi, dan akan menghapus konten lama yang tidak lagi ada. Kadang-kadang, crawler mungkin tidak dapat mengetahui apakah konten telah dihapus dari situs web; dan dalam hal ini akan membuat kesalahan di sisi melestarikan konten lama dalam basis pengetahuan Anda.

Untuk menyinkronkan sumber data Anda dengan basis pengetahuan Anda, gunakan StartIngestionJob API atau pilih basis pengetahuan Anda di konsol dan pilih Sin kronisasi di bagian ikhtisar sumber data.

penting

Semua data yang Anda sinkronkan dari sumber data akan tersedia bagi siapa saja yang bedrock:Retrieve memiliki izin untuk mengambil data. Ini juga dapat mencakup data apa pun dengan izin sumber data terkontrol. Untuk informasi selengkapnya, lihat Izin basis pengetahuan.

Console
Hubungkan sumber data Web Crawler ke basis pengetahuan Anda

  1. Ikuti langkah-langkah di Buat basis pengetahuan dengan menghubungkan ke sumber data di Amazon Bedrock Knowledge Bases dan pilih Web Crawler sebagai sumber data.

  2. Berikan nama dan deskripsi opsional untuk sumber data.

  3. Berikan URL Sumber dari URL yang ingin Anda jelajahi. Anda dapat menambahkan hingga 9 URL tambahan dengan memilih Tambahkan URL Sumber. Dengan memberikan URL sumber, Anda mengonfirmasi bahwa Anda berwenang untuk merayapi domainnya.

  4. Di bagian Peng aturan lanjutan, Anda dapat secara opsional mengonfigurasi yang berikut ini:

    • Kunci KMS untuk penyimpanan data transien. — Anda dapat mengenkripsi data sementara sambil mengubah data Anda menjadi penyematan dengan default Kunci yang dikelola AWS atau kunci KMS Anda sendiri. Untuk informasi selengkapnya, lihat Enkripsi penyimpanan data sementara selama konsumsi data.

    • Kebijakan penghapusan data — Anda dapat menghapus penyematan vektor untuk sumber data Anda yang disimpan di penyimpanan vektor secara default, atau memilih untuk mempertahankan data penyimpanan vektor.

  5. (Opsional) Berikan akhiran agen pengguna untuk Bedrock-UUID- yang mengidentifikasi crawler atau bot saat mengakses server web.

  6. Konfigurasikan yang berikut ini di bagian cakupan sinkronisasi:

    1. Pilih rentang domain Situs Web untuk merayapi URL sumber Anda:

      • Default: Batasi crawling ke halaman web milik host yang sama dan dengan jalur URL awal yang sama. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/" maka hanya jalur ini dan halaman web yang memanjang dari jalur ini yang akan dirayapi, seperti "https://aws.amazon.com/bedrock/agents/”. Misalnya, URL saudara kandung seperti https://aws.amazon.com/ec2/ "" tidak dirayapi.

      • Hanya host: Batasi crawling ke halaman web milik host yang sama. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/“, maka halaman web dengan" https://aws.amazon.com "juga akan di-crawl, seperti"https://aws.amazon.com/ec2”.

      • Subdomain: Sertakan crawling halaman web apa pun yang memiliki domain utama yang sama dengan URL benih. Misalnya, dengan URL benih "https://aws.amazon.com/bedrock/" maka setiap halaman web yang berisi “amazon.com” (subdomain) akan dirayapi, seperti "”. https://www.amazon.com

      catatan

      Pastikan Anda tidak merayapi halaman web yang berpotensi berlebihan. Tidak disarankan untuk merayapi situs web besar, seperti wikipedia.org, tanpa filter atau batasan ruang lingkup. Merayapi situs web besar akan membutuhkan waktu yang sangat lama untuk merayapi.

      Jenis file yang didukung akan di-crawl terlepas dari cakupannya dan jika tidak ada pola pengecualian untuk jenis file.

    2. Masukkan pelambatan maksimum kecepatan merangkak. Mengambil URL antara 1 dan 300 URL per host per menit. Kecepatan merangkak yang lebih tinggi meningkatkan beban tetapi membutuhkan waktu lebih sedikit.

    3. Masukkan halaman maksimum untuk sinkronisasi sumber data antara 1 dan 25000. Batasi jumlah maksimum halaman web yang dirayapi dari URL sumber Anda. Jika halaman web melebihi angka ini, sinkronisasi sumber data akan gagal dan tidak ada halaman web yang akan dicerna.

    4. Untuk pola URL Regex (opsional) Anda dapat menambahkan pola Ser takan atau K ecualikan pola dengan memasukkan pola ekspresi reguler di dalam kotak. Anda dapat menambahkan hingga 25 pola filter termasuk dan 25 mengecualikan dengan memilih Tambahkan pola baru. Pola termasuk dan mengecualikan dirayapi sesuai dengan ruang lingkup Anda. Jika ada konflik, pola pengecualian diutamakan.

  7. (Opsional) Di bagian Penguraian dan pemotongan konten, Anda dapat menyesuaikan cara mengurai dan memotong data Anda. Lihat sumber daya berikut untuk mempelajari lebih lanjut tentang penyesuaian ini:

  8. Lanjutkan untuk memilih model embeddings dan toko vektor. Untuk melihat langkah-langkah yang tersisa, kembali ke Buat basis pengetahuan dengan menghubungkan ke sumber data di Amazon Bedrock Knowledge Bases dan lanjutkan dari langkah setelah menghubungkan sumber data Anda.

API

Untuk menghubungkan basis pengetahuan ke sumber data menggunakan WebCrawler, kirim CreateDataSource permintaan dengan titik akhir waktu pembuatan Agen untuk Amazon Bedrock, tentukan WEB di type bidang DataSourceConfiguration, dan sertakan bidang tersebut. webConfiguration Berikut ini adalah contoh konfigurasi Web Crawler untuk basis pengetahuan Amazon Bedrock Anda.

{
    "webConfiguration": {
        "sourceConfiguration": {
            "urlConfiguration": {
                "seedUrls": [{
                    "url": "https://www.examplesite.com"
                }]
            }
        },
        "crawlerConfiguration": {
            "crawlerLimits": {
                "rateLimit": 50,
                "maxPages": 100
            },
            "scope": "HOST_ONLY",
            "inclusionFilters": [
                "https://www\.examplesite\.com/.*\.html"
            ],
            "exclusionFilters": [
                "https://www\.examplesite\.com/contact-us\.html"
            ],
            "userAgent": "CustomUserAgent"
        }
    },
    "type": "WEB"
}

Untuk mempelajari tentang penyesuaian yang dapat Anda terapkan ke konsumsi dengan menyertakan vectorIngestionConfiguration bidang opsional, lihatSesuaikan konsumsi untuk sumber data.