Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Dioptimalkan untuk analisis log
OpenSearch Layanan Amazon yang dioptimalkan untuk analisis log adalah opsi mesin baru yang menggabungkan penyimpanan analitik kolumnar dengan pencarian teks lengkap dalam satu layanan terkelola. Dengan mesin yang Dioptimalkan, Anda mendapatkan kinerja harga yang jauh lebih baik untuk beban kerja analitik log. Anda juga menyimpan pencarian teks lengkap untuk penyelidikan insiden.
Gambaran umum
Mesin yang Dioptimalkan adalah mode mesin baru di Amazon OpenSearch Service. Anda menggunakan konsol, API, model keamanan, dan konfigurasi jaringan yang sama yang sudah Anda gunakan dengan mesin tujuan umum.
Dengan mesin yang Dioptimalkan, Anda mendapatkan peningkatan berikut untuk beban kerja analitik log:
-
Peningkatan kinerja harga — Kompresi kolumnar dan pemanfaatan instans yang efisien mengurangi biaya menjalankan analisis log dalam skala besar.
-
Penyimpanan berkurang - Format kolom Apache Parquet memampatkan data log secara signifikan dibandingkan dengan struktur pengindeksan tradisional.
-
Konsumsi lebih cepat - Jalur penulisan kolumnar vektor meningkatkan throughput konsumsi.
-
Kueri analitik yang lebih cepat — Eksekusi vektor pada data kolumnar mempercepat agregasi, filter, dan analisis tren.
-
Pencarian dan analitik terpadu — predikat Full-text penelusuran berjalan di dalam kueri analitik pada data yang sama, dalam satu layanan.
Tabel berikut membandingkan dua mode mesin.
| Mode mesin | Terbaik untuk |
|---|---|
| Tujuan Umum | Search-heavy dan beban kerja campuran dengan pembaruan yang sering (e-commerce, penemuan konten, pencarian aplikasi) |
| Dioptimalkan (Direkomendasikan untuk analisis log) | Append-only log dan analisis log pada skala multi-terabyte |
Kapan menggunakan setiap mode mesin
Gunakan mesin yang Dioptimalkan saat beban kerja Anda didominasi oleh agregasi, filter, dan analisis tren di atas log, dan Anda juga memerlukan pencarian teks lengkap selama insiden. Contohnya termasuk aplikasi, infrastruktur, dan analisis log keamanan pada skala multi-terabyte per hari.
Gunakan mesin Tujuan Umum saat beban kerja Anda bergantung pada peringkat relevansi, kueri objek bersarang, skrip tanpa rasa sakit, kueri geografis, penelusuran, atau pembaruan dokumen di tempat yang sering. vector/semantic Contohnya termasuk pencarian e-commerce, penemuan konten, dan pencarian aplikasi.
Cara kerjanya
Mesin yang Dioptimalkan menggunakan struktur data terbaik untuk setiap operasi. Mesin menyimpan data log dalam format kolom untuk analitik. Ini mempertahankan indeks pencarian untuk pencarian teks lengkap dan merutekan setiap kueri ke komponen yang paling cocok.
Tabel berikut menjelaskan komponen mesin yang Dioptimalkan.
| Komponen | Peran |
|---|---|
| Apache Parquet | Buka format penyimpanan kolumnar. Penyimpanan utama untuk data log. Memberikan pengurangan penyimpanan yang signifikan dibandingkan dengan struktur pengindeksan tradisional. |
| Indeks terbalik Lucene | Dipertahankan untuk pencarian teks lengkap pada konten log (frasa, fuzzy, pencocokan wildcard). |
| Apache Kalsit | SQL parser, planner, dan optimizer. Berjalan pada node koordinator sebagai ujung depan tunggal untuk semua bahasa kueri. |
| DataFusion | Mesin eksekusi vektor (). Rust-based Menjalankan operasi analitis (agregasi, filter, pemindaian rentang) pada data kolumnar. |
| Panah Apache | In-memory format kolom. Mengaktifkan transfer data tanpa salinan dan pemrosesan vektor. |
| Amazon S3 | Backing store yang tahan lama untuk file Parket dan segmen indeks terbalik. |
| OpenSearch UI | Antarmuka kueri dan visualisasi untuk domain yang Dioptimalkan (bilah kueri PPL, bantuan kueri bahasa alami). |
Data masuk melalui REST API dan pustaka klien yang ada (tidak diperlukan agen atau pipeline baru). Mesin menulis data ke Parket kolumnar untuk analitik. Untuk bidang yang dikonfigurasi sebagai dapat dicari, ia juga menulis ke indeks terbalik Lucene. PPL dan SQL mengeksekusi secara native melalui mesin vektor. Full-text predikat pencarian dijalankan pada indeks terbalik dan dapat dikombinasikan dengan analitik dalam satu pernyataan.
Kueri mengalir melalui node koordinator (merencanakan dan menggabungkan) dan node data (mengeksekusi dan menyimpan). Koordinator mem-parsing dan mengoptimalkan kueri, lalu menjadwalkan fragmen ke node data. Pada setiap node data, operasi analitis berjalan di DataFusion mesin sementara operasi pencarian berjalan di mesin Lucene. Keduanya dapat menyerahkan kueri tengah, jadi kueri yang mencari konten log dan mengumpulkan hasil berjalan tanpa perjalanan pulang-pergi tambahan.
Ketersediaan wilayah
OpenSearch Layanan Amazon yang dioptimalkan untuk analisis log tersedia dalam hal berikut Wilayah AWS:
AS Timur (Virginia Utara)–
us-east-1AS Timur (Ohio)–
us-east-2AS Barat (Oregon)–
us-west-2Kanada (Pusat)–
ca-central-1Asia Pasifik (Mumbai)
Asia Pasifik (Singapura)
Asia Pasifik (Sydney)
Asia Pasifik (Tokyo)
Eropa (Frankfurt)
Eropa (Irlandia)
Eropa (London)
Eropa (Spanyol)
