Membuat saluran pipa Amazon OpenSearch Ingestion

Untuk membuat pipa

1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

2. Pilih Pipelines di panel navigasi kiri dan pilih Create pipeline.

3. Pilih pipeline kosong, atau pilih cetak biru konfigurasi. Cetak biru mencakup file konfigurasi YAML dan konfigurasi yang telah JSON dikonfigurasi untuk berbagai kasus penggunaan umum. Untuk informasi selengkapnya, lihat Menggunakan cetak biru untuk membuat pipeline.

   Pilih Pilih cetak biru.

4. Masukkan nama untuk alur.

5. (Opsional) Pilih Aktifkan buffer persisten. Buffer persisten menyimpan data Anda dalam buffer berbasis disk di beberapa. AZs Untuk informasi lebih lanjut, lihat Buffering persisten. Jika Anda mengaktifkan buffer persisten, pilih AWS Key Management Service kunci untuk mengenkripsi data buffer.

6. Konfigurasikan kapasitas pipa minimum dan maksimum di Unit OpenSearch Komputasi Tertelan (). OCUs Untuk informasi selengkapnya, lihat Penskalaan pipa.

7. Di bawah konfigurasi Pipeline, berikan konfigurasi pipeline Anda dalam YAML format. Jika Anda menggunakan cetak biru, konfigurasi sudah diisi sebelumnya, tetapi Anda harus membuat beberapa modifikasi.

   File konfigurasi pipeline tunggal dapat berisi 1-10 sub-pipeline. Setiap sub-pipa adalah kombinasi dari satu sumber, nol atau lebih prosesor, dan satu wastafel. Untuk OpenSearch Ingestion, wastafel harus selalu menjadi domain OpenSearch Layanan. Untuk daftar opsi yang didukung, lihatPlugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion.

   catatan

   Anda harus menyertakan sts_role_arn opsi di setiap sub-pipeline. Pipeline mengasumsikan peran yang ditentukan sts_role_arn untuk menandatangani permintaan ke domain. Untuk informasi selengkapnya, lihat Memberikan akses saluran pipa Amazon OpenSearch Ingestion ke domain.

   Contoh file konfigurasi berikut menggunakan plugin HTTP sumber dan Grok untuk memproses data log yang tidak terstruktur dan mengirimkannya ke domain Layanan. OpenSearch Sub-pipeline diberi namalog-pipeline.

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/log/ingest"
     processor:
       - grok:
           match:
             log: [ '%{COMMONAPACHELOG}' ]
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://search-my-domain.us-east-1.es.amazonaws.com" ]
           index: "apache_logs"
           aws:
             sts_role_arn: "arn:aws:iam::123456789012:role/{pipeline-role}"
             region: "us-east-1"

   Anda dapat membuat konfigurasi pipeline sendiri, atau memilih Unggah file dan mengimpor konfigurasi yang ada untuk pipeline Persiapan Data yang dikelola sendiri. Atau, Anda dapat menggunakan cetak biru konfigurasi.

8. Setelah mengonfigurasi pipeline, pilih Validasi pipeline untuk mengonfirmasi bahwa konfigurasi sudah benar. Jika validasi gagal, perbaiki kesalahan dan jalankan kembali validasi.

9. Di bawah Konfigurasi jaringan, pilih VPCakses atau akses Publik. Jika Anda memilih Akses publik, lewati ke langkah berikutnya. Jika Anda memilih VPCakses, konfigurasikan pengaturan berikut:

   Pengaturan	Deskripsi
   Manajemen titik akhir	Pilih apakah Anda ingin membuat VPC titik akhir Anda sendiri, atau minta OpenSearch Ingestion membuatnya untuk Anda. Manajemen endpoint default ke endpoint yang dikelola oleh Ingestion. OpenSearch
   VPC	Pilih ID virtual private cloud (VPC) yang ingin Anda gunakan. Pipa VPC dan pipa harus sama Wilayah AWS.
   Subnet	Pilih satu atau lebih subnet. OpenSearch Layanan akan menempatkan VPC titik akhir dan antarmuka jaringan elastis di subnet.
   Grup keamanan	Pilih satu atau beberapa grup VPC keamanan yang memungkinkan aplikasi yang Anda butuhkan mencapai pipeline OpenSearch Ingestion pada port (80 atau 443) dan protokol (atau) yang diekspos oleh pipeline. HTTP HTTPs
   VPCopsi lampiran	Jika sumber Anda adalah titik akhir yang dikelola sendiri, lampirkan pipeline Anda ke file. VPC Pilih salah satu CIDR opsi default yang disediakan, atau gunakan kustomCIDR.

   Untuk informasi selengkapnya, lihat Mengkonfigurasi akses VPC untuk saluran pipa Amazon Ingestion OpenSearch .

10. (Opsional) Di bawah Tag, tambahkan satu atau beberapa tag (pasangan nilai kunci) ke pipeline Anda. Untuk informasi selengkapnya, lihat Menandai jaringan pipa Amazon OpenSearch Ingestion.

11. (Opsional) Di bawah opsi penerbitan Log, aktifkan penerbitan log pipeline ke Amazon CloudWatch Logs. Kami menyarankan Anda mengaktifkan penerbitan log sehingga Anda dapat lebih mudah memecahkan masalah pipeline. Untuk informasi selengkapnya, lihat Memantau log.

12. Pilih Berikutnya.

13. Tinjau konfigurasi pipeline Anda dan pilih Buat.