Tutorial: Menelan data ke dalam koleksi menggunakan Amazon OpenSearch Ingestion

Untuk membuat peran pipeline

1. Buka AWS Identity and Access Management konsol di https://console.aws.amazon.com/iamv2/.

2. Pilih Kebijakan, lalu pilih Buat kebijakan.

3. Pilih JSON dan tempelkan kebijakan berikut ke editor.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. Pilih Berikutnya, pilih Berikutnya, dan beri nama kebijakan Anda collection-pipeline-policy.

5. Pilih Buat kebijakan.

6. Selanjutnya, buat peran dan lampirkan kebijakan padanya. Pilih Peran, lalu pilih Buat peran.

7. Pilih Kebijakan kepercayaan khusus dan tempelkan kebijakan berikut ke editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Pilih Berikutnya. Kemudian cari dan pilih collection-pipeline-policy(yang baru saja Anda buat).

9. Pilih Berikutnya dan beri nama peran PipelineRole.

10. Pilih Buat peran.

1. Arahkan ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/home.

2. Pilih Koleksi dari navigasi kiri dan pilih Buat koleksi.

3. Sebutkan koleksi koleksi ingestion-.

4. Di bawah Pengaturan akses jaringan, ubah jenis akses ke Publik.

5. Simpan semua pengaturan lain sebagai defaultnya dan pilih Berikutnya.

6. Untuk metode Definisi, pilih JSON dan tempel kebijakan berikut ke editor. Kebijakan ini melakukan dua hal:

   • Memungkinkan peran pipeline untuk menulis ke koleksi.

   • Memungkinkan Anda membaca dari koleksi. Kemudian, setelah Anda memasukkan beberapa data sampel ke dalam pipeline, Anda akan menanyakan koleksi untuk memastikan bahwa data berhasil dicerna dan ditulis ke indeks.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::{your-account-id}:role/PipelineRole",
           "arn:aws:iam::{your-account-id}:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

7. Ganti Principal elemen. Prinsipal pertama harus menentukan peran pipeline yang Anda buat. Yang kedua harus menentukan pengguna atau peran yang dapat Anda gunakan untuk menanyakan koleksi nanti.

8. Pilih Berikutnya. Beri nama kebijakan akses pipeline-domain-accessdan pilih Berikutnya lagi.

9. Tinjau konfigurasi koleksi Anda dan pilih Kirim.

Untuk membuat pipa

1. Di dalam konsol OpenSearch Layanan Amazon, pilih Pipelines dari panel navigasi kiri.

2. Pilih Buat pipeline.

3. Beri nama pipeline serverless-ingestion dan pertahankan pengaturan kapasitas sebagai defaultnya.

4. Dalam tutorial ini, kita akan membuat sub-pipeline sederhana log-pipeline yang disebut yang menggunakan plugin sumber HTTP. Plugin menerima data log dalam format array JSON. Kami akan menentukan koleksi OpenSearch Tanpa Server tunggal sebagai wastafel, dan menelan semua data ke dalam indeks. my_logs

   Di bawah konfigurasi Pipeline, tempelkan konfigurasi YAMAL berikut ke editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://{collection-id}.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::{your-account-id}:role/PipelineRole"
             region: "us-east-1"
             serverless: true

5. Ganti hosts URL dengan titik akhir koleksi yang Anda buat di bagian sebelumnya. Ganti sts_role_arn parameter dengan ARN dari. PipelineRole Secara opsional, modifikasi. region

6. Pilih Validasi pipeline dan pastikan validasi berhasil.

7. Untuk kesederhanaan dalam tutorial ini, kita akan mengkonfigurasi akses publik untuk pipeline. Di bawah Jaringan, pilih Akses publik.

   Untuk informasi tentang mengonfigurasi akses VPC, lihat. Mengkonfigurasi akses VPC untuk saluran pipa Amazon Ingestion OpenSearch

8. Tetap aktifkan penerbitan log jika Anda mengalami masalah saat menyelesaikan tutorial ini. Untuk informasi selengkapnya, lihat Memantau log.

   Tentukan nama grup log berikut: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

9. Pilih Berikutnya. Tinjau konfigurasi pipeline Anda dan pilih Create pipeline. Pipa membutuhkan waktu 5-10 menit untuk menjadi aktif.