Tutorial: Menelan data ke dalam koleksi menggunakan Amazon OpenSearch Ingestion

Untuk membuat peran pipeline

1. Buka AWS Identity and Access Management konsol di https://console.aws.amazon.com/iamv2/.

2. Pilih Kebijakan, lalu pilih Buat kebijakan.

3. Pilih JSONdan tempel kebijakan berikut ke editor. Ubah koleksi ARN dan nama yang sesuai.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:us-east-1:your-account-id:collection/collection-id"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "collection-name"
           }
         }
       }
     ]
   }

4. Pilih Berikutnya, pilih Berikutnya, dan beri nama kebijakan Anda collection-pipeline-policy.

5. Pilih Buat kebijakan.

6. Selanjutnya, buat peran dan lampirkan kebijakan padanya. Pilih Peran, lalu pilih Buat peran.

7. Pilih Kebijakan kepercayaan khusus dan tempelkan kebijakan berikut ke editor:

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"osis-pipelines.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }

8. Pilih Berikutnya. Kemudian cari dan pilih collection-pipeline-policy(yang baru saja Anda buat).

9. Pilih Berikutnya dan beri nama peran PipelineRole.

10. Pilih Buat peran.

1. Arahkan ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

2. Pilih Koleksi dari navigasi kiri dan pilih Buat koleksi.

3. Sebutkan koleksi koleksi ingestion-.

4. Untuk Keamanan, pilih Standard create.

5. Di bawah Pengaturan akses jaringan, ubah jenis akses ke Publik.

6. Simpan semua pengaturan lain sebagai defaultnya dan pilih Berikutnya.

7. Sekarang, konfigurasikan kebijakan akses data untuk koleksi. Untuk metode Definisi, pilih JSONdan tempel kebijakan berikut ke editor. Kebijakan ini melakukan dua hal:

   • Memungkinkan peran pipeline untuk menulis ke koleksi.

   • Memungkinkan Anda membaca dari koleksi. Kemudian, setelah Anda memasukkan beberapa data sampel ke dalam pipeline, Anda akan menanyakan koleksi untuk memastikan bahwa data berhasil dicerna dan ditulis ke indeks.

     [
       {
         "Rules": [
           {
             "Resource": [
               "index/ingestion-collection/*"
             ],
             "Permission": [
               "aoss:CreateIndex",
               "aoss:UpdateIndex",
               "aoss:DescribeIndex",
               "aoss:ReadDocument",
               "aoss:WriteDocument"
             ],
             "ResourceType": "index"
           }
         ],
         "Principal": [
           "arn:aws:iam::your-account-id:role/PipelineRole",
           "arn:aws:iam::your-account-id:role/Admin"
         ],
         "Description": "Rule 1"
       }
     ]

8. Ganti Principal elemen. Prinsipal pertama harus menentukan peran pipeline yang Anda buat. Yang kedua harus menentukan pengguna atau peran yang dapat Anda gunakan untuk menanyakan koleksi nanti.

9. Pilih Berikutnya. Beri nama kebijakan akses pipeline-domain-accessdan pilih Berikutnya lagi.

10. Tinjau konfigurasi koleksi Anda dan pilih Kirim.

Untuk membuat pipa

1. Di dalam konsol OpenSearch Layanan Amazon, pilih Pipelines dari panel navigasi kiri.

2. Pilih Buat pipeline.

3. Pilih pipeline kosong, lalu pilih Select blueprint.

4. Beri nama pipeline serverless-ingestion dan pertahankan pengaturan kapasitas sebagai defaultnya.

5. Dalam tutorial ini, kita akan membuat sub-pipeline sederhana log-pipeline yang disebut yang menggunakan plugin HTTPsumber. Plugin menerima data log dalam format JSON array. Kami akan menentukan koleksi OpenSearch Tanpa Server tunggal sebagai wastafel, dan menelan semua data ke dalam indeks. my_logs

   Di bawah konfigurasi Pipeline, tempelkan YAML konfigurasi berikut ke editor:

   version: "2"
   log-pipeline:
     source:
       http:
         path: "/${pipelineName}/test_ingestion_path"
     processor:
       - date:
           from_time_received: true
           destination: "@timestamp"
     sink:
       - opensearch:
           hosts: [ "https://collection-id.us-east-1.aoss.amazonaws.com" ]
           index: "my_logs"
           aws:
             sts_role_arn: "arn:aws:iam::your-account-id:role/PipelineRole"
             region: "us-east-1"
             serverless: true

6. Ganti hosts URL dengan titik akhir koleksi yang Anda buat di bagian sebelumnya. Ganti sts_role_arn parameter dengan ARN dariPipelineRole. Secara opsional, modifikasi. region

7. Pilih Validasi pipeline dan pastikan validasi berhasil.

8. Untuk kesederhanaan dalam tutorial ini, kita akan mengkonfigurasi akses publik untuk pipeline. Di bawah Jaringan, pilih Akses publik.

   Untuk informasi tentang mengonfigurasi VPC akses, lihatMengkonfigurasi akses VPC untuk saluran pipa Amazon Ingestion OpenSearch .

9. Tetap aktifkan penerbitan log jika Anda mengalami masalah saat menyelesaikan tutorial ini. Untuk informasi selengkapnya, lihat Memantau log.

   Tentukan nama grup log berikut: /aws/vendedlogs/OpenSearchIngestion/serverless-ingestion/audit-logs

10. Pilih Berikutnya. Tinjau konfigurasi pipeline Anda dan pilih Create pipeline. Pipa membutuhkan waktu 5-10 menit untuk menjadi aktif.