Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tutorial: Menelan data ke dalam domain menggunakan Amazon OpenSearch Ingestion

Tutorial ini menunjukkan cara menggunakan Amazon OpenSearch Ingestion untuk mengonfigurasi pipeline sederhana dan menyerap data ke dalam domain Layanan Amazon OpenSearch . Pipeline adalah sumber daya yang disediakan dan dikelola oleh OpenSearch Ingestion. Anda dapat menggunakan pipeline untuk memfilter, memperkaya, mengubah, menormalkan, dan mengumpulkan data untuk analitik dan visualisasi hilir di Layanan. OpenSearch

Tutorial ini memandu Anda melalui langkah-langkah dasar untuk mendapatkan pipeline dan berjalan dengan cepat. Untuk informasi selengkapnya, lihat Membuat jaringan pipa.

Anda akan menyelesaikan langkah-langkah berikut dalam tutorial ini:

Dalam tutorial, Anda akan membuat sumber daya berikut:

Izin yang diperlukan

Untuk menyelesaikan tutorial ini, Anda harus memiliki IAM izin yang benar. Pengguna atau peran Anda harus memiliki kebijakan berbasis identitas terlampir dengan izin minimum berikut. Izin ini memungkinkan Anda membuat peran pipeline (iam:Create), membuat atau memodifikasi domain (es:*), dan bekerja dengan pipelines (osis:*).

Selain itu, iam:PassRole izin diperlukan pada sumber daya peran pipa. Izin ini memungkinkan Anda untuk meneruskan peran pipeline ke OpenSearch Ingestion sehingga dapat menulis data ke domain.

{
   "Version":"2012-10-17",
   "Statement":[
      {
         "Effect":"Allow",
         "Resource":"*",
         "Action":[
            "osis:*",
            "iam:Create*",
            "es:*"
         ]
      },
      {
         "Resource":[
            "arn:aws:iam::your-account-id:role/PipelineRole"
         ],
         "Effect":"Allow",
         "Action":[
            "iam:PassRole"
         ]
      }
   ]
}

Langkah 1: Buat peran pipeline

Pertama, buat peran yang akan diasumsikan pipeline untuk mengakses sink domain OpenSearch Service. Anda akan menyertakan peran ini dalam konfigurasi pipeline nanti dalam tutorial ini.

Ingat Nama Sumber Daya Amazon (ARN) dari peran (misalnya,arn:aws:iam::your-account-id:role/PipelineRole). Anda akan membutuhkannya saat membuat pipeline Anda.

Langkah 2: Buat domain

Selanjutnya, buat domain bernama ingestion-domain untuk menyerap data ke dalam.

Arahkan ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah dan buat domain yang memenuhi persyaratan berikut:

Domain harus memiliki kebijakan akses yang memberikan izinPipelineRole, yang Anda buat pada langkah sebelumnya. Pipeline akan mengambil peran ini (bernama sts_role_arn dalam konfigurasi pipeline) untuk mengirim data ke sink domain Service. OpenSearch

Pastikan domain memiliki kebijakan akses tingkat domain berikut, yang memberikan PipelineRole akses ke domain. Ganti Region dan ID akun dengan milik Anda sendiri:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::your-account-id:role/PipelineRole"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:your-account-id:domain/ingestion-domain/*"
    }
  ]
}

Untuk informasi selengkapnya tentang membuat kebijakan akses tingkat domain, lihat Kebijakan akses berbasis sumber daya.

Jika Anda sudah memiliki domain yang dibuat, ubah kebijakan akses yang ada untuk memberikan izin di atas. PipelineRole

Langkah 3: Buat pipeline

Sekarang setelah Anda memiliki domain dan peran dengan hak akses yang sesuai, Anda dapat membuat pipeline.

Langkah 4: Menelan beberapa data sampel

Ketika status pipelineActive, Anda dapat mulai menelan data ke dalamnya. Anda harus menandatangani semua HTTP permintaan ke pipeline menggunakan Signature Version 4. Gunakan HTTP alat seperti Postman atau awscurl untuk mengirim beberapa data ke pipeline. Seperti halnya pengindeksan data langsung ke domain, memasukkan data ke dalam pipeline selalu memerlukan IAM peran atau kunci IAM akses dan kunci rahasia.

Pertama, dapatkan konsumsi URL dari halaman pengaturan Pipeline:

Kemudian, konsumsi beberapa data sampel. Permintaan berikut menggunakan awscurl untuk mengirim satu file log ke indeks: application_logs

awscurl --service osis --region us-east-1 \
    -X POST \
    -H "Content-Type: application/json" \
    -d '[{"time":"2014-08-11T11:40:13+00:00","remote_addr":"122.226.223.69","status":"404","request":"GET http://www.k2proxy.com//hello.html HTTP/1.1","http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)"}]' \
    https://pipeline-endpoint.us-east-1.osis.amazonaws.com/log-pipeline/test_ingestion_path

Anda harus melihat 200 OK tanggapan. Jika Anda mendapatkan kesalahan otentikasi, itu mungkin karena Anda menelan data dari akun terpisah daripada pipeline. Lihat Memperbaiki masalah izin.

Sekarang, kueri application_logs indeks untuk memastikan bahwa entri log Anda berhasil dicerna:

awscurl --service es --region us-east-1 \
     -X GET \
     https://search-ingestion-domain.us-east-1.es.amazonaws.com/application_logs/_search | json_pp

Sampel respon:

{
   "took":984,
   "timed_out":false,
   "_shards":{
      "total":1,
      "successful":5,
      "skipped":0,
      "failed":0
   },
   "hits":{
      "total":{
         "value":1,
         "relation":"eq"
      },
      "max_score":1.0,
      "hits":[
         {
            "_index":"application_logs",
            "_type":"_doc",
            "_id":"z6VY_IMBRpceX-DU6V4O",
            "_score":1.0,
            "_source":{
               "time":"2014-08-11T11:40:13+00:00",
               "remote_addr":"122.226.223.69",
               "status":"404",
               "request":"GET http://www.k2proxy.com//hello.html HTTP/1.1",
               "http_user_agent":"Mozilla/4.0 (compatible; WOW64; SLCC2;)",
               "@timestamp":"2022-10-21T21:00:25.502Z"
            }
         }
      ]
   }
}

Memperbaiki masalah izin

Jika Anda mengikuti langkah-langkah dalam tutorial dan Anda masih melihat kesalahan otentikasi ketika Anda mencoba untuk menelan data, itu mungkin karena peran yang menulis ke pipeline berbeda Akun AWS dari pipeline itu sendiri. Dalam hal ini, Anda perlu membuat dan mengambil peran yang secara khusus memungkinkan Anda untuk menelan data. Untuk petunjuk, silakan lihat Menyediakan akses konsumsi lintas akun.

Sumber daya terkait

Tutorial ini menyajikan kasus penggunaan sederhana menelan satu dokumen. HTTP Dalam skenario produksi, Anda akan mengonfigurasi aplikasi klien Anda (seperti Fluent Bit, Kubernetes, atau OpenTelemetry Collector) untuk mengirim data ke satu atau beberapa pipeline. Saluran pipa Anda kemungkinan akan lebih kompleks daripada contoh sederhana dalam tutorial ini.

Untuk mulai mengonfigurasi klien Anda dan menelan data, lihat sumber daya berikut: