Menggunakan pipeline OpenSearch Ingestion dengan Amazon DynamoDB

Anda dapat menggunakan pipeline OpenSearch Ingestion dengan DynamoDB untuk mengalirkan peristiwa tabel DynamoDB (seperti membuat, memperbarui, dan menghapus) ke domain dan koleksi Amazon Service. OpenSearch Pipeline OpenSearch Ingestion menggabungkan infrastruktur change data capture (CDC) untuk menyediakan cara berskala tinggi dan latensi rendah untuk terus mengalirkan data dari tabel DynamoDB.

Ada dua cara Anda dapat menggunakan DynamoDB sebagai sumber untuk memproses data—dengan dan tanpa snapshot awal penuh.

Snapshot awal lengkap adalah cadangan tabel yang diambil DynamoDB dengan point-in-time fitur recovery (). PITR DynamoDB mengunggah snapshot ini ke Amazon S3. Dari sana, pipa OpenSearch Ingestion mengirimkannya ke satu indeks dalam domain, atau mempartisinya ke beberapa indeks dalam domain. Untuk menjaga data di DynamoDB OpenSearch dan konsisten, pipeline menyinkronkan semua peristiwa buat, perbarui, dan hapus di tabel DynamoDB dengan dokumen yang disimpan dalam indeks atau indeks. OpenSearch

Saat Anda menggunakan snapshot awal penuh, pipeline OpenSearch Ingestion Anda pertama-tama akan menyerap snapshot dan kemudian mulai membaca data dari DynamoDB Streams. Ini akhirnya mengejar dan mempertahankan konsistensi data hampir real-time antara DynamoDB dan. OpenSearch Ketika Anda memilih opsi ini, Anda harus mengaktifkan keduanya PITR dan aliran DynamoDB di meja Anda.

Anda juga dapat menggunakan integrasi OpenSearch Ingestion dengan DynamoDB untuk melakukan streaming peristiwa tanpa snapshot. Pilih opsi ini jika Anda sudah memiliki snapshot lengkap dari beberapa mekanisme lain, atau jika Anda hanya ingin melakukan streaming peristiwa saat ini dari tabel DynamoDB dengan DynamoDB Streams. Ketika Anda memilih opsi ini, Anda hanya perlu mengaktifkan aliran DynamoDB di meja Anda.

Untuk informasi selengkapnya tentang integrasi ini, lihat DynamoDB nol ETL integrasi dengan OpenSearch Amazon Service di Amazon DynamoDB Panduan Pengembang.

Prasyarat

Untuk mengatur pipeline, Anda harus memiliki tabel DynamoDB dengan DynamoDB Streams diaktifkan. Streaming Anda harus menggunakan jenis tampilan NEW_IMAGE aliran. Namun, saluran pipa OpenSearch Ingestion juga dapat mengalirkan peristiwa NEW_AND_OLD_IMAGES jika jenis tampilan aliran ini sesuai dengan kasus penggunaan Anda.

Jika Anda menggunakan snapshot, Anda juga harus mengaktifkan point-in-time pemulihan di meja Anda. Untuk informasi selengkapnya, lihat Membuat tabel, Mengaktifkan point-in-time pemulihan, dan Mengaktifkan aliran di Panduan Pengembang Amazon DynamoDB.

Langkah 1: Konfigurasikan peran pipeline

Setelah tabel DynamoDB disiapkan, siapkan peran pipeline yang ingin Anda gunakan dalam konfigurasi pipeline, dan tambahkan izin DynamoDB berikut dalam peran:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "allowRunExportJob",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeTable",
                "dynamodb:DescribeContinuousBackups",
                "dynamodb:ExportTableToPointInTime"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table"
            ]
        },
        {
            "Sid": "allowCheckExportjob",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeExport"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table/export/*"
            ]
        },
        {
            "Sid": "allowReadFromStream",
            "Effect": "Allow",
            "Action": [
                "dynamodb:DescribeStream",
                "dynamodb:GetRecords",
                "dynamodb:GetShardIterator"
            ],
            "Resource": [
                "arn:aws:dynamodb:us-east-1:{account-id}:table/my-table/stream/*"
            ]
        },
        {
            "Sid": "allowReadAndWriteToS3ForExport",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:PutObject",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::my-bucket/{exportPath}/*"
            ]
        }
    ]
}

Anda juga dapat menggunakan kunci yang dikelola AWS KMS pelanggan untuk mengenkripsi file data ekspor. Untuk mendekripsi objek yang diekspor, tentukan s3_sse_kms_key_id ID kunci dalam konfigurasi ekspor pipa dengan format berikut:. arn:aws:kms:us-west-2:{account-id}:key/my-key-id Kebijakan berikut mencakup izin yang diperlukan untuk menggunakan kunci yang dikelola pelanggan:

{
    "Sid": "allowUseOfCustomManagedKey",
    "Effect": "Allow",
    "Action": [
        "kms:GenerateDataKey",
        "kms:Decrypt"
    ],
    "Resource": arn:aws:kms:us-west-2:{account-id}:key/my-key-id
}

Langkah 2: Buat pipa

Anda kemudian dapat mengonfigurasi pipeline OpenSearch Ingestion seperti berikut ini, yang menentukan DynamoDB sebagai sumbernya. Pipeline sampel ini menyerap data dari table-a PITR snapshot, diikuti oleh peristiwa dari DynamoDB Streams. Posisi awal LATEST menunjukkan bahwa pipeline harus membaca data terbaru dari DynamoDB Streams.

version: "2"
cdc-pipeline:
  source:
    dynamodb:
      tables:
      - table_arn: "arn:aws:dynamodb:us-west-2:{account-id}:table/table-a"  
        export:
          s3_bucket: "my-bucket"
          s3_prefix: "export/"
        stream:
          start_position: "LATEST"
      aws:
        region: "us-west-2"
        sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
  sink:
  - opensearch:
      hosts: ["https://search-mydomain.us-east-1.es.amazonaws.com"]
      index: "${getMetadata(\"table_name\")}"
      index_type: custom
      normalize_index: true
      document_id: "${getMetadata(\"primary_key\")}"
      action: "${getMetadata(\"opensearch_action\")}"
      document_version: "${getMetadata(\"document_version\")}"
      document_version_type: "external"

Anda dapat menggunakan cetak biru DynamoDB yang telah dikonfigurasi sebelumnya untuk membuat pipeline ini. Untuk informasi selengkapnya, lihat Menggunakan cetak biru untuk membuat pipeline.

Konsistensi data

OpenSearch Ingestion mendukung end-to-end pengakuan untuk memastikan daya tahan data. Ketika pipeline membaca snapshot atau stream, ia secara dinamis membuat partisi untuk pemrosesan paralel. Pipeline menandai partisi sebagai lengkap ketika menerima pengakuan setelah menelan semua catatan dalam OpenSearch domain atau koleksi.

Jika Anda ingin memasukkan ke dalam koleksi pencarian OpenSearch Tanpa Server, Anda dapat membuat ID dokumen di pipeline. Jika Anda ingin memasukkan koleksi deret waktu OpenSearch Tanpa Server, perhatikan bahwa pipeline tidak menghasilkan ID dokumen.

Pipeline OpenSearch Ingestion juga memetakan tindakan peristiwa yang masuk ke dalam tindakan pengindeksan massal yang sesuai untuk membantu menyerap dokumen. Ini membuat data tetap konsisten, sehingga setiap perubahan data di DynamoDB direkonsiliasi dengan perubahan dokumen yang sesuai. OpenSearch

Pemetaan tipe data

OpenSearch Layanan secara dinamis memetakan tipe data di setiap dokumen yang masuk ke tipe data yang sesuai di DynamoDB. Tabel berikut menunjukkan bagaimana OpenSearch Layanan secara otomatis memetakan berbagai tipe data.

{
 "template": {
  "mappings": {
   "properties": {
    "MixedNumberAttribute": {
     "type": "float"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "PartType": {
     "type": "keyword"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "ImageData": {
     "type": "binary"
    }
   }
  }
 }
}

{
 "template": {
  "mappings": {
   "properties": {
    "AdditionalDescriptions": {
     "properties": {
      "PartType": {
       "type": "keyword"
      }
     }
    }
   }
  }
 }
}

Kami menyarankan Anda mengonfigurasi antrian huruf mati (DLQ) di pipeline Ingestion Anda OpenSearch . Jika Anda telah mengonfigurasi antrian, OpenSearch Layanan mengirimkan semua dokumen gagal yang tidak dapat dicerna karena kegagalan pemetaan dinamis ke antrian.

Jika pemetaan otomatis gagal, Anda dapat menggunakan template_type dan template_content dalam konfigurasi pipeline untuk menentukan aturan pemetaan eksplisit. Atau, Anda dapat membuat templat pemetaan langsung di domain atau koleksi penelusuran sebelum memulai pipeline.

Batasan

Pertimbangkan batasan berikut saat Anda menyiapkan pipeline OpenSearch Ingestion untuk DynamoDB:

CloudWatch Alarm yang Disarankan untuk DynamoDB

CloudWatch Metrik berikut direkomendasikan untuk memonitiasi kinerja saluran konsumsi Anda. Metrik ini dapat membantu Anda mengidentifikasi jumlah data yang diproses dari ekspor, jumlah peristiwa yang diproses dari aliran, kesalahan dalam memproses ekspor dan peristiwa streaming, dan jumlah dokumen yang ditulis ke tujuan. Anda dapat mengatur CloudWatch alarm untuk melakukan tindakan ketika salah satu metrik ini melebihi nilai yang ditentukan untuk jangka waktu tertentu.