Menggunakan pemfilteran acara dengan sumber acara MSK Amazon

Anda dapat menggunakan pemfilteran peristiwa untuk mengontrol rekaman mana dari aliran atau antrian yang dikirim Lambda ke fungsi Anda. Untuk informasi umum tentang cara kerja penyaringan acara, lihatKontrol peristiwa mana yang dikirim Lambda ke fungsi Anda.

Bagian ini berfokus pada penyaringan acara untuk sumber acara MSK Amazon.

Dasar-dasar pemfilteran acara MSK Amazon

Misalkan produser menulis pesan ke topik di kluster MSK Amazon Anda, baik dalam format JSON yang valid atau sebagai string biasa. Contoh catatan akan terlihat seperti berikut ini, dengan pesan dikonversi ke string yang dikodekan Base64 di bidang. value

{
    "mytopic-0":[
        {
            "topic":"mytopic",
            "partition":0,
            "offset":15,
            "timestamp":1545084650987,
            "timestampType":"CREATE_TIME",
            "value":"SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
            "headers":[]
        }
    ]
}

Misalkan produser Apache Kafka Anda menulis pesan ke topik Anda dalam format JSON berikut.

{
    "device_ID": "AB1234",
    "session":{
        "start_time": "yyyy-mm-ddThh:mm:ss",
        "duration": 162
    }
}

Anda dapat menggunakan value kunci untuk memfilter catatan. Misalkan Anda ingin memfilter hanya catatan-catatan di mana device_ID dimulai dengan huruf AB. FilterCriteriaObjeknya adalah sebagai berikut.

{
    "Filters": [
        {
            "Pattern": "{ \"value\" : { \"device_ID\" : [ { \"prefix\": \"AB\" } ] } }"
        }
    ]
}

Untuk kejelasan tambahan, berikut adalah nilai filter yang Pattern diperluas di JSON biasa.

{
    "value": {
        "device_ID": [ { "prefix": "AB" } ]
      }
}

Anda dapat menambahkan filter menggunakan konsol, AWS CLI atau AWS SAM templat.

{ "value" : { "device_ID" : [ { "prefix":  "AB" } ] } }

Dengan Amazon MSK, Anda juga dapat memfilter catatan di mana pesan adalah string biasa. Misalkan Anda ingin mengabaikan pesan-pesan di mana string adalah “kesalahan”. FilterCriteriaObjek akan terlihat sebagai berikut.

{
    "Filters": [
        {
            "Pattern": "{ \"value\" : [ { \"anything-but\": [ \"error\" ] } ] }"
        }
    ]
}

Untuk kejelasan tambahan, berikut adalah nilai filter yang Pattern diperluas di JSON biasa.

{
    "value": [
        {
        "anything-but": [ "error" ]
        }
    ]
}

Anda dapat menambahkan filter menggunakan konsol, AWS CLI atau AWS SAM templat.

{ "value" : [ { "anything-but": [ "error" ] } ] }

Pesan MSK Amazon harus berupa string yang dikodekan UTF-8, baik string biasa atau dalam format JSON. Itu karena Lambda menerjemahkan array byte MSK Amazon ke UTF-8 sebelum menerapkan kriteria filter. Jika pesan Anda menggunakan pengkodean lain, seperti UTF-16 atau ASCII, atau jika format pesan tidak cocok dengan formatFilterCriteria, Lambda hanya memproses filter metadata. Tabel berikut merangkum perilaku spesifik: