Mengkonfigurasi cluster Amazon MSK dan jaringan Amazon VPC Anda untuk Lambda

Untuk menghubungkan AWS Lambda fungsi Anda ke cluster Amazon MSK Anda, Anda perlu mengonfigurasi cluster Anda dengan benar dan Amazon Virtual Private Cloud (VPC) tempat itu berada. Halaman ini menjelaskan cara mengonfigurasi cluster dan VPC Anda. Jika cluster dan VPC Anda sudah dikonfigurasi dengan benar, lihat Mengkonfigurasi sumber acara Amazon MSK untuk Lambda untuk mengonfigurasi pemetaan sumber peristiwa.

Ikhtisar persyaratan konfigurasi jaringan untuk integrasi Lambda dan MSK

Konfigurasi jaringan yang diperlukan untuk integrasi Lambda dan MSK tergantung pada arsitektur jaringan aplikasi Anda. Ada tiga sumber daya utama yang terlibat dalam integrasi ini: cluster Amazon MSK, fungsi Lambda, dan pemetaan sumber peristiwa Lambda. Masing-masing sumber daya ini berada di VPC yang berbeda:

Pemetaan sumber peristiwa adalah sumber daya perantara antara cluster MSK dan fungsi Lambda. Pemetaan sumber peristiwa memiliki dua pekerjaan utama. Pertama, ini mensurvei cluster MSK Anda untuk pesan baru. Kemudian, ia memanggil fungsi Lambda Anda dengan pesan-pesan tersebut. Karena ketiga sumber daya ini berada di VPC yang berbeda, operasi jajak pendapat dan pemanggilan memerlukan panggilan jaringan lintas VPC.

Persyaratan konfigurasi jaringan untuk pemetaan sumber peristiwa bergantung pada apakah ia menggunakan mode yang disediakan atau mode sesuai permintaan, seperti yang ditunjukkan pada diagram berikut:

Cara pemetaan sumber peristiwa Lambda melakukan polling cluster MSK Anda untuk pesan baru adalah sama di kedua mode. Untuk membuat koneksi antara pemetaan sumber peristiwa dan cluster MSK Anda, Lambda membuat ENI hyperplane (atau menggunakan kembali yang sudah ada, jika tersedia) di subnet pribadi Anda untuk membuat koneksi aman. Seperti yang diilustrasikan dalam diagram, hyperplane ENI ini menggunakan subnet dan konfigurasi grup keamanan cluster MSK Anda, bukan fungsi Lambda Anda.

Setelah melakukan polling pesan dari cluster, cara Lambda memanggil fungsi Anda berbeda di setiap mode:

Gateway NAT memungkinkan sumber daya di subnet pribadi Anda untuk mengakses internet publik. Menggunakan konfigurasi ini berarti lalu lintas Anda melintasi internet sebelum memanggil fungsi Lambda. AWS PrivateLink Endpoint memungkinkan subnet pribadi untuk terhubung dengan aman ke AWS layanan atau sumber daya VPC pribadi lainnya tanpa melintasi internet publik. Lihat Mengkonfigurasi gateway NAT untuk sumber peristiwa MSK atau Melakukan konfigurasi AWS PrivateLink titik akhir untuk sumber peristiwa MSK untuk detail tentang cara mengonfigurasi sumber daya ini.

Sejauh ini, kami telah mengasumsikan bahwa cluster MSK Anda berada di subnet pribadi dalam VPC Anda, yang merupakan kasus yang lebih umum. Namun, meskipun cluster MSK Anda berada di subnet publik dalam VPC Anda, Anda harus mengonfigurasi AWS PrivateLink titik akhir untuk mengaktifkan koneksi aman. Tabel berikut merangkum persyaratan konfigurasi jaringan berdasarkan cara Anda mengonfigurasi cluster MSK dan pemetaan sumber peristiwa Lambda:

Selain itu, grup keamanan yang terkait dengan cluster MSK Anda harus mengizinkan lalu lintas melalui port yang benar. Pastikan Anda memiliki aturan grup keamanan berikut yang dikonfigurasi:

Mengkonfigurasi gateway NAT untuk sumber peristiwa MSK

Anda dapat mengonfigurasi gateway NAT untuk mengizinkan pemetaan sumber peristiwa untuk pesan polling dari cluster Anda, dan memanggil fungsi dengan menggunakan jalur melalui VPC Anda. Ini hanya diperlukan jika pemetaan sumber peristiwa Anda menggunakan mode on-demand, dan cluster Anda berada dalam subnet pribadi VPC Anda. Jika cluster berada di subnet publik VPC, atau pemetaan sumber peristiwa menggunakan mode yang disediakan, Anda tidak perlu mengonfigurasi gateway NAT.

Gateway NAT memungkinkan sumber daya di subnet pribadi untuk mengakses internet publik. Jika Anda memerlukan konektivitas pribadi ke Lambda, lihat sebagai Melakukan konfigurasi AWS PrivateLink titik akhir untuk sumber peristiwa MSK gantinya.

Setelah mengkonfigurasi gateway NAT, Anda harus mengkonfigurasi tabel rute yang sesuai. Ini memungkinkan lalu lintas dari subnet pribadi Anda untuk mengarahkan ke internet publik melalui gateway NAT.

Langkah-langkah berikut memandu Anda melalui konfigurasi gateway NAT menggunakan konsol. Ulangi langkah-langkah ini seperlunya untuk setiap Availability Zone (AZ).

Melakukan konfigurasi AWS PrivateLink titik akhir untuk sumber peristiwa MSK

Anda dapat mengonfigur AWS PrivateLink asi titik akhir untuk pesan polling dari cluster Anda, dan memanggil fungsi dengan menggunakan jalur melalui VPC Anda. Titik akhir ini harus memungkinkan cluster MSK Anda mengakses yang berikut ini:

Mengon PrivateLink figurasi titik akhir hanya diperlukan jika pemetaan sumber peristiwa Anda menggunakan mode sesuai permintaan. Jika pemetaan sumber peristiwa Anda menggunakan mode yang disediakan, Lambda menetapkan koneksi yang diperlukan untuk Anda.

PrivateLink titik akhir memungkinkan akses aman dan pribadi ke AWS layanan di atas AWS PrivateLink. Atau, untuk mengonfigurasi gateway NAT untuk memberikan akses cluster MSK Anda ke internet publik, lihatMengkonfigurasi gateway NAT untuk sumber peristiwa MSK.

Setelah Anda mengonfigurasi titik akhir VPC, cluster MSK Anda harus memiliki akses langsung dan pribadi ke Lambda, STS, dan secara opsional, Manajer Rahasia.

Langkah-langkah berikut memandu Anda melalui konfigurasi PrivateLink titik akhir menggunakan konsol. Ulangi langkah-langkah ini seperlunya untuk setiap titik akhir (Lambda, STS, Secrets Manager).

Secara default, titik akhir Amazon VPC memiliki kebijakan IAM terbuka yang memungkinkan akses luas ke sumber daya. Praktik terbaik adalah membatasi kebijakan ini untuk melakukan tindakan yang diperlukan menggunakan titik akhir tersebut. Misalnya, untuk titik akhir Manajer Rahasia, Anda dapat mengubah kebijakannya sehingga hanya memungkinkan peran eksekusi fungsi Anda untuk mengakses rahasia.

{
    "Statement": [
        {
            "Action": "secretsmanager:GetSecretValue",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws::iam::123456789012:role/my-role"
                ]
            },
            "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
        }
    ]
}

Untuk titik akhir AWS STS dan Lambda, Anda dapat membatasi prinsipal panggilan ke prinsipal layanan Lambda. Namun, pastikan Anda menggunakannya "Resource": "*" dalam kebijakan ini.

{
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
} 

{
    "Statement": [
        {
            "Action": "lambda:InvokeFunction",
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "lambda.amazonaws.com"
                ]
            },
            "Resource": "*"
        }
    ]
}