Mengkonfigurasi cluster dan jaringan Apache Kafka yang dikelola sendiri untuk Lambda

Untuk menghubungkan fungsi Lambda Anda ke cluster Apache Kafka yang dikelola sendiri, Anda perlu mengkonfigurasi cluster Anda dengan benar dan jaringan yang berada di dalamnya. Halaman ini menjelaskan cara mengkonfigurasi cluster dan jaringan Anda. Jika cluster dan jaringan Anda sudah dikonfigurasi dengan benar, lihat Mengkonfigurasi sumber acara Apache Kafka yang dikelola sendiri untuk Lambda untuk mengkonfigurasi pemetaan sumber peristiwa.

Self-managed Pengaturan klaster Apache Kafka

Anda dapat meng-host cluster Apache Kafka yang dikelola sendiri dengan penyedia cloud seperti Confluent Cloud atau Redpanda, atau menjalankannya di infrastruktur Anda sendiri. Pastikan cluster Anda dikonfigurasi dengan benar dan dapat diakses dari jaringan tempat pemetaan sumber peristiwa Lambda terhubung.

Konfigurasikan keamanan jaringan

Untuk memberikan Lambda akses penuh ke Apache Kafka yang dikelola sendiri melalui pemetaan sumber acara Anda, cluster Anda harus menggunakan titik akhir publik (alamat IP publik), atau Anda harus menyediakan akses ke Amazon VPC tempat Anda membuat cluster.

Saat Anda menggunakan Apache Kafka yang dikelola sendiri dengan Lambda, buat titik AWS PrivateLink akhir VPC yang menyediakan akses fungsi Anda ke sumber daya di Amazon VPC Anda.

Buat titik akhir untuk menyediakan akses ke sumber daya berikut:

Atau, konfigurasikan gateway NAT pada setiap subnet publik di Amazon VPC. Untuk informasi selengkapnya, lihat Aktifkan akses internet untuk fungsi VPC-connected Lambda.

Saat Anda membuat pemetaan sumber peristiwa untuk Apache Kafka yang dikelola sendiri, Lambda memeriksa apakah Elastic Network Interfaces (ENI) sudah ada untuk subnet dan grup keamanan yang dikonfigurasi untuk Amazon VPC Anda. Jika Lambda menemukan ENI yang ada, ia mencoba untuk menggunakannya kembali. Jika tidak, Lambda membuat ENI baru untuk terhubung ke sumber peristiwa dan memanggil fungsi Anda.

Konfigurasikan grup keamanan untuk Amazon VPC yang berisi cluster Anda. Secara default, Apache Kafka yang dikelola sendiri menggunakan port berikut:. 9092

Jika cluster Anda menggunakan otentikasi, Anda juga dapat membatasi kebijakan titik akhir untuk titik akhir Manajer Rahasia. Untuk memanggil API Manajer Rahasia, Lambda menggunakan peran fungsi Anda, bukan prinsipal layanan Lambda.

{
      "Statement": [
          {
              "Action": "secretsmanager:GetSecretValue",
              "Effect": "Allow",
              "Principal": {
                  "AWS": [
                      "arn:aws::iam::123456789012:role/my-role"
                  ]
              },
              "Resource": "arn:aws::secretsmanager:us-west-2:123456789012:secret:my-secret"
          }
      ]
  }

Saat Anda menggunakan titik akhir Amazon VPC, AWS rute panggilan API Anda untuk memanggil fungsi Anda menggunakan Antarmuka Jaringan Elastis (ENI) titik akhir. Prinsip layanan Lambda perlu memanggil lambda:InvokeFunction peran dan fungsi apa pun yang menggunakan ENI tersebut.

Secara default, titik akhir Amazon VPC memiliki kebijakan IAM terbuka yang memungkinkan akses luas ke sumber daya. Praktik terbaik adalah membatasi kebijakan ini untuk melakukan tindakan yang diperlukan menggunakan titik akhir tersebut. Untuk memastikan bahwa pemetaan sumber peristiwa Anda dapat memanggil fungsi Lambda Anda, kebijakan titik akhir VPC harus mengizinkan prinsipal layanan Lambda untuk memanggil dan. sts:AssumeRole lambda:InvokeFunction Membatasi kebijakan titik akhir VPC Anda untuk mengizinkan hanya panggilan API yang berasal dari organisasi Anda mencegah pemetaan sumber peristiwa berfungsi dengan baik, sehingga "Resource": "*" diperlukan dalam kebijakan ini.

Contoh kebijakan titik akhir VPC berikut menunjukkan cara memberikan akses yang diperlukan ke prinsipal layanan Lambda untuk titik akhir AWS STS dan Lambda.

{
      "Statement": [
          {
              "Action": "sts:AssumeRole",
              "Effect": "Allow",
              "Principal": {
                  "Service": [
                      "lambda.amazonaws.com"
                  ]
              },
              "Resource": "*"
          }
      ]
    }

{
      "Statement": [
          {
              "Action": "lambda:InvokeFunction",
              "Effect": "Allow",
              "Principal": {
                  "Service": [
                      "lambda.amazonaws.com"
                  ]
              },
              "Resource": "*"
          }
      ]
  }