Memulai dengan konsumsi streaming dari sumber Apache Kafka

Di Amazon Redshift, buat skema eksternal untuk dipetakan ke cluster Apacke Kafka. Sintaksnya adalah sebagai berikut:

CREATE EXTERNAL SCHEMA MySchema
FROM KAFKA
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'};

Dalam FROM klausa, KAFKA menunjukkan bahwa skema memetakan data dari sumber Apache Kafka.

AUTHENTICATIONmenunjukkan jenis otentikasi untuk konsumsi streaming. Ada tiga jenis yang tersedia:

Perhatikan bahwa otentikasi Amazon MSK dengan nama pengguna dan kata sandi tidak didukung untuk konsumsi streaming.

AUTHENTICATION_ARNParameter menentukan ARN sertifikat ACM Mutual Transport Layer Security (MTL) yang Anda gunakan untuk membuat koneksi terenkripsi.

SECRET_ARNParameter menentukan arn AWS Secrets Manager rahasia yang berisi sertifikat yang akan digunakan oleh Amazon Redshift untuk MTL.

Contoh berikut menunjukkan cara mengatur URI broker untuk cluster Amazon MSK saat Anda membuat skema eksternal:

Menggunakan otentikasi IAM:

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

Tidak menggunakan otentikasi:

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

Menggunakan MTL:

CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'}

Untuk informasi selengkapnya tentang membuat skema eksternal, lihat MEMBUAT SKEMA EKSTERNAL.

Buat tampilan yang terwujud untuk mengkonsumsi data dari topik. Gunakan perintah SQL seperti contoh berikut.

CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

Nama topik Kafka peka huruf besar dan dapat berisi huruf besar dan kecil. Untuk mengambil dari topik dengan nama huruf besar, Anda dapat mengatur konfigurasi enable_case_sensitive_identifier ke true tingkat sesi atau database. Untuk informasi selengkapnya, lihat Nama dan pengidentifikasi dan enable _case_sensitive_identifier.

Untuk mengaktifkan penyegaran otomatis, gunakanAUTO REFRESH YES. Perilaku defaultnya adalah penyegaran manual.

Kolom metadata meliputi:

Penting untuk dicatat jika Anda memiliki logika bisnis dalam definisi tampilan terwujud yang mengakibatkan kesalahan logika bisnis, hal ini dapat mengakibatkan kegagalan penyerapan dalam penyerapan streaming dalam beberapa kasus. Ini mungkin menyebabkan Anda harus melepaskan dan membuat kembali tampilan yang terwujud. Untuk menghindari hal ini, kami sarankan Anda menjaga logika bisnis Anda tetap sederhana dan menjalankan logika tambahan pada data setelah Anda menelannya.

Segarkan tampilan, yang memanggil Amazon Redshift untuk membaca dari topik dan memuat data ke tampilan yang terwujud.

REFRESH MATERIALIZED VIEW MyView;

Data kueri dalam tampilan terwujud.

select * from MyView;

Tampilan terwujud diperbarui langsung dari topik saat REFRESH dijalankan. Anda membuat tampilan terwujud yang dipetakan ke sumber data topik Kafka. Anda dapat melakukan pemfilteran dan agregasi pada data sebagai bagian dari definisi tampilan yang terwujud. Tampilan terwujud penyerapan streaming Anda (tampilan terwujud dasar) hanya dapat mereferensikan satu topik Kafka, tetapi Anda dapat membuat tampilan terwujud tambahan yang bergabung dengan tampilan materialisasi dasar dan dengan tampilan atau tabel terwujud lainnya.