Memulai dengan konsumsi streaming dari Amazon Kinesis Data Streams

Buat peran IAM dengan kebijakan kepercayaan yang memungkinkan klaster Amazon Redshift atau grup kerja Tanpa Server Amazon Redshift Anda untuk mengambil peran tersebut. Untuk informasi tentang cara mengonfigurasi kebijakan kepercayaan untuk peran IAM, lihat Mengotorisasi Amazon Redshift untuk mengakses layanan AWS lain atas nama Anda. Setelah dibuat, peran harus memiliki kebijakan IAM berikut, yang memberikan izin untuk komunikasi dengan aliran data Amazon Kinesis.

Kebijakan IAM untuk aliran tidak terenkripsi dari Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadStream",
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStreamSummary",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards",
                "kinesis:DescribeStream"
            ],
            "Resource": "arn:aws:kinesis:*:0123456789:stream/*"
        },
        {
            "Sid": "ListStream",
            "Effect": "Allow",
            "Action": "kinesis:ListStreams",
            "Resource": "*"
        }
    ]
}

Kebijakan IAM untuk aliran terenkripsi dari Kinesis Data Streams

{
	"Version": "2012-10-17",
	"Statement": [{
			"Sid": "ReadStream",
			"Effect": "Allow",
			"Action": [
				"kinesis:DescribeStreamSummary",
				"kinesis:GetShardIterator",
				"kinesis:GetRecords",
				"kinesis:ListShards",
				"kinesis:DescribeStream"
			],
			"Resource": "arn:aws:kinesis:*:0123456789:stream/*"
		},
		{
			"Sid": "DecryptStream",
			"Effect": "Allow",
			"Action": [
				"kms:Decrypt"
			],
			"Resource": "arn:aws:kms:us-east-1:0123456789:key/1234abcd-12ab-34cd-56ef-1234567890ab"
		}, 
        {
			"Sid": "ListStream",
			"Effect": "Allow",
			"Action": "kinesis:ListStreams",
			"Resource": "*"
		}
	]
}

Periksa VPC Anda dan verifikasi bahwa klaster Amazon Redshift atau Amazon Redshift Serverless memiliki rute untuk mencapai titik akhir Kinesis Data Streams melalui internet menggunakan gateway NAT atau gateway internet. Jika Anda ingin lalu lintas antara Redshift dan Kinesis Data Streams tetap berada dalam jaringan, pertimbangkan untuk menggunakan Titik Akhir AWS VPC Antarmuka Kinesis. Untuk informasi selengkapnya, lihat Menggunakan Amazon Kinesis Data Streams Kinesis Data Streams dengan Titik Akhir VPC Antarmuka.

Di Amazon Redshift, buat skema eksternal untuk memetakan data dari Kinesis ke skema.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
IAM_ROLE { default | 'iam-role-arn' };

Konsumsi streaming untuk Kinesis Data Streams tidak memerlukan jenis otentikasi. Ini menggunakan peran IAM yang didefinisikan dalam CREATE EXTERNAL SCHEMA pernyataan untuk membuat permintaan Kinesis Data Streams.

Opsional: Gunakan kata kunci REGION untuk menentukan wilayah tempat aliran MSK Amazon Kinesis Data Streams atau Amazon berada.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
REGION 'us-west-2'
IAM_ROLE { default | 'iam-role-arn' };

Dalam sampel ini, wilayah menentukan lokasi aliran sumber. IAM_ROLE adalah contoh.

Buat tampilan terwujud untuk menggunakan data aliran. Dengan pernyataan seperti berikut ini, jika catatan tidak dapat diuraikan, itu menyebabkan kesalahan. Gunakan perintah seperti ini jika Anda tidak ingin catatan kesalahan dilewati.

CREATE MATERIALIZED VIEW my_view AUTO REFRESH YES AS
SELECT *
FROM kds.my_stream_name;

Nama aliran Kinesis peka huruf besar/kecil dan dapat berisi huruf besar dan kecil. Untuk menyerap dari aliran dengan nama huruf besar, Anda dapat mengatur konfigurasi enable_case_sensitive_identifier ke true tingkat database. Untuk informasi selengkapnya, lihat Nama dan pengenal dan enable_case_sensitive_identifier.

Untuk mengaktifkan penyegaran otomatis, gunakanAUTO REFRESH YES. Perilaku default adalah penyegaran manual. Catatan ketika Anda menggunakan CAN_JSON_PARSE, ada kemungkinan bahwa rekaman yang tidak dapat diuraikan dilewati.

Kolom metadata meliputi yang berikut:

Penting untuk dicatat jika Anda memiliki logika bisnis dalam definisi tampilan terwujud bahwa kesalahan logika bisnis dapat menyebabkan konsumsi streaming diblokir dalam beberapa kasus. Ini mungkin menyebabkan Anda harus menjatuhkan dan membuat ulang tampilan yang terwujud. Untuk menghindari hal ini, kami sarankan Anda menjaga logika Anda sesederhana mungkin dan melakukan sebagian besar pemeriksaan logika bisnis Anda pada data setelah tertelan.

Segarkan tampilan, yang memanggil Redshift untuk membaca dari aliran dan memuat data ke tampilan terwujud.

REFRESH MATERIALIZED VIEW my_view;

Data kueri dalam tampilan terwujud.

select * from my_view;