Conceitos básicos da ingestão de streaming do Amazon Kinesis Data Streams

Crie um perfil do IAM com uma política de confiança que permita que o cluster do Amazon Redshift ou o grupo de trabalho do Amazon Redshift sem servidor assuma o perfil. Para obter informações sobre como configurar a política de confiança da função do IAM, consulte Autorização do Amazon Redshift para acessar outros serviços da AWS em seu nome. Após sua criação, a função deve ter a seguinte política do IAM, que forneça permissão para comunicação com o fluxo de dados do Amazon Kinesis.

Política do IAM para um fluxo não criptografado do Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadStream",
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStreamSummary",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards",
                "kinesis:DescribeStream"
            ],
            "Resource": "arn:aws:kinesis:*:0123456789:stream/*"
        },
        {
            "Sid": "ListStream",
            "Effect": "Allow",
            "Action": "kinesis:ListStreams",
            "Resource": "*"
        }
    ]
}

Política do IAM para um fluxo criptografado do Kinesis Data Streams

{
	"Version": "2012-10-17",
	"Statement": [{
			"Sid": "ReadStream",
			"Effect": "Allow",
			"Action": [
				"kinesis:DescribeStreamSummary",
				"kinesis:GetShardIterator",
				"kinesis:GetRecords",
				"kinesis:ListShards",
				"kinesis:DescribeStream"
			],
			"Resource": "arn:aws:kinesis:*:0123456789:stream/*"
		},
		{
			"Sid": "DecryptStream",
			"Effect": "Allow",
			"Action": [
				"kms:Decrypt"
			],
			"Resource": "arn:aws:kms:us-east-1:0123456789:key/1234abcd-12ab-34cd-56ef-1234567890ab"
		}, 
        {
			"Sid": "ListStream",
			"Effect": "Allow",
			"Action": "kinesis:ListStreams",
			"Resource": "*"
		}
	]
}

Confira a VPC e verifique se o cluster do Amazon Redshift ou do Amazon Redshift sem servidor tem uma rota para chegar aos endpoints do Kinesis Data Streams pela internet usando um gateway NAT ou gateway da Internet. Se você quiser que o tráfego entre o Redshift e o Kinesis Data Streams permaneça na rede da AWS, considere usar um endpoint da VPC de interface do Kinesis. Para obter mais informações, consulte Usar o Amazon Kinesis Data Streams com endpoints da VPC de interface.

No Amazon Redshift, crie um esquema externo para mapear os dados do Kinesis para um esquema.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
IAM_ROLE { default | 'iam-role-arn' };

A ingestão de streaming para o Kinesis Data Streams não exige um tipo de autenticação. Ele usa o perfil do IAM definido na instrução CREATE EXTERNAL SCHEMA para fazer solicitações do Kinesis Data Streams.

Opcional: use a palavra-chave REGION para especificar a região em que o fluxo do Amazon Kinesis Data Streams ou do Amazon MSK reside.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
REGION 'us-west-2'
IAM_ROLE { default | 'iam-role-arn' };

Neste exemplo, a região especifica a localização do fluxo de origem. IAM_ROLE é um exemplo.

Crie uma exibição materializada para consumir os dados da transmissão. Com uma declaração como a seguinte, se não for possível analisar um registro, será gerado um erro. Use um comando como esse se você não quiser que os registros de erro sejam ignorados.

CREATE MATERIALIZED VIEW my_view AUTO REFRESH YES AS
SELECT *
FROM kds.my_stream_name;

Nomes de transmissão do Kinesis fazem distinção entre maiúsculas e minúsculas e podem conter tanto maiúsculas quanto minúsculas. Para ingerir fluxos com nomes em letras maiúsculas, é possível definir a configuração enable_case_sensitive_identifier como true no nível do banco de dados. Para obter mais informações, consulte Nomes e identificadores e enable_case_sensitive_identifier.

Para ativar a atualização automática, use AUTO REFRESH YES. O comportamento padrão é atualização manual. Observe que, ao usar CAN_JSON_PARSE, é possível que os registros que não podem ser analisados sejam ignorados.

As colunas de metadados incluem o seguinte:

É importante observar que, se você tiver uma lógica de negócios na definição de visão materializada, erros nesse lógica poderão causar bloqueios na ingestão de streaming em alguns casos. Isso pode fazer com que você precise descartar e recriar a visão materializada. Para evitar isso, recomendamos manter a lógica o mais simples possível e realizar a maioria das verificações de lógica de negócios nos dados após a ingestão.

Atualize a visão, o que invoca o Redshift para ler pelo fluxo e carregar dados na visão materializada.

REFRESH MATERIALIZED VIEW my_view;

Consulte dados na exibição materializada.

select * from my_view;