Introducción a la ingesta de streaming de Amazon Kinesis Data Streams

Cree un rol de IAM con una política de confianza que permita que el clúster de Amazon Redshift o el grupo de trabajo de Amazon Redshift sin servidor asuma el rol. Para obtener información sobre cómo configurar la política de confianza del rol de IAM, consulte Autorización a Amazon Redshift para acceder a otros servicios de AWS en su nombre. Una vez creado, el rol debe tener la siguiente política de IAM, que proporciona permiso para comunicarse con el flujo de datos de Amazon Kinesis.

Política de IAM para un flujo no cifrado de Kinesis Data Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadStream",
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStreamSummary",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards",
                "kinesis:DescribeStream"
            ],
            "Resource": "arn:aws:kinesis:*:0123456789:stream/*"
        },
        {
            "Sid": "ListStream",
            "Effect": "Allow",
            "Action": "kinesis:ListStreams",
            "Resource": "*"
        }
    ]
}

Política de IAM para un flujo cifrado de Kinesis Data Streams

{
	"Version": "2012-10-17",
	"Statement": [{
			"Sid": "ReadStream",
			"Effect": "Allow",
			"Action": [
				"kinesis:DescribeStreamSummary",
				"kinesis:GetShardIterator",
				"kinesis:GetRecords",
				"kinesis:ListShards",
				"kinesis:DescribeStream"
			],
			"Resource": "arn:aws:kinesis:*:0123456789:stream/*"
		},
		{
			"Sid": "DecryptStream",
			"Effect": "Allow",
			"Action": [
				"kms:Decrypt"
			],
			"Resource": "arn:aws:kms:us-east-1:0123456789:key/1234abcd-12ab-34cd-56ef-1234567890ab"
		}, 
        {
			"Sid": "ListStream",
			"Effect": "Allow",
			"Action": "kinesis:ListStreams",
			"Resource": "*"
		}
	]
}

Consulte la VPC y verifique que el clúster de Amazon Redshift o Amazon Redshift sin servidor dispone de una ruta para llegar a los puntos de conexión de Kinesis Data Streams a través de Internet mediante una puerta de enlace NAT o una puerta de enlace de Internet. Si desea que el tráfico entre Redshift y Kinesis Data Streams permanezca dentro de la red de AWS, considere la posibilidad de utilizar un punto de conexión de VPC de interfaz de Kinesis. Para obtener más información, consulte Using Amazon Kinesis Data Streams Kinesis Data Streams with Interface VPC Endpoints (Uso de Kinesis de Amazon Kinesis Data Streams con puntos de conexión de VPC de interfaz).

En Amazon Redshift, cree un esquema externo para asignar los datos de Kinesis a un esquema.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
IAM_ROLE { default | 'iam-role-arn' };

La ingesta de streaming para el flujo de datos de Kinesis no requiere ningún tipo de autenticación. Utiliza el rol de IAM definido en la instrucción CREATE EXTERNAL SCHEMA para realizar solicitudes de flujo de datos de Kinesis.

Opcional: Utilice la palabra clave REGION para especificar la región en la que reside la transmisión de Amazon Kinesis Data Streams o Amazon MSK.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
REGION 'us-west-2'
IAM_ROLE { default | 'iam-role-arn' };

En este ejemplo, la región especifica la ubicación del flujo de origen. El IAM_ROLE es un ejemplo.

Cree una vista materializada para consumir los datos del flujo. Con una instrucción como la siguiente, si un registro no se puede analizar, se produce un error. Use un comando como este si no quiere que se omitan los registros de errores.

CREATE MATERIALIZED VIEW my_view AUTO REFRESH YES AS
SELECT *
FROM kds.my_stream_name;

Los nombres de flujo de Kinesis distinguen entre mayúsculas y minúsculas y pueden contener letras tanto mayúsculas como minúsculas. Para la ingesta de flujos con nombres en mayúsculas, puede establecer la configuración enable_case_sensitive_identifier a true en el nivel de la base de datos. Para obtener más información, consulte Nombres e identificadores e enable_case_sensitive_identifier.

Para activar la actualización automática, utilice AUTO REFRESH YES. El comportamiento predeterminado es la actualización manual. Tenga en cuenta que cuando usa CAN_JSON_PARSE, es posible que se omitan los registros que no se pueden analizar.

Las columnas de metadatos incluyen lo siguiente:

Si tiene lógica empresarial en la definición de su vista materializada, es importante tener en cuenta que los errores de lógica empresarial pueden hacer que la ingesta de streaming se bloquee en algunos casos. Esto podría llevarlo a tener que eliminar y volver a crear la vista materializada. Para evitarlo, le recomendamos que mantenga su lógica lo más simple posible y realice la mayoría de las comprobaciones de lógica empresarial en los datos después de la ingesta.

Actualice la vista, lo que invoca a Redshift para que lea del flujo y cargue los datos en la vista materializada.

REFRESH MATERIALIZED VIEW my_view;

Consulte los datos en la vista materializada.

select * from my_view;