Introducción a la ingesta de streaming de Amazon Managed Streaming para Apache Kafka (Amazon MSK)

Si utiliza AUTHENTICATION NONE para conectarse a MSK, no será necesario ningún rol de IAM. Sin embargo, si utiliza AUTHENTICATION IAM o MTLS para autenticarse con el clúster de Amazon MSK, el clúster de Amazon Redshift o el espacio de nombres de Amazon Redshift sin servidor deben tener un rol de IAM asociado con los permisos adecuados. Cree un rol de IAM con una política de confianza que permita que el clúster de Amazon Redshift o el espacio de nombres de Amazon Redshift sin servidor asuman el rol. Después de crear el rol, agregue uno de los siguientes permisos para admitir IAM o MTLS. Para la autenticación mTLS, los certificados que utiliza Amazon Redshift se pueden almacenar en AWS Certificate Manager o AWS Secrets Manager, por lo que debe elegir la política que coincida con el lugar donde se almacena el certificado. Asocie el rol al clúster de Amazon Redshift aprovisionado o un espacio de nombres de Redshift sin servidor. Para obtener información sobre cómo configurar la política de confianza del rol de IAM, consulte Autorización a Amazon Redshift para acceder a otros servicios de AWS en su nombre.

AUTHENTICATION IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect" 
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:0123456789:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTICATION MTLS: se utiliza un certificado almacenado en AWS Certificate Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTICATION MTLS: se utiliza un certificado almacenado en AWS Secrets Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}

Consulte la VPC y verifique que el clúster de Amazon Redshift o Amazon Redshift sin servidor dispone de una ruta para llegar al clúster de Amazon MSK. Las reglas de grupo de seguridad de entrada del clúster de Amazon MSK deben permitir el grupo de seguridad del clúster de Amazon Redshift o el grupo de trabajo de Amazon Redshift sin servidor. Los puertos que especifique dependerán de los métodos de autenticación configurados en el clúster de Amazon MSK. Para obtener más información, consulte Información de puertos y Acceso desde AWS pero fuera de la VPC.

En la siguiente tabla se muestran las opciones de configuración complementarias a establecer para la ingesta de streaming desde Amazon MSK:

La autenticación de Amazon Redshift se establece en la instrucción CREATE EXTERNAL SCHEMA.

Habilite el enrutamiento de VPC mejorado en el clúster de Amazon Redshift o grupo de trabajo de Amazon Redshift sin servidor. Para obtener más información, consulte Habilitación del enrutamiento de VPC mejorado.

En Amazon Redshift, cree un esquema externo para asignarlo al clúster de Amazon MSK. La sintaxis es la siguiente:

CREATE EXTERNAL SCHEMA MySchema
FROM MSK
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
[AUTHENTICATION_ARN 'acm-certificate-arn' | SECRET_ARN 'ssm-secret-arn' ];

En la cláusula FROM, MSK indica que el esquema asigna los datos de los Managed Kafka Services.

AUTHENTICATION indica el tipo de autenticación para la ingesta de streaming con Amazon MSK. Hay tres tipos disponibles:

Tenga en cuenta que la autenticación de Amazon MSK con un nombre de usuario y la contraseña no es compatible con la ingesta de streaming.

AUTHENTICATION_ARN especifica el ARN del certificado de seguridad de la capa de transporte mutua (mTLS) de ACM que se utiliza para establecer una conexión cifrada.

SECRET_ARN especifica el arn del secreto de AWS Secrets Manager que contiene el certificado que utilizará Amazon Redshift para mTLS.

En los siguientes ejemplos se muestra cómo establecer el URI del agente y el clúster de Amazon MSK al crear el esquema externo:

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

Uso sin autenticación:

CREATE EXTERNAL SCHEMA my_schema
FROM MSK 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

Uso de mTLS

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
AUTHENTICATION_ARN 'acm-certificate-arn' | [ SECRET_ARN 'ssm-secret-arn' ];

Para obtener más información sobre la creación de un esquema externo, consulte CREATE EXTERNAL SCHEMA.

Cree una vista materializada para consumir los datos del tema. Utilice un comando SQL como el del ejemplo siguiente.

CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

En los nombres de tema de Kafka se distingue entre mayúsculas y minúsculas, y pueden estar en mayúsculas y minúsculas. Para la ingesta de temas con nombres en mayúsculas, puede establecer la configuración enable_case_sensitive_identifier en true en el nivel de sesión o de base de datos. Para obtener más información, consulte Nombres e identificadores e enable_case_sensitive_identifier.

Para activar la actualización automática, utilice AUTO REFRESH YES. El comportamiento predeterminado es la actualización manual.

Las columnas de metadatos incluyen lo siguiente:

Es importante tener en cuenta, si tiene lógica empresarial en su definición de vista materializada, que los resultados en los errores de lógica empresarial pueden hacer que la ingesta de streaming produzca errores en algunos casos. Esto podría llevarlo a tener que eliminar y volver a crear la vista materializada. Para evitarlo, le recomendamos que mantenga su lógica empresarial simple y que aplique lógica adicional a los datos después de la ingesta.

Actualice la vista, lo que invoca a Amazon Redshift para que lea del tema y cargue los datos en la vista materializada.

REFRESH MATERIALIZED VIEW MyView;

Consulte los datos en la vista materializada.

select * from MyView;

La vista materializada se actualiza directamente desde el tema cuando se ejecuta REFRESH. Se crea una vista materializada que se asigna al origen de datos del tema de Kafka. Puede realizar filtrados y agregaciones en los datos como parte de la definición de la vista materializada. La vista materializada de ingesta de streaming (vista materializada base) solo puede hacer referencia a un tema de Kafka, pero se pueden crear vistas materializadas adicionales que se unan con la vista materializada base y con otras vistas materializadas o tablas.