Guida introduttiva all'acquisizione di streaming da Amazon Managed Streaming for Apache Kafka (Amazon) MSK

Se si utilizza AUTHENTICATION NONE per connettersi aMSK, non è richiesto alcun IAM ruolo. Tuttavia, se utilizzi AUTHENTICATION IAM o MTLS esegui l'autenticazione con il tuo cluster Amazon, il MSK cluster Amazon Redshift o lo spazio dei nomi Amazon Redshift Serverless devono avere un ruolo associato con le autorizzazioni appropriate. IAM Crea un IAM ruolo con una policy di fiducia che consenta al tuo cluster Amazon Redshift o al namespace Amazon Redshift Serverless di assumere il ruolo. Dopo aver creato il ruolo, aggiungi una delle seguenti autorizzazioni per supportare o. IAM MTLS Per TLS l'autenticazione m, i certificati utilizzati da Amazon Redshift possono essere archiviati in AWS Certificate Manager OR AWS Secrets Manager, quindi devi scegliere la politica che corrisponde al luogo in cui è archiviato il certificato. Collega il ruolo al cluster con provisioning di Amazon Redshift o allo spazio dei nomi Redshift Serverless. Per informazioni su come configurare la policy di fiducia per il IAM ruolo, consulta Autorizzazione di Amazon Redshift ad accedere ad AWS altri servizi per tuo conto.

AUTHENTICATION IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect" 
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:0123456789:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTICATIONMTLS: utilizzo di un certificato memorizzato in AWS Certificate Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTICATIONMTLS: utilizzo di un certificato memorizzato in AWS Secrets Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}

Controlla VPC e verifica che il tuo cluster Amazon Redshift o Amazon Redshift Serverless disponga di un percorso per accedere al tuo cluster Amazon. MSK Le regole del gruppo di sicurezza in entrata per il tuo MSK cluster Amazon dovrebbero consentire il gruppo di sicurezza del tuo cluster Amazon Redshift o del tuo gruppo di lavoro Amazon Redshift Serverless. Le porte specificate dipendono dai metodi di autenticazione configurati nel tuo MSK cluster Amazon. Per ulteriori informazioni, consulta Informazioni sulle porte e Accesso dall'interno AWS ma dall'esterno diVPC.

La tabella seguente mostra le opzioni di configurazione gratuite da impostare per l'acquisizione di streaming da Amazon: MSK

L'autenticazione di Amazon Redshift è impostata nella CREATE EXTERNAL SCHEMA dichiarazione.

Abilita il VPC routing avanzato sul tuo cluster Amazon Redshift o sul gruppo di lavoro Amazon Redshift Serverless. Per ulteriori informazioni, consulta Enhancing Enhanced Routing. VPC

In Amazon Redshift, crea uno schema esterno da mappare al cluster AmazonMSK. La sintassi è la seguente:

CREATE EXTERNAL SCHEMA MySchema
FROM MSK
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
[AUTHENTICATION_ARN 'acm-certificate-arn' | SECRET_ARN 'ssm-secret-arn' ];

Nella FROM clausola, MSK indica che lo schema mappa i dati di Managed Kafka Services.

AUTHENTICATIONindica il tipo di autenticazione per l'acquisizione di streaming con Amazon. MSK Sono disponibili tre tipi:

Tieni presente che MSK l'autenticazione Amazon con nome utente e password non è supportata per l'ingestione dello streaming.

AUTHENTICATION_ARNspecifica il ARN certificato ACM Mutual Transport Layer Security (mTLS) utilizzato per stabilire una connessione crittografata.

SECRET_ARNspecifica l'arn del AWS Secrets Manager segreto contenente il certificato che deve essere utilizzato da Amazon Redshift for m. TLS

I seguenti esempi mostrano come impostare il broker URI per il MSK cluster Amazon quando crei lo schema esterno:

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

Senza autenticazione:

CREATE EXTERNAL SCHEMA my_schema
FROM MSK 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

Usando m TLS

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
AUTHENTICATION_ARN 'acm-certificate-arn' | [ SECRET_ARN 'ssm-secret-arn' ];

Per ulteriori informazioni sulla creazione di uno schema esterno, vedere CREATEEXTERNALSCHEMA.

Crea una vista materializzata per consumare i dati dall'argomento. Utilizzate un SQL comando come nell'esempio seguente.

CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

I nomi degli argomenti Kafka distinguono tra maiuscole e minuscole e possono contenere lettere maiuscole e minuscole. Per importare da argomenti con nomi in maiuscolo, è possibile impostare la configurazione enable_case_sensitive_identifier a true livello di sessione o di database. Per ulteriori informazioni, consulta Nomi e identificatori e enable_case_sensitive_identifier.

Per attivare l'aggiornamento automatico, usa AUTO REFRESH YES. Il comportamento predefinito prevede l'aggiornamento manuale.

Le colonne di metadati includono quanto segue:

È importante notare che se nella definizione della vista materializzata è presente una logica aziendale che genera errori di logica aziendale, in alcuni casi ciò può comportare errori di inserimento durante l'ingestione dello streaming. Ciò potrebbe comportare la necessità di eliminare e ricreare la vista materializzata. Per evitare ciò, ti consigliamo di mantenere la logica aziendale semplice e di eseguire una logica aggiuntiva sui dati dopo averli inseriti.

Aggiorna la vista per invocare Amazon Redshift ed eseguire la lettura dall'argomento e il caricamento dei dati nella vista materializzata.

REFRESH MATERIALIZED VIEW MyView;

Esegui una query sui dati nella vista materializzata.

select * from MyView;

La vista materializzata viene aggiornata direttamente dall'argomento quando si esegue il comando REFRESH. Viene creata una vista materializzata che corrisponde all'origine dati dell'argomento Kafka. È possibile eseguire filtri e aggregazioni sui dati nell'ambito della definizione della vista materializzata. La vista materializzata dell'importazione dati in streaming (vista materializzata di base) può fare riferimento a un solo argomento Kafka, ma è possibile creare viste materializzate aggiuntive che si uniscono alla vista materializzata di base e con altre viste materializzate o tabelle.