從 Amazon Managed Streaming for Apache Kafka （Amazon MSK） 開始串流擷取

如果您使用 AUTHENTICATION NONE 連線到 MSK，則不需要IAM任何角色。不過，如果您使用 AUTHENTICATIONIAM或 MTLS 來驗證 Amazon MSK叢集，您的 Amazon Redshift 叢集或 Amazon Redshift Serverless 命名空間必須具有具有適當許可的連接IAM角色。使用信任政策建立IAM角色，讓您的 Amazon Redshift 叢集或 Amazon Redshift Serverless 命名空間擔任該角色。建立角色後，請新增下列其中一個許可以支援 IAM或 MTLS。對於 mTLS 身分驗證，Amazon Redshift 使用的憑證可以存放在 或 中 AWS Certificate Manager AWS Secrets Manager，因此您必須選擇符合憑證存放位置的政策。將角色連接至您的 Amazon Redshift 佈建叢集或 Redshift Serverless 命名空間。如需有關如何設定IAM角色信任政策的資訊，請參閱授權 Amazon Redshift 代表您存取其他 AWS 服務。

AUTHENTICATION IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect" 
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:0123456789:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTICATION MTLS：使用存放在 中的憑證 AWS Certificate Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTICATION MTLS：使用存放在 中的憑證 AWS Secrets Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}

檢查您的 VPC，並驗證您的 Amazon Redshift 叢集或 Amazon Redshift Serverless 是否有前往 Amazon MSK叢集的路由。Amazon MSK叢集的傳入安全群組規則應允許 Amazon Redshift 叢集或 Amazon Redshift Serverless 工作群組的安全群組。您指定的連接埠取決於 Amazon MSK叢集上設定的身分驗證方法。如需詳細資訊，請參閱連接埠資訊和從 內 AWS 外存取。 VPC

下表顯示要設定用於從 Amazon 串流擷取的免費組態選項MSK：

Amazon Redshift 身分驗證是在 CREATEEXTERNALSCHEMA陳述式中設定。

在 Amazon Redshift 叢集或 Amazon Redshift Serverless 工作群組上啟用增強型VPC路由。如需詳細資訊，請參閱啟用增強型VPC路由 。

在 Amazon Redshift 中，建立外部結構描述以映射至 Amazon MSK叢集。語法如下：

CREATE EXTERNAL SCHEMA MySchema
FROM MSK
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
[AUTHENTICATION_ARN 'acm-certificate-arn' | SECRET_ARN 'ssm-secret-arn' ];

在 FROM子句中， MSK 表示結構描述會從 Managed Kafka Services 映射資料。

AUTHENTICATION 表示使用 Amazon 進行串流擷取的身分驗證類型MSK。有三種類型可用：

請注意，不支援使用使用者名稱和密碼進行串流擷取的 Amazon MSK身分驗證。

AUTHENTICATION_ARN 指定您用來建立加密連線ARN的ACM相互傳輸層安全 （mTLS） 憑證的 。

SECRET_ARN 指定包含 Amazon Redshift 要用於 m 的憑證之 AWS Secrets Manager 秘密的英文TLS。

下列範例示範如何在建立外部結構描述時設定 URI Amazon MSK叢集的代理程式：

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

不使用身分驗證：

CREATE EXTERNAL SCHEMA my_schema
FROM MSK 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

使用 mTLS

CREATE EXTERNAL SCHEMA my_schema
FROM MSK
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
AUTHENTICATION_ARN 'acm-certificate-arn' | [ SECRET_ARN 'ssm-secret-arn' ];

如需建立外部結構描述的詳細資訊，請參閱 CREATE EXTERNAL SCHEMA。

建立具體化視觀表以取用主題的資料。使用 SQL命令，例如下列範例。

CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

Kafka 主題名稱會區分大小寫，且可同時包含大寫和小寫字母。若要從具有大寫名稱的主題擷取，您可以在enable_case_sensitive_identifiertrue工作階段或資料庫層級將組態設定為 。如需詳細資訊，請參閱名稱和識別碼與 enable_case_sensitive_identifier。

若要開啟自動重新整理，請使用 AUTO REFRESH YES。預設行為是手動重新整理。

中繼資料資料欄包括下列項目：

請務必注意，如果您的具體化視觀定義中有業務邏輯，這會導致業務邏輯錯誤，這在某些情況下可能會導致串流擷取失敗。這可能會導致您必須捨棄並重新建立具體化視觀表。為了避免這種情況，我們建議您讓業務邏輯保持簡單，並在擷取資料後對資料執行其他邏輯。

重新整理檢視，這會調用 Amazon Redshift 從主題讀取，並將資料載入具體化視觀表。

REFRESH MATERIALIZED VIEW MyView;

查詢具體化視觀表中的資料。

select * from MyView;

執行 REFRESH 時，具體化視觀表會直接從主題更新。您可以建立對應至 Kafka 主題資料來源的具體化視觀表。您可以對資料執行篩選和彙總，以做為具體化視觀表定義的一部分。您的串流擷取具體化視觀表 (基礎具體化視觀表) 只能參照一個 Kafka 主題，但是您可以建立與基礎具體化視觀表及其他具體化視觀表或資料表結合的額外具體化視觀表。