OpenSearch 수집 파이프라인 사용: Amazon Managed Streaming for Apache Kafka

Apache Kafka용 Amazon 관리형 스트리밍 개발자 안내서의 클러스터 생성에 나와 있는 단계에 따라 Amazon MSK 프로비저닝 클러스터를 생성하십시오. 브로커 유형의 경우 Ingestion에서 지원하지 않으므로 t3 유형을 제외한 모든 옵션을 선택하십시오. OpenSearch

클러스터가 활성 상태가 되면 다중 VPC 연결 켜기의 단계를 따르십시오.

클러스터와 파이프라인이 동일한지 여부에 따라 MSK 클러스터에 클러스터 정책 연결의 단계에 따라 다음 정책 중 하나를 연결합니다 AWS 계정. 이 정책은 OpenSearch Ingestion이 Amazon MSK 클러스터에 대한 AWS PrivateLink 연결을 생성하고 Kafka 주제에서 데이터를 읽을 수 있도록 허용합니다. 직접 업데이트해야 합니다. resource ARN

클러스터와 파이프라인이 동일한 AWS 계정에 있는 경우 다음 정책이 적용됩니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

Amazon MSK 클러스터가 파이프라인과 다른 AWS 계정 곳에 있는 경우 다음 정책을 대신 연결하십시오. 단, 계정 간 액세스는 프로비저닝된 Amazon 클러스터에서만 가능하며 MSK Amazon 서버리스 클러스터에서는 MSK 불가능합니다. ARN양식은 파이프라인 구성에 제공하는 것과 동일한 파이프라인 역할에 ARN 대한 AWS principal 것이어야 합니다. YAML

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "kafka-cluster:*",
        "kafka:*"
      ],
      "Resource": [
        "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id",
        "arn:aws:kafka:us-east-1:{msk-account-id}:topic/cluster-name/cluster-id/*",
        "arn:aws:kafka:us-east-1:{msk-account-id}:group/cluster-name/*"
      ]
    }
  ]
}

주제 생성의 단계에 따라 Kafka 주제를 생성하세요. 프라이빗 엔드포인트 (단일VPC) 부트스트랩 중 BootstrapServerString 하나인지 확인하세요. URLs 의 값은 Amazon MSK 클러스터의 영역 수를 기준으로 2 하거나 --replication-factor 3 값이어야 합니다. --partitions의 값은 최소 10 이상이어야 합니다.

데이터 생산 및 소비의 단계에 따라 데이터를 생산하고 소비하세요. 다시 말하지만, BootstrapServerString 이것이 프라이빗 엔드포인트 (단일VPC) 부트스트랩 URLs 중 하나인지 확인하십시오.

Apache MSK Kafka용 Amazon 관리형 스트리밍 개발자 안내서의 MSK서버리스 클러스터 생성에 나와 있는 단계에 따라 Amazon 서버리스 클러스터를 생성하십시오.

클러스터가 활성 상태가 되면 클러스터에 클러스터 정책 연결의 단계에 따라 다음 정책을 연결하십시오. MSK 직접 업데이트해야 ARN 합니다. resource

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

이 정책을 통해 OpenSearch Ingestion은 Amazon MSK 서버리스 클러스터에 대한 AWS PrivateLink 연결을 생성하고 Kafka 주제에서 데이터를 읽을 수 있습니다. 이 정책은 클러스터와 파이프라인이 동일한 위치에 있을 때 적용되며 AWS 계정, Amazon MSK Serverless는 계정 간 액세스를 지원하지 않으므로 반드시 준수해야 합니다.

주제 생성의 단계에 따라 Kafka 주제를 생성하세요. BootstrapServerString이것이 단순 인증 및 보안 계층 (SASL) IAM 부트스트랩 중 하나인지 확인하십시오. URLs 의 값은 Amazon MSK 서버리스 클러스터의 영역 수를 기준으로 2 하거나 --replication-factor 3 값이어야 합니다. --partitions의 값은 최소 10 이상이어야 합니다.

데이터 생산 및 소비의 단계에 따라 데이터를 생산하고 소비하세요. 다시 한 번 말씀드리지만, BootstrapServerString 이것이 단순 인증 및 보안 계층 (SASL) IAM 부트스트랩 URLs 중 하나인지 확인하십시오.