Usando um pipeline OpenSearch de ingestão com Amazon Managed Streaming for Apache Kafka

Crie um cluster MSK provisionado pela Amazon seguindo as etapas em Criação de um cluster no Guia do desenvolvedor do Amazon Managed Streaming for Apache Kafka. Para o tipo de corretor, escolha qualquer opção, exceto t3 os tipos, pois eles não são compatíveis com a OpenSearch ingestão.

Depois que o cluster tiver um status Ativo, siga as etapas em Ativar a VPC multiconectividade.

Siga as etapas em Anexar uma política de MSK cluster ao cluster para anexar uma das políticas a seguir, dependendo se o cluster e o pipeline estão no mesmo Conta da AWS. Essa política permite que o OpenSearch Inestion crie uma AWS PrivateLink conexão com seu MSK cluster da Amazon e leia dados dos tópicos do Kafka. Certifique-se de atualizar o resource com o seuARN.

As políticas a seguir se aplicam quando o cluster e o pipeline estão na mesma Conta da AWS:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

Se o seu MSK cluster da Amazon estiver em um local Conta da AWS diferente do seu pipeline, anexe a seguinte política em vez disso. Observe que o acesso entre contas só é possível com clusters Amazon provisionados e não com clusters MSK Amazon MSK Serverless. O ARN for the AWS principal deve ser o mesmo ARN para a mesma função de pipeline que você fornece à configuração do pipelineYAML:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{pipeline-account-id}:role/pipeline-role"
      },
      "Action": [
        "kafka-cluster:*",
        "kafka:*"
      ],
      "Resource": [
        "arn:aws:kafka:us-east-1:{msk-account-id}:cluster/cluster-name/cluster-id",
        "arn:aws:kafka:us-east-1:{msk-account-id}:topic/cluster-name/cluster-id/*",
        "arn:aws:kafka:us-east-1:{msk-account-id}:group/cluster-name/*"
      ]
    }
  ]
}

Crie um tópico do Kafka seguindo as etapas em Criar um tópico. Certifique-se de que BootstrapServerString seja um dos bootstrap URLs do endpoint privado (únicoVPC). O valor para --replication-factor deve ser 2 ou3, com base no número de zonas que seu MSK cluster da Amazon tem. O valor de --partitions deve ser pelo menos 10.

Produza e consuma dados seguindo as etapas em Produzir e consumir dados. Novamente, certifique-se de que BootstrapServerString seja um dos bootstrap URLs do seu endpoint privado (únicoVPC).

Crie um cluster Amazon MSK Serverless seguindo as etapas em Criar um cluster sem MSK servidor no Guia do desenvolvedor do Amazon Managed Streaming for Apache Kafka.

Depois que o cluster tiver um status Ativo, siga as etapas em Anexar uma política de cluster ao MSK cluster para anexar a política a seguir. Certifique-se de atualizar o resource com o seuARN.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    },
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "osis-pipelines.amazonaws.com"
      },
      "Action": [
        "kafka:CreateVpcConnection",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2"
      ],
      "Resource": "arn:aws:kafka:us-east-1:{account-id}:cluster/cluster-name/cluster-id"
    }
  ]
}

Essa política permite que o OpenSearch Inestion crie uma AWS PrivateLink conexão com seu cluster Amazon MSK Serverless e leia dados de tópicos do Kafka. Essa política se aplica quando seu cluster e pipeline estão no mesmo lugar Conta da AWS, o que deve ser verdade, pois o Amazon MSK Serverless não oferece suporte ao acesso entre contas.

Crie um tópico do Kafka seguindo as etapas em Criar um tópico. Certifique-se de que BootstrapServerString seja um dos seus IAM bootstrap URLs de Simple Authentication and Security Layer (SASL). O valor para --replication-factor deve ser 2 ou3, com base no número de zonas que seu cluster Amazon MSK Serverless tem. O valor de --partitions deve ser pelo menos 10.

Produza e consuma dados seguindo as etapas em Produzir e consumir dados. Novamente, certifique-se de que BootstrapServerString seja um dos seus IAM bootstrap URLs de Autenticação Simples e Camada de Segurança (SASL).