MSK Connect에 필요한 리소스 설정 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

MSK Connect에 필요한 리소스 설정

이 단계에서는 시작하기 시나리오에 필요한 다음 리소스를 생성합니다.

  • 커넥터에서 데이터를 수신하는 대상 역할을 하는 S3 버킷

  • 데이터를 전송할 MSK 클러스터입니다. 이후 커넥터가 해당 클러스터에서 데이터를 읽고 대상 S3 버킷으로 전송함

  • 커넥터가 대상 S3 버킷에 쓸 수 있도록 허용하는 IAM 역할입니다.

  • 클러스터와 커넥터가 VPC 있는 Amazon에서 Amazon S3로 데이터를 전송할 수 있도록 하는 Amazon VPC 엔드포인트입니다.

S3 버킷을 만들려면 다음을 수행합니다.

  1. 에 로그인 AWS Management Console 하고 에서 Amazon S3 콘솔을 엽니다https://console.aws.amazon.com/s3/.

  2. 버킷 생성을 선택합니다.

  3. 버킷의 이름에 설명이 포함된 이름을 입력합니다(예: mkc-tutorial-destination-bucket).

  4. 아래로 스크롤하여 버킷 생성을 선택합니다.

  5. 버킷 목록에서 새로 생성한 버킷을 선택합니다.

  6. 폴더 생성을 선택합니다.

  7. 폴더 이름에 tutorial을 입력한 다음 아래로 스크롤하여 폴더 생성을 선택합니다.

클러스터를 생성하려면 다음을 수행합니다.

  1. 집에서 Amazon MSK 콘솔을 엽니다.region=us-east-1#/home/. https://console.aws.amazon.com/msk/

  2. 왼쪽 창의 MSK 클러스터에서 클러스터를 선택합니다.

  3. 클러스터 생성을 선택합니다.

  4. 사용자 지정 생성을 선택합니다.

  5. 클러스터 이름에 mkc-tutorial-cluster를 입력합니다.

  6. 일반 클러스터 속성에서 클러스터 유형으로 프로비저닝을 선택합니다.

  7. 네트워킹에서 Amazon 을 선택합니다VPC. 그런 다음 사용하려는 가용 영역과 서브넷을 선택합니다. 이 자습서의 뒷부분에 Amazon VPC 및 서브넷이 필요하기 때문에 선택한 IDs의 를 기억하세요.

  8. 액세스 제어 방법에서는 인증되지 않은 액세스만 선택되도록 합니다.

  9. 암호화에서 일반 텍스트만 선택했는지 확인합니다.

  10. 마법사를 계속 진행한 다음 클러스터 생성을 선택합니다. 그러면 해당 클러스터에 대한 세부 정보 페이지로 이동합니다. 해당 페이지의 적용된 보안 그룹에서 보안 그룹 ID를 찾습니다. 자습서의 뒷부분에서 필요하므로 해당 ID를 기억해 둡니다.

대상 버킷에 쓸 수 있는 IAM 역할을 생성하려면

  1. 에서 IAM 콘솔을 엽니다https://console.aws.amazon.com/iam/.

  2. 왼쪽 창의 액세스 관리에서 역할을 선택합니다.

  3. 역할 생성을 선택합니다.

  4. 또는 사용 사례를 표시하도록 서비스 선택에서 S3를 선택합니다.

  5. 아래로 스크롤하여 사용 사례 선택에서 S3를 다시 선택합니다.

  6. Next: Permissions(다음: 권한)를 선택합니다.

  7. 정책 생성을 선택합니다. 그러면 브라우저에 정책을 생성할 새 탭이 열립니다. 나중에 다시 다룰 예정이므로 원래 역할 생성 탭은 열어 둡니다.

  8. JSON 탭을 선택한 다음 창의 텍스트를 다음 정책으로 바꿉니다.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListAllMyBuckets"
      ],
      "Resource": "arn:aws:s3:::*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::<my-tutorial-destination-bucket>"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts",
        "s3:ListBucketMultipartUploads"
      ],
      "Resource": "*"
    }
  ]
}

  9. 다음: 태그를 선택합니다.

  10. 다음: 검토를 선택합니다.

  11. 정책 이름에 mkc-tutorial-policy를 입력한 다음 아래로 스크롤하여 정책 생성을 선택합니다.

  12. 역할을 생성하던 브라우저 탭으로 돌아가서 새로 고침 버튼을 선택합니다.

  13. mkc-tutorial-policy를 찾아 왼쪽에 있는 버튼을 선택하여 이를 선택합니다.

  14. 다음: 태그를 선택합니다.

  15. 다음: 검토를 선택합니다.

  16. 역할 이름에 mkc-tutorial-role을 입력하고 설명 상자의 텍스트를 삭제합니다.

  17. 역할 생성을 선택합니다.

MSK Connect가 역할을 수임하도록 허용하려면

  1. IAM 콘솔의 왼쪽 창의 액세스 관리에서 역할 을 선택합니다.

  2. mkc-tutorial-role을 찾아 선택합니다.

  3. 역할의 요약에서 신뢰 관계 탭을 선택합니다.

  4. 신뢰 관계 편집을 선택합니다.

  5. 기존 신뢰 정책을 다음 로 바꿉니다JSON.

    {
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "kafkaconnect.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

  6. 신뢰 정책 업데이트를 선택합니다.

클러스터에서 Amazon S3VPC로 Amazon VPC 엔드포인트를 생성하려면 Amazon S3

  1. 에서 Amazon VPC 콘솔을 엽니다https://console.aws.amazon.com/vpc/.

  2. 왼쪽 창에서 엔드포인트를 선택합니다.

  3. Create endpoint(엔드포인트 생성)을 선택합니다.

  4. 서비스 이름에서 com.amazonaws.us-east-1.s3 서비스 및 게이트웨이 유형을 선택합니다.

  5. 클러스터를 선택한 VPC 다음 클러스터의 서브넷과 연결된 라우팅 테이블 왼쪽의 상자를 선택합니다.

  6. Create endpoint(엔드포인트 생성)을 선택합니다.

다음 단계

사용자 지정 플러그인 생성