1단계: Apache Cassandra Spark 커넥터와의 통합을 위한 Amazon Keyspaces 구성

이 단계에서는 계정의 파티셔너가 Apache Spark Connector와 호환되는지 확인하고 필요한 권한을 설정합니다. IAM 다음 모범 사례는 테이블에 충분한 읽기/쓰기 용량을 프로비저닝하는 데 도움이 됩니다.

1. Murmur3Partitioner 파티셔너가 계정의 기본 파티셔너인지 확인합니다. 이 파티셔너는 Spark Cassandra 커넥터와 호환됩니다. 파티셔너와 파티셔너 변경 방법에 대한 자세한 내용은 Amazon Keyspaces에서 파티셔너 사용하기 섹션을 참조하세요.

2. Apache Spark에서 인터페이스 VPC 엔드포인트를 사용하여 Amazon Keyspace에 대한 IAM 권한을 설정합니다.

   • 아래 나열된 정책 예와 같이 사용자 테이블에 대한 읽기/쓰기 권한과 시스템 테이블에 대한 읽기 권한을 할당하십시오. IAM

   • Spark over 엔드포인트를 사용하여 Amazon Keyspaces에 액세스하는 클라이언트의 경우 system.peers 테이블을 사용 가능한 인터페이스 VPC 엔드포인트로 채워야 합니다. VPC

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Action":[
               "cassandra:Select",
               "cassandra:Modify"
            ],
            "Resource":[
               "arn:aws:cassandra:us-east-1:111122223333:/keyspace/mykeyspace/table/mytable",
               "arn:aws:cassandra:us-east-1:111122223333:/keyspace/system*"
            ]
         },
         {
            "Sid":"ListVPCEndpoints",
            "Effect":"Allow",
            "Action":[
               "ec2:DescribeNetworkInterfaces",
               "ec2:DescribeVpcEndpoints"
            ],
            "Resource":"*"
         }
      ]
   }

3. Amazon Keyspaces 테이블에 Spark Cassandra 커넥터의 트래픽을 지원할 수 있는 충분한 읽기/쓰기 처리량 용량을 구성하려면 다음 모범 사례를 고려합니다.

   • 시나리오를 테스트하는 데 도움이 되도록 온디맨드 용량 사용을 시작합니다.

   • 프로덕션 환경의 테이블 처리량 비용을 최적화하려면 커넥터의 트래픽에 속도 제한기를 사용하고 자동 크기 조정을 통해 프로비저닝된 용량을 사용하도록 테이블을 구성합니다. 자세한 내용은 Amazon Keyspaces 자동 크기 조정을 통해 처리 용량을 자동으로 관리합니다. 단원을 참조하십시오.

   • Cassandra 드라이버와 함께 제공되는 고정 속도 제한기를 사용할 수 있습니다. Amazon Keyspace에 맞게 조정된 몇 가지 속도 제한기가 있습니다. AWS 샘플 리포지토리.

   • 용량 관리에 대한 자세한 내용은 Amazon Keyspace에서 읽기/쓰기 용량 모드 구성 섹션을 참조하세요.