Amazon Redshift Spectrum 시작하기

IAM 콘솔을 엽니다.

탐색 창에서 역할을 선택합니다.

역할 생성을 선택합니다.

AWS service(AWS 서비스)를 신뢰할 수 있는 엔터티로 선택한 다음 사용 사례로 Redshift를 선택합니다.

Use case for other AWS 서비스(다른 AWS 서비스 스의 사용 사례)에서 Redshift - Customizable(Redshift - 사용자 지정)을 선택한 후 Next(다음)를 선택합니다.

Add permissions policy(권한 정책 추가) 페이지가 나타납니다. AWS Glue 데이터 카탈로그를 사용하는 경우 AmazonS3ReadOnlyAccess 및 AWSGlueConsoleFullAccess를 선택합니다. 또는 Athena Data Catalog를 사용하는 경우 AmazonAthenaFullAccess를 선택합니다. Next(다음)를 선택합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Role name(역할 이름)에는 역할 이름을 입력합니다(예: myspectrum_role).

정보를 검토한 후 역할 만들기를 선택합니다.

탐색 창에서 역할(Roles)을 선택합니다. 새 역할 이름을 선택하여 요약을 본 다음 역할 ARN을 클립보드에 복사합니다. 이 값은 방금 만든 역할의 Amazon 리소스 이름(ARN)입니다. 외부 테이블을 생성해 Amazon S3에 있는 데이터 파일을 참조할 때는 이 값을 사용합니다.

https://console.aws.amazon.com/iam/에서 IAM 콘솔을 엽니다.

탐색 창에서 Policies를 선택합니다.

정책을 처음으로 선택하는 경우 관리형 정책 소개 페이지가 나타납니다. 시작하기(Get Started)를 선택합니다.

정책 생성을 선택합니다.

JSON 탭에서 정책을 생성하도록 선택합니다.

다음 JSON 정책 문서를 붙여넣습니다. 이는 Lake Formation에 대한 액세스 권한을 부여하지만 Data Catalog에 대한 관리자 권한은 거부합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

작업이 완료되면 검토를 선택하여 정책을 검토합니다. 정책 검사기가 모든 구문 오류를 보고합니다.

정책 검토 페이지의 이름에 myspectrum_policy를 입력하여 생성 중인 정책의 이름을 지정합니다. 설명을 입력합니다(선택 사항). 정책 요약을 검토하여 정책이 부여한 권한을 확인합니다. 그런 다음 정책 생성을 선택하여 작업을 저장합니다.

정책을 생성한 후 사용자에게 연결할 수 있습니다.

Lake Formation 콘솔(https://console.aws.amazon.com/lakeformation/)을 엽니다.

탐색 창에서 데이터 레이크 권한을 선택한 다음 권한 부여를 선택합니다.

AWS Lake Formation 개발자 안내서의 명명된 리소스 방법을 사용하여 테이블 권한 부여의 지침을 따르세요. 다음 정보를 제공합니다.

권한 부여를 선택합니다.

AWS Management Console에 로그인한 후 https://console.aws.amazon.com/redshiftv2/에서 Amazon Redshift 콘솔을 엽니다.

탐색 메뉴에서 클러스터(Clusters)를 선택한 후 업데이트할 클러스터의 이름을 선택합니다.

작업(Actions)에서 IAM 역할 관리(Manage IAM roles)를 선택합니다. IAM 역할 페이지가 나타납니다.

Enter ARN(ARN 입력)을 선택한 다음 ARN 또는 IAM 역할을 입력하거나 목록에서 IAM 역할을 선택합니다. 그런 다음 Add IAM role(IAM 역할 추가)을 선택하여 Attached IAM roles(연결된 IAM 역할) 목록에 추가합니다.

완료를 선택하여 IAM 역할을 클러스터에 연결합니다. 변경이 완료되도록 클러스터가 수정되었습니다.

외부 스키마를 만들려면 다음 명령에서 IAM 역할 ARN을 1단계에서 만든 역할 ARN으로 대체합니다. 그런 다음 SQL 클라이언트에서 명령을 실행합니다.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

외부 테이블을 만들려면 다음 CREATE EXTERNAL TABLE 명령을 실행합니다.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

MYSPECTRUM_SCHEMA.SALES 테이블의 행 수를 가져옵니다.

select count(*) from myspectrum_schema.sales;

count 
------
172462

큰 팩트 테이블은 Amazon S3에 두고 작은 차원 테이블은 Amazon Redshift에 두는 것이 모범 사례입니다. 데이터 로드에서 샘플 데이터를 로드한 경우 데이터베이스에 EVENT라는 테이블이 있습니다. 그렇지 않다면 다음 명령을 사용하여 EVENT 테이블을 생성합니다.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

다음 COPY 명령에서 IAM 역할 ARN을 단계 1. Amazon Redshift에 대한 IAM 역할 생성에서 만든 역할 ARN으로 대체하여 EVENT 테이블을 로드합니다. 원한다면 AWS 리전 us-east-1의 Amazon S3 버킷에서 allevents_pipe.txt의 소스 데이터를 다운로드하여 볼 수 있습니다.

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

다음 예는 상위 10개 이벤트의 총 매출을 찾기 위해 외부 Amazon S3 테이블 MYSPECTRUM_SCHEMA.SALES와 로컬 Amazon Redshift 테이블 EVENT를 조인합니다.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

이전 쿼리의 쿼리 계획을 확인합니다. Amazon S3의 데이터에 대해 실행된 S3 Seq Scan, S3 HashAggregate 및 S3 Query Scan 단계를 메모합니다.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

CFN 스택 시작(Launch CFN stack)을 선택합니다. DataLake.yml 템플릿이 선택된 CloudFormation 콘솔이 열립니다.

또한 Redshift Spectrum 시작하기 DataLake CloudFormation CFN 템플릿을 다운로드하고 사용자 지정한 다음 CloudFormation 콘솔(https://console.aws.amazon.com/cloudformation)을 열고 사용자 지정한 템플릿으로 스택을 생성할 수 있습니다.

다음(Next)을 선택합니다.

파라미터(Parameters)에서 Amazon Redshift 클러스터 이름, 데이터베이스 이름 및 데이터베이스 사용자 이름을 입력합니다.

Next(다음)를 선택합니다.

스택 옵션이 나타납니다.

다음(Next)을 선택하여 기본 설정을 적용합니다.

정보를 검토하고 기능(Capabilities)에서 AWS CloudFormation에서 IAM 리소스를 생성할 수 있음 확인(I acknowledge that might create IAM resources)을 선택합니다.

스택 생성(Create stack)을 선택합니다.