Conceitos básicos do Amazon Redshift Spectrum

Abra o console do IAM.

No painel de navegação, escolha Roles.

Escolha Criar Perfil.

Selecione Serviço da AWS como a entidade confiável e, depois, Redshift como caso de uso.

Em Caso de uso para outros Serviços da AWS, selecione Redshift: personalizável e Próximo.

A página Add permissions policy (Adicionar política de permissões) é exibida. Escolha AmazonS3ReadOnlyAccess e AWSGlueConsoleFullAccess se estiver usando o catálogo de dados do AWS Glue. Ou escolha AmazonAthenaFullAccess se estiver usando o catálogo de dados do Athena. Escolha Próximo.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Para Role name (Nome da função), digite um nome para sua função, por exemplo, myspectrum_role.

Revise as informações e escolha Create role.

No painel de navegação, escolha Perfis. Escolha o nome de sua nova função para visualizar o resumo e copie o Nome de recurso da Amazon (ARN) da função em sua área de transferência. Esse valor é o nome de recurso da Amazon (ARN) para a função que você acaba de criar. Esse valor é usado quando tabelas externas são criadas para referenciar os arquivos de dados no Amazon S3.

Abra o console do IAM em https://console.aws.amazon.com/iam/.

No painel de navegação, escolha Policies.

Se essa for a primeira vez que você escolhe Políticas, a página Bem-vindo às políticas gerenciadas será exibida. Escolha Começar.

Escolha Criar política.

Opte por criar a política na guia JSON.

Cole no documento de política JSON a seguir, que concede acesso ao catálogo de dados, mas nega as permissões de administrador para o Lake Formation.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Ao terminar, escolha Review (Revisar) para revisar a política. O validador de política indica se há qualquer erro de sintaxe.

Na página Review policy (Revisar política), em Name (Nome), insira myspectrum_policy para dar um nome à política que você está criando. Insira uma Description (Descrição) (opcional). Revise o Resumo da política para ver as permissões que são concedidas pela política. Em seguida, escolha Criar política para salvar seu trabalho.

Depois de criar uma política, você pode conceder acesso aos usuários.

Abra o console do Lake Formation em https://console.aws.amazon.com/lakeformation/.

No painel de navegação, escolha Permissões do data lake e Conceder.

Siga as instruções em Concessão das permissões da tabela usando o nome do recurso nomeado no Guia do desenvolvedor do AWS Lake Formation. Forneça as informações a seguir:

Selecione Conceder.

Faça login no AWS Management Console e abra o console do Amazon Redshift em https://console.aws.amazon.com/redshiftv2/.

No menu de navegação, escolha Clusters e o nome do cluster que deseja atualizar.

Em Actions (Ações), escolha Manage IAM roles (Gerenciar funções do IAM). A página IAM roles (Funções do IAM) é exibida.

Escolha Enter ARN (Digitar ARN) e insira um ARN ou um perfil do IAM ou escolha um perfil do IAM na lista. Depois, escolha Add IAM role (Adicionar função do IAM) para adicioná-la à lista Attached IAM roles (Funções do IAM anexadas).

Escolha Done (Concluído) para associar a função do IAM ao cluster. O cluster é modificado para concluir a alteração.

Para criar um esquema externo, substitua o nome de recurso da Amazon (ARN) da função do IAM no comando a seguir pelo ARN da função que você criou na etapa 1. Execute o comando no cliente SQL.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

Para criar uma tabela externa, execute o seguinte comando CREATE EXTERNAL TABLE.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

Obtenha o número de linhas na tabela MYSPECTRUM_SCHEMA.SALES.

select count(*) from myspectrum_schema.sales;

count 
------
172462

Mantenha suas tabelas de fatos maiores no Amazon S3 e suas tabelas de dimensões menores no Amazon Redshift como prática recomendada. Se você tiver carregado os dados de exemplo apresentados em Carregar dados de amostra, já deverá ter uma tabela chamada EVENT no banco de dados. Caso contrário, crie a tabela EVENT usando o comando a seguir.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

Carregue a tabela EVENT substituindo o ARN da função do IAM no comando COPY a seguir pelo ARN da função que você criou em Etapa 1. Criar uma função do IAM para o Amazon Redshift. Opcionalmente, você pode baixar e visualizar os dados de origem para o allevents_pipe.txt de um bucket do Amazon S3 na Região da AWS us-east-1.

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

O exemplo a seguir une a tabela externa MYSPECTRUM_SCHEMA.SALES do Amazon S3 com a tabela local EVENT do Amazon Redshift para encontrar o total de vendas para os dez eventos principais.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

Visualize o plano da consulta para a consulta anterior. As etapas S3 Seq Scan, S3 HashAggregate e S3 Query Scan foram executadas com os dados do Amazon S3.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

Selecione Launch CFN stack (Iniciar pilha do CFN). O console do CloudFormation abrirá com o modelo Datalake.yml selecionado.

Você também pode baixar e personalizar o modelo do CFN, depois abrir o console do CloudFormation (https://console.aws.amazon.com/cloudformation) e criar uma pilha com o modelo personalizado.

Escolha Próximo.

Em Parameters (Parâmetros), digite o nome do cluster do Amazon Redshift, o nome do banco de dados e o nome de usuário do banco de dados.

Escolha Próximo.

São exibidas as opções de pilha.

Selecione Next (Próximo) para aceitar as configurações padrão.

Revise as informações e, em Recursos, selecione Estou ciente de que o AWS CloudFormation pode criar recursos do IAM.

Selecione Criar pilha.