Nozioni di base su Amazon Redshift Spectrum

Aprire la console IAM.

Nel pannello di navigazione, selezionare Ruoli.

Selezionare Create role (Crea ruolo).

Scegliere Servizio AWS come entità attendibile, quindi scegliere Redshift come caso d'uso.

In Caso d'uso per altro Servizi AWS, scegli Redshift - Personalizzabile, quindi scegli Avanti.

Verrà visualizzata la pagina Allega la policy di autorizzazione. Scegli AmazonS3ReadOnlyAccess eAWSGlueConsoleFullAccess, se utilizzi il AWS Glue Data Catalog. Oppure scegliere AmazonAthenaFullAccess se si utilizza il catalogo dati di Athena. Scegli Next (Successivo).

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Per Role name (Nome ruolo), digitare un nome per il ruolo, ad esempio myspectrum_role.

Esaminare le informazioni, quindi scegliere Create role (Crea ruolo).

Nel riquadro di navigazione, seleziona Ruoli. Scegliere il nome del nuovo ruolo per visualizzare il riepilogo, quindi copiare il ruolo ARN visualizzato nel campo Role ARN (ARN ruolo). Questo valore è l'Amazon Resource Name (ARN) per il ruolo appena creato. Viene utilizzato quando si creano tabelle esterne per fare riferimento ai file di dati in Amazon S3.

Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

Nel pannello di navigazione, selezionare Policy.

Se è la prima volta che selezioni Policy, verrà visualizzata la pagina Benvenuto nelle policy gestite. Seleziona Inizia.

Scegli Create Policy (Crea policy).

Scegliere di creare la policy nella scheda JSON.

Incollare nel documento di policy JSON seguente, che concede l'accesso al catalogo di dati ma nega le autorizzazioni di amministratore per Lake Formation.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Una volta terminato, selezionare Review (Rivedi) per rivedere la policy. In Validatore di policy vengono segnalati eventuali errori di sintassi.

Nella pagina Review policy (Rivedi policy), in Name (Nome) inserire myspectrum_policy per denominare la policy in fase di creazione. (Opzionale) Immettere una Description (descrizione). Consulta il Summary (Riepilogo) della policy per visualizzare le autorizzazioni concesse dalla policy. Seleziona Create policy (Crea policy) per salvare il proprio lavoro.

Dopo aver creato la policy, è possibile fornire l'accesso agli utenti.

Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/.

Nel menu di navigazione scegli Autorizzazioni data lake, quindi seleziona Concedi.

Segui le istruzioni presenti in Granting table permissions using the named resource method nella Guida per gli sviluppatori di AWS Lake Formation . Inserisci le informazioni che seguono:

Scegli Concessione.

Accedi a AWS Management Console e apri la console Amazon Redshift all'indirizzo. https://console.aws.amazon.com/redshiftv2/

Dal menu di navigazione scegliere Clusters (Cluster), quindi scegliere il cluster da aggiornare.

In Actions (Operazioni), scegliere Manage IAM roles (Gestisci ruoli IAM). Viene visualizzata la pagina IAM roles (Ruoli IAM).

Scegliere Inserisci ARN e quindi inserire un ARN o un ruolo IAM, oppure scegliere un ruolo IAM dall'elenco. Quindi scegliere Add IAM role (Aggiungi ruolo IAM) per aggiungerlo all'elenco degli Attached IAM roles (Ruoli IAM collegati).

Scegliere Done (Fatto) per associare il ruolo IAM al cluster. Il cluster viene modificare per completare la variazione.

Per creare uno schema esterno, sostituire l'ARN del ruolo IAM nel comando seguente con l'ARN del ruolo creato nella fase 1. Quindi eseguire il comando nel proprio client SQL.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

Per creare una tabella esterna, eseguire il comando CREATE EXTERNAL TABLE seguente.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

Ottenere Il numero di righe nella tabella MYSPECTRUM_SCHEMA.SALES.

select count(*) from myspectrum_schema.sales;

count 
------
172462

Come best practice, lasciare le tabelle dei fatti più grandi in Amazon S3 e le tabelle con dimensioni più piccole in Amazon Redshift. Se hai caricato i dati di esempio in Load data, hai una tabella denominata EVENT nel tuo database. Altrimenti, creare la tabella EVENT utilizzando il comando seguente.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

Caricare la tabella EVENT sostituendo l'ARN del ruolo IAM nel seguente comando COPY con l'ARN del ruolo creato in Fase 1: Creazione di un ruolo IAM per Amazon Redshift. Facoltativamente, puoi scaricare e visualizzare i dati di origine allevents_pipe.txt da un bucket Amazon S3. Regione AWS us-east-1

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

L'esempio seguente unisce mediante join la tabella esterna Amazon S3 MYSPECTRUM_SCHEMA.SALES alla tabella Amazon Redshift locale EVENT per calcolare le vendite totali per i 10 eventi principali.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

Visualizza il piano delle query per la query precedente. Tenere presente le fasi S3 Seq Scan, S3 HashAggregate e S3 Query Scan eseguite sui dati in Amazon S3.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

Scegliere Avvio dello stack CFN. La CloudFormation console si apre con il template DataLake .yml selezionato.

Puoi anche scaricare e personalizzare il modello DataLake CloudFormation CFN Redshift Spectrum Getting Started, quindi aprire la CloudFormation console (https://console.aws.amazon.com/cloudformation) e creare uno stack con il modello personalizzato.

Scegli Next (Successivo).

In Parametri, inserisci il nome del cluster Amazon Redshift, il nome del database e il nome utente del database.

Scegli Next (Successivo).

Vengono visualizzate le opzioni della pila.

Scegliere Successivo per accettare le impostazioni predefinite.

Consulta le informazioni e nella sezione Capacità, quindi scegli Riconosco che potrebbe creare risorse IAM. AWS CloudFormation

Seleziona Crea stack.