Nozioni di base su Amazon Redshift Spectrum

Apri la IAMconsole.

Nel pannello di navigazione, seleziona Roles (Ruoli).

Selezionare Create role (Crea ruolo).

Scegliere Servizio AWS come entità attendibile, quindi scegliere Redshift come caso d'uso.

In Caso d'uso per altro Servizi AWS, scegli Redshift - Personalizzabile, quindi scegli Avanti.

Verrà visualizzata la pagina Allega la policy di autorizzazione. Scegli AmazonS3ReadOnlyAccess eAWSGlueConsoleFullAccess, se utilizzi il AWS Glue Data Catalog. Oppure scegliere AmazonAthenaFullAccess se si utilizza il catalogo dati di Athena. Scegli Next (Successivo).

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Per Role name (Nome ruolo), digitare un nome per il ruolo, ad esempio myspectrum_role.

Esaminare le informazioni, quindi scegliere Create role (Crea ruolo).

Nel riquadro di navigazione, seleziona Ruoli. Scegli il nome del tuo nuovo ruolo per visualizzare il riepilogo, quindi copia il ruolo negli ARN appunti. Questo valore è l'Amazon Resource Name (ARN) per il ruolo che hai appena creato. Viene utilizzato quando si creano tabelle esterne per fare riferimento ai file di dati in Amazon S3.

Apri la IAM console all'indirizzo https://console.aws.amazon.com/iam/.

Nel pannello di navigazione, selezionare Policy.

Se è la prima volta che selezioni Policy, verrà visualizzata la pagina Benvenuto nelle policy gestite. Seleziona Inizia.

Scegli Create Policy (Crea policy).

Scegli di creare la politica nella JSONscheda.

Incolla il seguente documento di JSON policy, che concede l'accesso al Data Catalog ma nega le autorizzazioni di amministratore per Lake Formation.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Una volta terminato, selezionare Review (Rivedi) per rivedere la policy. In Validatore di policy vengono segnalati eventuali errori di sintassi.

Nella pagina Review policy (Rivedi policy), in Name (Nome) inserire myspectrum_policy per denominare la policy in fase di creazione. (Opzionale) Immettere una Description (descrizione). Consulta il Summary (Riepilogo) della policy per visualizzare le autorizzazioni concesse dalla policy. Seleziona Create policy (Crea policy) per salvare il proprio lavoro.

Dopo aver creato la policy, è possibile fornire l'accesso agli utenti.

Apri la console Lake Formation all'indirizzo https://console.aws.amazon.com/lakeformation/.

Nel menu di navigazione scegli Autorizzazioni data lake, quindi seleziona Concedi.

Segui le istruzioni presenti in Granting table permissions using the named resource method nella Guida per gli sviluppatori di AWS Lake Formation . Inserisci le informazioni che seguono:

Scegli Concessione.

Accedi a AWS Management Console e apri la console Amazon Redshift all'indirizzo. https://console.aws.amazon.com/redshiftv2/

Dal menu di navigazione scegliere Clusters (Cluster), quindi scegliere il cluster da aggiornare.

Per Azioni, scegli Gestisci IAM ruoli. Viene visualizzata la pagina IAMdei ruoli.

Scegli Invio ARN e quindi inserisci un ARN IAM ruolo oppure scegli un IAM ruolo dall'elenco. Quindi scegli Aggiungi IAM ruolo per aggiungerlo all'elenco dei IAMruoli collegati.

Scegli Fine per associare il IAM ruolo al cluster. Il cluster viene modificare per completare la variazione.

Per creare uno schema esterno, sostituisci il IAM ruolo ARN nel comando seguente con il ruolo ARN creato nel passaggio 1. Quindi esegui il comando nel tuo SQL client.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

Per creare una tabella esterna, esegui il CREATE EXTERNAL TABLE comando seguente.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

Ottieni il numero di righe nel file _. MYSPECTRUM SCHEMA SALEStavolo.

select count(*) from myspectrum_schema.sales;

count 
------
172462

Come best practice, lasciare le tabelle dei fatti più grandi in Amazon S3 e le tabelle con dimensioni più piccole in Amazon Redshift. Se hai caricato i dati di esempio in Load data, hai una tabella denominata EVENT nel tuo database. In caso contrario, create la EVENT tabella utilizzando il comando seguente.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

Caricate la EVENT tabella sostituendo il IAM ruolo ARN nel COPY comando seguente con il ruolo in ARN cui avete creatoFase 1: Crea un IAM ruolo per Amazon Redshift. Facoltativamente, puoi scaricare e visualizzare i dati di origine allevents_pipe.txt da un bucket Amazon S3. Regione AWS us-east-1

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

L'esempio seguente unisce la tabella esterna Amazon S3 _MYSPECTRUM. SCHEMA SALEScon la tabella locale di Amazon Redshift EVENT per trovare le vendite totali per i primi 10 eventi.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

Visualizza il piano delle query per la query precedente. Tenere presente le fasi S3 Seq Scan, S3 HashAggregate e S3 Query Scan eseguite sui dati in Amazon S3.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

Scegli Launch stack CFN. La CloudFormation console si apre con il template DataLake .yml selezionato.

Puoi anche scaricare e personalizzare il DataLake CloudFormation CFNmodello Redshift Spectrum Getting Started, quindi aprire la CloudFormation console (https://console.aws.amazon.com/cloudformation) e creare uno stack con il modello personalizzato.

Scegli Next (Successivo).

In Parametri, inserisci il nome del cluster Amazon Redshift, il nome del database e il nome utente del database.

Scegli Next (Successivo).

Vengono visualizzate le opzioni della pila.

Scegliere Successivo per accettare le impostazioni predefinite.

Controlla le informazioni e nella sezione Capacità, quindi scegli Riconosco che potrebbe creare risorse. AWS CloudFormation IAM

Seleziona Crea stack.