Mise en route avec Amazon Redshift Spectrum

Ouvrez la IAMconsole.

Dans le panneau de navigation, choisissez Roles (Rôles).

Sélectionnez Create role (Créer un rôle).

Choisissez Service AWS comme entité de confiance, puis choisissez Redshift comme cas d’utilisation.

Sous Cas d'utilisation pour les autres Services AWS, choisissez Redshift - Personnalisable, puis Next.

La page Add permissions policy (Ajouter une politique d’autorisations) s’affiche. Choisissez AmazonS3ReadOnlyAccess etAWSGlueConsoleFullAccess, si vous utilisez le catalogue AWS Glue de données. Ou choisissez AmazonAthenaFullAccess si vous utilisez le catalogue de données Athena. Choisissez Suivant.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Pour Nom du rôle, indiquez le nom de votre rôle, par exemple myspectrum_role.

Passez en revue les informations, puis choisissez Créer un rôle.

Dans le panneau de navigation, choisissez Roles (Rôles). Choisissez le nom de votre nouveau rôle pour afficher le résumé, puis copiez le rôle dans ARN votre presse-papiers. Cette valeur est le nom de ressource Amazon (ARN) du rôle que vous venez de créer. Vous utilisez cette valeur lorsque vous créez des tables externes pour référencer vos fichiers de données sur Amazon S3.

Ouvrez la IAM console à l'adresse https://console.aws.amazon.com/iam/.

Dans le panneau de navigation, choisissez Politiques.

Si vous sélectionnez Politiques pour la première fois, la page Bienvenue dans les politiques gérées s’affiche. Sélectionnez Get started (Mise en route).

Choisissez Create Policy (Créer une politique).

Choisissez de créer la politique dans l'JSONonglet.

Collez le document de JSON politique suivant, qui donne accès au catalogue de données mais refuse les autorisations d'administrateur pour Lake Formation.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Lorsque vous avez terminé, choisissez Review (Vérifier) pour vérifier la politique. Le programme de validation des politiques signale les éventuelles erreurs de syntaxe.

Sur la page Vérifier la politique, dans le champ Nom, saisissez myspectrum_policy pour nommer la politique que vous créez. (Facultatif) Entrez une description. Vérifiez le récapitulatif de politique pour voir les autorisations accordées par votre politique. Sélectionnez ensuite Créer une politique pour enregistrer votre travail.

Une fois que vous avez créé une politique, vous pouvez fournir un accès à vos utilisateurs.

Ouvrez la console Lake Formation à l'adresse https://console.aws.amazon.com/lakeformation/.

Dans le volet de navigation, sélectionnez Autorisations de lac de données, puis Accorder.

Suivez les instructions de la page Octroi d’autorisations de table à l’aide de la méthode de ressource nommée dans le Guide du développeur AWS Lake Formation . Saisissez les informations suivantes :

Choisissez Grant (Accorder).

Connectez-vous à la console Amazon Redshift AWS Management Console et ouvrez-la à l'adresse. https://console.aws.amazon.com/redshiftv2/

Dans le menu de navigation, choisissez Clusters, puis le nom du cluster que vous souhaitez mettre à jour.

Pour Actions, sélectionnez Gérer les IAM rôles. La page IAMdes rôles apparaît.

Choisissez Entrée, ARN puis entrez un ARN ou un IAM rôle, ou choisissez un IAM rôle dans la liste. Choisissez ensuite Ajouter IAM un rôle pour l'ajouter à la liste des IAMrôles attachés.

Choisissez OK pour associer le IAM rôle au cluster. Le cluster est modifié pour finaliser la modification.

Pour créer un schéma externe, remplacez le IAM rôle ARN dans la commande suivante par le rôle ARN que vous avez créé à l'étape 1. Exécutez ensuite la commande dans votre SQL client.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

Pour créer une table externe, exécutez la CREATE EXTERNAL TABLE commande suivante.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

Obtenez le nombre de lignes dans le MYSPECTRUM _SCHEMA. SALEStable.

select count(*) from myspectrum_schema.sales;

count 
------
172462

En guise de bonne pratique, gardez vos plus grandes tables de faits dans Amazon S3 et vos plus petites tables de dimensions dans Amazon Redshift. Si vous avez chargé les exemples de données dans Charger des données, une table est nommée EVENT dans votre base de données. Si ce n'est pas le cas, créez la EVENT table à l'aide de la commande suivante.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

Chargez le EVENT tableau en remplaçant le IAM rôle ARN dans la COPY commande suivante par le rôle ARN que vous avez créé dansÉtape 1. Création d'un IAM rôle pour Amazon Redshift. Vous pouvez éventuellement télécharger et consulter les données source pour le allevents_pipe.txt depuis un compartiment Amazon S3 dans Région AWS us-east-1.

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

L'exemple suivant joint la table externe Amazon S3 MYSPECTRUM _SCHEMA. SALESavec le tableau Amazon Redshift local EVENT pour connaître le total des ventes des 10 principaux événements.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

Affichez le plan de la requête précédente. Observez les étapes S3 Seq Scan, S3 HashAggregate et S3 Query Scan qui ont été exécutées par rapport aux données sur Amazon S3.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

Choisissez Launch CFN Stack. La CloudFormation console s'ouvre avec le modèle DataLake .yml sélectionné.

Vous pouvez également télécharger et personnaliser le DataLake CloudFormation CFNmodèle Redshift Spectrum Getting Started, puis ouvrir CloudFormation la console (https://console.aws.amazon.com/cloudformation) et créer une pile avec le modèle personnalisé.

Choisissez Suivant.

Sous Parameters (Paramètres), saisissez le nom du cluster Amazon Redshift, le nom de base de données et le nom d’utilisateur de votre base de données.

Choisissez Suivant.

Les options de pile apparaissent.

Choisissez Next (Suivant) pour accepter les paramètres par défaut.

Passez en revue les informations et sous Capacités, puis sélectionnez Je reconnais que cela AWS CloudFormation pourrait créer IAM des ressources.

Sélectionnez Créer la pile.