Erste Schritte mit Amazon Redshift Spectrum

Öffnen Sie die IAMKonsole.

Wählen Sie im Navigationsbereich Rollen aus.

Wählen Sie Rolle erstellen aus.

Wählen Sie AWS -Service als vertrauenswürdige Entität und dann Redshift als Anwendungsfall aus.

Wählen Sie unter Anwendungsfall für andere AWS-Services die Option Redshift — Anpassbar und wählen Sie dann Weiter aus.

Die Seite Add permissions policy (Berechtigungsrichtlinie hinzufügen) wird angezeigt. Wählen Sie AmazonS3ReadOnlyAccess undAWSGlueConsoleFullAccess, wenn Sie den AWS Glue Datenkatalog verwenden. Oder wählen Sie AmazonAthenaFullAccess aus, wenn Sie den Athena-Datenkatalog verwenden. Wählen Sie Weiter.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:Get*",
                "s3:List*"
            ],
            "Resource": "arn:aws:s3:::redshift-downloads/*"
        }
    ]
}

Geben Sie in Role name (Rollenname) einen Namen für die Rolle ein, z. B. myspectrum_role.

Prüfen Sie die Rolleninformationen, und klicken Sie dann auf Create role.

Wählen Sie im Navigationsbereich Roles. Wählen Sie den Namen Ihrer neuen Rolle aus, um die Zusammenfassung anzuzeigen, und kopieren Sie die Rolle dann ARN in Ihre Zwischenablage. Dieser Wert ist der Amazon-Ressourcenname (ARN) für die Rolle, die Sie gerade erstellt haben. Sie verwenden diesen Wert, wenn Sie externe Daten zur Referenzierung Ihrer Datendateien auf Amazon S3 erstellen.

Öffnen Sie die IAM Konsole unter. https://console.aws.amazon.com/iam/

Wählen Sie im Navigationsbereich Policies aus.

Wenn Sie zum ersten Mal Policies (Richtlinien) auswählen, erscheint die Seite Welcome to Managed Policies (Willkommen bei verwalteten Richtlinien). Wählen Sie Get Started.

Wählen Sie Create Policy (Richtlinie erstellen) aus.

Wählen Sie auf der JSONRegisterkarte aus, ob Sie die Richtlinie erstellen möchten.

Fügen Sie das folgende JSON Richtliniendokument ein, das Zugriff auf den Datenkatalog gewährt, aber die Administratorrechte für Lake Formation verweigert.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "RedshiftPolicyForLF",
            "Effect": "Allow",
            "Action": [
                "glue:*",
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

Wählen Sie, wenn Sie fertig sind, Review (Überprüfen) aus. Die Richtlinienvalidierung meldet mögliche Syntaxfehler.

Geben Sie auf der Seite Review Policy (Richtlinie überprüfen) im Feld Name (Name) myspectrum_policy für die zu erstellende Richtlinie ein. Geben Sie eine Beschreibung ein (Optional) . Überprüfen Sie unter Summary die Richtlinienzusammenfassung, um die Berechtigungen einzusehen, die von Ihrer Richtlinie gewährt werden. Wählen Sie dann Create policy aus, um Ihre Eingaben zu speichern.

Nachdem Sie eine Richtlinie erstellt haben, können Sie Ihren Benutzern Zugriff erteilen.

Öffnen Sie die Lake Formation Formation-Konsole unter https://console.aws.amazon.com/lakeformation/.

Wählen Sie im Navigationsbereich Data-Lake-Berechtigungen und dann Gewähren.

Folgen Sie den Anweisungen unter Gewähren von Tabellenberechtigungen mithilfe der benannten Ressourcenmethode im AWS Lake Formation -Entwicklerhandbuch. Geben Sie die folgenden Informationen ein:

Wählen Sie Gewähren.

Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon Redshift Redshift-Konsole unter https://console.aws.amazon.com/redshiftv2/.

Wählen Sie im Navigationsmenü Clusters (Cluster) und dann den Namen des Clusters aus, den Sie aktualisieren möchten.

Wählen Sie für Aktionen die Option IAMRollen verwalten aus. Die IAMRollenseite wird angezeigt.

Wählen Sie entweder die Eingabetaste ARN und geben Sie dann eine ARN oder eine IAM Rolle ein, oder wählen Sie eine IAM Rolle aus der Liste aus. Wählen Sie dann IAMRolle hinzufügen, um sie der Liste der angehängten IAM Rollen hinzuzufügen.

Wählen Sie Fertig, um die IAM Rolle dem Cluster zuzuordnen. Der Cluster wird modifiziert, um die Änderung abzuschließen.

Um ein externes Schema zu erstellen, ersetzen Sie die IAM Rolle ARN im folgenden Befehl durch die Rolle, die ARN Sie in Schritt 1 erstellt haben. Führen Sie dann den Befehl in Ihrem SQL Client aus.

create external schema myspectrum_schema 
from data catalog 
database 'myspectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
create external database if not exists;

Führen Sie den folgenden CREATE EXTERNAL TABLE Befehl aus, um eine externe Tabelle zu erstellen.

aws s3 cp s3://redshift-downloads/tickit/spectrum/sales/ s3://bucket-name/tickit/spectrum/sales/ --copy-props none --recursive

copy: s3://redshift-downloads/tickit/spectrum/sales/sales_ts.000 to s3://bucket-name/tickit/spectrum/sales/sales_ts.000

create external table myspectrum_schema.sales(
salesid integer,
listid integer,
sellerid integer,
buyerid integer,
eventid integer,
dateid smallint,
qtysold smallint,
pricepaid decimal(8,2),
commission decimal(8,2),
saletime timestamp)
row format delimited
fields terminated by '\t'
stored as textfile
location 's3://redshift-downloads/tickit/spectrum/sales/'
table properties ('numRows'='172000');

Ermittelt die Anzahl der Zeilen im _. MYSPECTRUM SCHEMA SALESTabelle.

select count(*) from myspectrum_schema.sales;

count 
------
172462

Es wird empfohlen, dass Sie Ihre größeren Faktentabellen in Amazon S3 und Ihre kleineren Dimensionstabellen in Amazon Redshift speichern. Wenn Sie die Beispieldaten in Daten laden geladen haben, haben Sie EVENT in Ihrer Datenbank eine Tabelle benannt. Wenn nicht, erstellen Sie die EVENT Tabelle mit dem folgenden Befehl.

create table event(
eventid integer not null distkey,
venueid smallint not null,
catid smallint not null,
dateid smallint not null sortkey,
eventname varchar(200),
starttime timestamp);

Laden Sie die EVENT Tabelle, indem Sie die IAM Rolle ARN im folgenden COPY Befehl durch die Rolle ersetzen, in der ARN Sie sie erstellt habenSchritt 1. Eine IAM Rolle für Amazon Redshift erstellen. Sie können optional die Quelldaten für allevents_pipe.txt aus einem Amazon S3 S3-Bucket in herunterladen und anzeigen AWS-Region us-east-1.

copy event from 's3://redshift-downloads/tickit/allevents_pipe.txt' 
iam_role 'arn:aws:iam::123456789012:role/myspectrum_role'
delimiter '|' timeformat 'YYYY-MM-DD HH:MI:SS' region 'us-east-1';

Das folgende Beispiel verknüpft die externe Amazon S3 S3-Tabelle MYSPECTRUM _SCHEMA. SALESmit der lokalen Amazon Redshift Redshift-TabelleEVENT, um den Gesamtumsatz der 10 wichtigsten Veranstaltungen zu ermitteln.

select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

eventid | sum     
--------+---------
    289 | 51846.00
   7895 | 51049.00
   1602 | 50301.00
    851 | 49956.00
   7315 | 49823.00
   6471 | 47997.00
   2118 | 47863.00
    984 | 46780.00
   7851 | 46661.00
   5638 | 46280.00

Zeigen Sie den Abfrageplan für die vorherige Abfrage an. Beachten Sie, dass die Schritte S3 Seq Scan, S3 HashAggregate und S3 Query Scan für die Daten auf Amazon S3 ausgeführt wurden.

explain
select top 10 myspectrum_schema.sales.eventid, sum(myspectrum_schema.sales.pricepaid) 
from myspectrum_schema.sales, event
where myspectrum_schema.sales.eventid = event.eventid
and myspectrum_schema.sales.pricepaid > 30
group by myspectrum_schema.sales.eventid
order by 2 desc;

QUERY PLAN                                                                                                                                                                                
-----------------------------------------------------------------------------
XN Limit  (cost=1001055770628.63..1001055770628.65 rows=10 width=31)                                                                                                                      
  ->  XN Merge  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                               
        Merge Key: sum(sales.derived_col2)                                                                                                                                                
        ->  XN Network  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                       
              Send to leader                                                                                                                                                              
              ->  XN Sort  (cost=1001055770628.63..1001055770629.13 rows=200 width=31)                                                                                                    
                    Sort Key: sum(sales.derived_col2)                                                                                                                                     
                    ->  XN HashAggregate  (cost=1055770620.49..1055770620.99 rows=200 width=31)                                                                                           
                          ->  XN Hash Join DS_BCAST_INNER  (cost=3119.97..1055769620.49 rows=200000 width=31)                                                                             
                                Hash Cond: ("outer".derived_col1 = "inner".eventid)                                                                                                       
                                ->  XN S3 Query Scan sales  (cost=3010.00..5010.50 rows=200000 width=31)                                                                                  
                                      ->  S3 HashAggregate  (cost=3010.00..3010.50 rows=200000 width=16)                                                                                  
                                            ->  S3 Seq Scan myspectrum_schema.sales location:"s3://redshift-downloads/tickit/spectrum/sales" format:TEXT  (cost=0.00..2150.00 rows=172000 width=16)
                                                  Filter: (pricepaid > 30.00)                                                                                                             
                                ->  XN Hash  (cost=87.98..87.98 rows=8798 width=4)                                                                                                        
                                      ->  XN Seq Scan on event  (cost=0.00..87.98 rows=8798 width=4)

Wählen Sie CFNStack starten. Die CloudFormation Konsole wird mit der ausgewählten Vorlage DataLake .yml geöffnet.

Sie können auch die Redshift Spectrum Getting DataLake CloudFormation CFNStarted-Vorlage herunterladen und anpassen, dann die CloudFormation Konsole (https://console.aws.amazon.com/cloudformation) öffnen und einen Stack mit der benutzerdefinierten Vorlage erstellen.

Wählen Sie Weiter.

Geben Sie unter Parameters (Parameter) den Namen des Amazon-Redshift-Clusters, den Datenbanknamen und Ihren Namen als Datenbankbenutzer ein.

Wählen Sie Next (Weiter).

Die Stack-Optionen werden angezeigt.

Klicken Sie auf Next (Weiter), um die Standardeinstellungen zu übernehmen.

Überprüfen Sie die Informationen und wählen Sie unter Funktionen die Option Ich bestätige, dass AWS CloudFormation möglicherweise Ressourcen erstellt werden. IAM

Wählen Sie Create stack (Stack erstellen) aus.