Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Schemi esterni in Amazon Redshift Spectrum

Questo argomento descrive come creare e utilizzare schemi esterni con Redshift Spectrum. Gli schemi esterni sono raccolte di tabelle che usi come riferimenti per accedere ai dati all'esterno del tuo cluster Amazon Redshift. Queste tabelle contengono metadati sui dati esterni letti da Redshift Spectrum.

Tutte le tabelle esterne devono essere create in uno schema esterno, che crei utilizzando un'istruzione CREATE EXTERNAL SCHEMA.

Uno schema esterno Amazon Redshift fa riferimento a un database esterno in un catalogo dati esterno. Puoi creare il database esterno in Amazon Redshift, in Amazon Athena, in o AWS Glue Data Catalogin un metastore Apache Hive, come Amazon. EMR Se si crea un database esterno in Amazon Redshift, il database si trova nel catalogo dati di Athena. Per creare un database in un metastore Hive, devi crearlo nell'applicazione Hive.

Amazon Redshift deve essere autorizzato ad accedere al catalogo di dati in Athena e ai file di dati in Amazon S3 per tuo conto. Per fornire tale autorizzazione, devi prima creare un ruolo (). AWS Identity and Access Management IAM Quindi colleghi il ruolo al cluster e fornisci Amazon Resource Name (ARN) per il ruolo nell'istruzione Amazon RedshiftCREATE EXTERNAL SCHEMA. Per ulteriori informazioni sull'autorizzazione , consultare IAMpolitiche per Amazon Redshift Spectrum.

Per creare un database esterno nello stesso tempo, devi creare uno schema esterno, specificare FROM DATA CATALOG e includere la clausola CREATE EXTERNAL DATABASE nell'istruzione CREATE EXTERNAL SCHEMA.

L'esempio seguente crea uno schema esterno denominato spectrum_schema utilizzando il database esterno spectrum_db.

create external schema spectrum_schema from data catalog 
database 'spectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole'
create external database if not exists;

Se il catalogo dati viene gestito mediante Athena, specificare il nome di database Athena e la regione AWS in cui si trova il catalogo dati Athena.

Nell'esempio seguente viene creato uno schema esterno che utilizza il database sampledb di default nel catalogo dati di Athena.

create external schema athena_schema from data catalog 
database 'sampledb' 
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole' 
region 'us-east-2';

Se gestisci il tuo catalogo di dati utilizzando un metastore Hive, come AmazonEMR, i tuoi gruppi di sicurezza devono essere configurati per consentire il traffico tra i cluster.

Nella CREATE EXTERNAL SCHEMA dichiarazione, specifica FROM HIVE METASTORE e includi il metastore e il numero di porta. URI L'esempio seguente crea uno schema esterno che utilizza un database metastore Hive denominato hive_db.

create external schema hive_schema
from hive metastore
database 'hive_db'
uri '172.10.10.10' port 99
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole'

Per visualizzare gli schemi esterni per il tuo cluster, interroga la tabella del SCHEMA catalogo PG_ EXTERNAL _ o la vista _ _. SVV EXTERNAL SCHEMAS L'esempio seguente interroga SVV _ _SCHEMAS, che unisce EXTERNAL PG_ _ e PG_. EXTERNAL SCHEMA NAMESPACE

select * from svv_external_schemas

Per la sintassi completa del comando e alcuni esempi, consultare CREATE EXTERNAL SCHEMA.

Utilizzo di cataloghi esterni in Amazon Redshift Spectrum

I metadati per i database esterni e le tabelle esterne di Amazon Redshift Spectrum sono archiviati in un catalogo dati esterno. Per impostazione predefinita, i metadati di Redshift Spectrum sono archiviati nel catalogo dati di Athena. È possibile visualizzare e gestire i database e le tabelle di Redshift Spectrum nella console Athena.

Puoi anche creare e gestire database esterni e tabelle esterne utilizzando il linguaggio di definizione dei dati Hive (DDL) utilizzando Athena o un metastore Hive, come Amazon. EMR

Visualizzazione dei database Redshift Spectrum in Athena e AWS Glue

È possibile creare un database esterno includendo la NOT EXISTS clausola CREATE EXTERNAL DATABASE IF come parte della dichiarazione. CREATE EXTERNAL SCHEMA In questi casi, i metadati del database esterno sono archiviati nel catalogo dati. I metadati per le tabelle esterne che crei qualificati dallo schema esterno sono archiviati anche nel tuo catalogo dati .

Athena e AWS Glue mantieni un catalogo dati per ogni supporto. Regione AWS Per visualizzare i metadati della tabella, accedi ad Athena AWS Glue o alla console. In Athena, scegli Origini dati, le tue AWS Glue, quindi visualizza i dettagli del tuo database. In AWS Glue, scegli Database, il tuo database esterno, quindi visualizza i dettagli del tuo database.

Se crei e gestisci le tue tabelle esterne utilizzando Athena, registra il database utilizzando. CREATE EXTERNAL SCHEMA Ad esempio, il comando seguente registra il database Athena denominato sampledb.

create external schema athena_sample
from data catalog
database 'sampledb'
iam_role 'arn:aws:iam::123456789012:role/mySpectrumRole'
region 'us-east-1';

Quando esegui una query sulla vista di TABLES sistema SVV EXTERNAL _ _, vengono visualizzate le tabelle nel sampledb database Athena e anche le tabelle che hai creato in Amazon Redshift.

select * from svv_external_tables;

schemaname    | tablename        | location                                               
--------------+------------------+--------------------------------------------------------
athena_sample | elb_logs         | s3://athena-examples/elb/plaintext           
athena_sample | lineitem_1t_csv  | s3://myspectrum/tpch/1000/lineitem_csv                
athena_sample | lineitem_1t_part | s3://myspectrum/tpch/1000/lineitem_partition          
spectrum      | sales            | s3://redshift-downloads/tickit/spectrum/sales          
spectrum      | sales_part       | s3://redshift-downloads/tickit/spectrum/sales_part

Registrazione di un database di un metastore Apache Hive

Se crei tabelle esterne in un metastore Apache Hive, puoi utilizzarle CREATE EXTERNAL SCHEMA per registrare tali tabelle in Redshift Spectrum.

Nella CREATE EXTERNAL SCHEMA dichiarazione, specifica la FROM HIVE METASTORE clausola e fornisci il metastore Hive e il numero di porta. URI Il IAM ruolo deve includere l'autorizzazione per accedere ad Amazon S3 ma non richiede alcuna autorizzazione Athena. L'esempio seguente registra un metastore Hive.

create external schema if not exists hive_schema
from hive metastore
database 'hive_database'
uri 'ip-10-0-111-111.us-west-2.compute.internal' port 9083 
iam_role 'arn:aws:iam::123456789012:role/mySpectrumRole';

Consentire al cluster Amazon Redshift di accedere al cluster Amazon EMR

Se il tuo metastore Hive si trova su AmazonEMR, devi consentire al cluster Amazon Redshift di accedere al tuo cluster Amazon. EMR A tale scopo, crei un gruppo EC2 di sicurezza Amazon. Quindi consenti tutto il traffico in entrata al gruppo EC2 di sicurezza dal gruppo di sicurezza del tuo cluster Amazon Redshift e dal gruppo di sicurezza del tuo cluster EMR Amazon. Quindi aggiungi la EC2 sicurezza sia al cluster Amazon Redshift che al cluster AmazonEMR.