Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Externe Schemas in Amazon Redshift Spectrum

In diesem Thema wird beschrieben, wie externe Schemas mit Redshift Spectrum erstellt und verwendet werden. Externe Schemas sind Sammlungen von Tabellen, die Sie als Verweise für den Zugriff auf Daten außerhalb Ihres Amazon Redshift Redshift-Clusters verwenden. Diese Tabellen enthalten Metadaten zu den externen Daten, die Redshift Spectrum liest.

Alle externen Tabellen müssen in einem externen Schema erstellt werden, das Sie mit einer CREATE EXTERNAL SCHEMA-Anweisung erstellen.

Ein externes Amazon-Redshift-Schema verweist auf eine externe Datenbank in einem externen Datenkatalog. Sie können die externe Datenbank in Amazon Redshift, in Amazon Athena, in oder in AWS Glue Data Catalogeinem Apache Hive-Metastore wie Amazon erstellen. EMR Wenn Sie eine externe Datenbank in Amazon Redshift erstellen, befindet sich diese im Athena-Datenkatalog. Zur Erstellung einer Datenbank in einem Hive-Metastore müssen Sie sie in Ihrer Hive-Anwendung erstellen.

Amazon Redshift benötigt in Ihrem Namen die Autorisierung zum Zugriff auf den Datenkatalog in Athena und die Datendateien in Amazon S3. Um diese Autorisierung zu erteilen, erstellen Sie zunächst eine AWS Identity and Access Management Rolle (). IAM Dann fügen Sie die Rolle Ihrem Cluster hinzu und geben den Amazon-Ressourcennamen (ARN) für die Rolle in der Amazon CREATE EXTERNAL SCHEMA Redshift-Erklärung an. Weitere Informationen zur -Autorisierung finden Sie unter IAMRichtlinien für Amazon Redshift Spectrum.

Um eine externe Datenbank gleichzeitig mit der Erstellung eines externen Schemas zu erstellen, geben Sie FROM DATA CATALOG an, und schließen Sie die CREATE EXTERNAL DATABASE-Klausel in Ihre CREATE EXTERNAL SCHEMA-Anweisung ein.

Das folgende Beispiel erstellt ein externes Schema mit der Bezeichnung spectrum_schema unter Verwendung der externen Datenbank spectrum_db.

create external schema spectrum_schema from data catalog 
database 'spectrum_db' 
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole'
create external database if not exists;

Wenn Sie Ihren Datenkatalog mit Athena verwalten, geben Sie den Athena-Datenbanknamen und die AWS -Region an, in der sich der Athena-Datenkatalog befindet.

Das folgende Beispiel erstellt ein externes Schema mit der Standarddatenbank sampledb im Athena-Datenkatalog.

create external schema athena_schema from data catalog 
database 'sampledb' 
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole' 
region 'us-east-2';

Wenn Sie Ihren Datenkatalog mit einem Hive-Metastore wie Amazon verwalten, müssen Ihre Sicherheitsgruppen so konfiguriert seinEMR, dass sie Datenverkehr zwischen den Clustern zulassen.

Geben Sie in der CREATE EXTERNAL SCHEMA Anweisung die Metastore FROM HIVE METASTORE - und Portnummer an und fügen Sie sie hinzuURI. Im folgenden Beispiel wird ein externes Schema mittels einer Hive-Metastore-Datenbank namens erstellt hive_db.

create external schema hive_schema
from hive metastore
database 'hive_db'
uri '172.10.10.10' port 99
iam_role 'arn:aws:iam::123456789012:role/MySpectrumRole'

Um externe Schemas für Ihren Cluster anzuzeigen, fragen Sie die SCHEMA Katalogtabelle PG_ EXTERNAL _ oder die Ansicht SVV _ _ EXTERNAL ab. SCHEMAS Im folgenden Beispiel wird SVV _ _ abgefragtSCHEMAS, wodurch EXTERNAL PG_ _ und EXTERNAL PG_ SCHEMA verknüpft werden. NAMESPACE

select * from svv_external_schemas

Für die vollständige Befehlssyntax und Beispiele vgl. CREATE EXTERNAL SCHEMA.

Arbeiten mit externen Katalogen in Amazon Redshift Spectrum

Die Metadaten für externe Amazon-Redshift-Spectrum-Datenbanken und externe Tabellen werden in einem externen Datenkatalog gespeichert. Standardmäßig werden Redshift-Spectrum-Metadaten in einem Athena-Datenkatalog gespeichert. Sie können Redshift-Spectrum-Datenbanken und -Tabellen in Ihrer Athena-Konsole anzeigen und verwalten.

Sie können auch externe Datenbanken und externe Tabellen mithilfe der Hive-Datendefinitionssprache (DDL) mithilfe von Athena oder einem Hive-Metastore wie Amazon erstellen und verwalten. EMR

Redshift Spectrum-Datenbanken in Athena anzeigen und AWS Glue

Sie können eine externe Datenbank erstellen, indem Sie die CREATE EXTERNAL DATABASE NOT EXISTS IF-Klausel in Ihre CREATE EXTERNAL SCHEMA Anweisung aufnehmen. In solchen Fällen werden die Metadaten der externen Datenbank in Ihrem Datenkatalog gespeichert. Die Metadaten für externe Tabellen, die Sie mit Qualifizierung durch das externe Schema erstellen, werden ebenfalls in Ihrem -Datenkatalog gespeichert.

Athena und AWS Glue pflegen einen Datenkatalog für jeden unterstützten AWS-Region. Um Tabellenmetadaten anzuzeigen, melden Sie sich bei Athena oder der AWS Glue Konsole an. Wählen Sie in Athena Data sources, your AWS Glue, und zeigen Sie dann die Details Ihrer Datenbank an. Wählen Sie in AWS GlueDatenbanken, Ihre externe Datenbank, und zeigen Sie dann die Details Ihrer Datenbank an.

Wenn Sie Ihre externen Tabellen mit Athena erstellen und verwalten, registrieren Sie die Datenbank mit CREATE EXTERNALSCHEMA. Beispielsweise registriert der folgende Befehl die Athena-Datenbank mit der Bezeichnung sampledb.

create external schema athena_sample
from data catalog
database 'sampledb'
iam_role 'arn:aws:iam::123456789012:role/mySpectrumRole'
region 'us-east-1';

Wenn Sie die TABLES Systemansicht SVV _ EXTERNAL _ abfragen, sehen Sie Tabellen in der sampledb Athena-Datenbank und auch Tabellen, die Sie in Amazon Redshift erstellt haben.

select * from svv_external_tables;

schemaname    | tablename        | location                                               
--------------+------------------+--------------------------------------------------------
athena_sample | elb_logs         | s3://athena-examples/elb/plaintext           
athena_sample | lineitem_1t_csv  | s3://myspectrum/tpch/1000/lineitem_csv                
athena_sample | lineitem_1t_part | s3://myspectrum/tpch/1000/lineitem_partition          
spectrum      | sales            | s3://redshift-downloads/tickit/spectrum/sales          
spectrum      | sales_part       | s3://redshift-downloads/tickit/spectrum/sales_part

Registrieren einer Apache Hive-Metastore-Datenbank

Wenn Sie externe Tabellen in einem Apache Hive-Metastore erstellen, können CREATE EXTERNAL SCHEMA Sie diese Tabellen in Redshift Spectrum registrieren.

Geben Sie in der CREATE EXTERNAL SCHEMA Anweisung die FROM HIVE METASTORE Klausel an und geben Sie den URI Hive-Metastore und die Portnummer an. Die IAM Rolle muss die Berechtigung für den Zugriff auf Amazon S3 beinhalten, benötigt jedoch keine Athena-Berechtigungen. Das folgende Beispiel registriert einen Hive-Metastore.

create external schema if not exists hive_schema
from hive metastore
database 'hive_database'
uri 'ip-10-0-111-111.us-west-2.compute.internal' port 9083 
iam_role 'arn:aws:iam::123456789012:role/mySpectrumRole';

Aktivieren Sie Ihren Amazon Redshift Redshift-Cluster für den Zugriff auf Ihren EMR Amazon-Cluster

Wenn sich Ihr Hive-Metastore in Amazon befindetEMR, müssen Sie Ihrem Amazon Redshift Redshift-Cluster Zugriff auf Ihren Amazon-Cluster gewähren. EMR Dazu erstellen Sie eine EC2 Amazon-Sicherheitsgruppe. Anschließend lassen Sie den gesamten eingehenden Datenverkehr von der EC2 Sicherheitsgruppe Ihres Amazon Redshift Redshift-Clusters und der Sicherheitsgruppe Ihres EMR Amazon-Clusters zur Sicherheitsgruppe zu. Dann fügen Sie die EC2 Sicherheit sowohl Ihrem Amazon Redshift Redshift-Cluster als auch Ihrem EMR Amazon-Cluster hinzu.