Einen Data Lake aus einer JDBC Quelle in Lake Formation erstellen

1. Öffnen Sie die IAM-Konsole unter https://console.aws.amazon.com/iam. Melden Sie sich als der Administratorbenutzer an, den Sie in der verwalteten Richtlinie erstellt haben, Erstellen Sie einen Benutzer mit Administratorzugriff oder als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie.

2. Erstellen Sie einen Benutzer datalake_user mit dem Namen mit den folgenden Einstellungen:

   • AWS Management Console Zugriff aktivieren.

   • Legen Sie ein Passwort fest und fordern Sie kein Zurücksetzen des Passworts an.

   • Hängen Sie die AmazonAthenaFullAccess AWS verwaltete Richtlinie an.

   • Fügen Sie die folgende Inline-Richtlinie an. Speichern Sie die Richtlinie unter dem Namen DatalakeUserBasic.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

So stellen Sie eine Verbindung her

1. Öffnen Sie AWS Glue die Konsole unter https://console.aws.amazon.com/glue/ und melden Sie sich als der Administratorbenutzer an, den Sie erstellt habenErstellen Sie einen Benutzer mit Administratorzugriff.

2. Wählen Sie im Navigationsbereich unter Data catalog die Option Connections (Verbindungen) aus.

3. Wählen Sie auf der Seite Connectors die Option Create custom Connector (Benutzerdefinierten Connector erstellen) aus.

4. Geben Sie datalake-tutorial auf der Eigenschaftenseite des Connectors den Namen der Verbindung ein und wählen Sie JDBCden Verbindungstyp aus. Wählen Sie anschließend Weiter.

5. Fahren Sie mit dem Verbindungsassistenten fort und speichern Sie die Verbindung.

   Informationen zum Erstellen einer Verbindung finden Sie unter AWS Glue JDBCVerbindungseigenschaften im AWS Glue Entwicklerhandbuch.

1. Öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/und melden Sie sich als der Administratorbenutzer an, den Sie erstellt habenErstellen Sie einen Benutzer mit Administratorzugriff.

2. Wählen Sie Create Bucket und erstellen Sie mithilfe des Assistenten einen Bucket mit dem Namen<yourName>-datalake-tutorial, wo <yourName> ist Ihr Vor- und Nachname. Beispiel: jdoe-datalake-tutorial.

   Eine ausführliche Anleitung zur Erstellung eines Amazon S3 S3-Buckets finden Sie unter Wie erstelle ich einen S3-Bucket? im Amazon Simple Storage Service-Benutzerhandbuch.

1. Öffnen Sie die Lake Formation Formation-Konsole unter https://console.aws.amazon.com/lakeformation/. Melden Sie sich als Data Lake-Administrator an.

2. Wählen Sie im Navigationsbereich unter Verwaltung die Option Data Lake-Standorte aus.

3. Wählen Sie Speicherort registrieren und dann Durchsuchen aus.

4. Wählen Sie den <yourName>-datalake-tutorial Bucket aus, den Sie zuvor erstellt haben, akzeptieren Sie die IAM AWSServiceRoleForLakeFormationDataAccess Standardrolle und wählen Sie dann Standort registrieren aus.

   Weitere Informationen zur Registrierung von Standorten finden Sie unterHinzufügen eines Amazon S3 S3-Standorts zu Ihrem Data Lake.

1. Wählen Sie in der Lake Formation Formation-Konsole im Navigationsbereich unter Berechtigungen die Option Datenspeicherorte aus.

2. Wählen Sie Grant aus, und gehen Sie im Dialogfeld Berechtigungen gewähren wie folgt vor:

   1. Wählen Sie für IAMBenutzer und RollenLakeFormationWorkflowRole.

   2. Wählen Sie für Speicherorte Ihren <yourName>-datalake-tutorial Bucket aus.

3. Wählen Sie Gewähren.

1. Wählen Sie in der Lake Formation Formation-Konsole im Navigationsbereich unter Datenkatalog die Option Datenbanken aus.

2. Wählen Sie Datenbank erstellen aus, und geben Sie unter Datenbankdetails den Namen einlakeformation_tutorial.

3. Lassen Sie die anderen Felder leer und wählen Sie Datenbank erstellen aus.

1. Wählen Sie in der Lake Formation Formation-Konsole im Navigationsbereich unter Berechtigungen die Option Data Lake-Berechtigungen aus.

2. Wählen Sie Grant aus, und gehen Sie im Dialogfeld Datenberechtigungen gewähren wie folgt vor:

   1. Wählen Sie unter Principals für IAMBenutzer und Rollen die Option ausLakeFormationWorkflowRole.

   2. Wählen Sie unter LF-Tags oder Katalogressourcen die Option Benannte Datenkatalogressourcen aus.

   3. Wählen Sie für Datenbanken die Datenbank aus, die Sie zuvor erstellt haben. lakeformation_tutorial

   4. Wählen Sie unter Datenbankberechtigungen die Optionen Tabelle erstellen, Ändern und Löschen aus, und deaktivieren Sie Super, falls diese Option ausgewählt ist.

3. Wählen Sie Gewähren.

1. Wählen Sie in der Lake Formation Formation-Konsole im Navigationsbereich Blueprints und dann Blueprint verwenden aus.

2. Wählen Sie auf der Seite Blueprint verwenden unter Blueprint-Typ die Option Datenbank-Snapshot aus.

3. Wählen Sie unter Importquelle für Datenbankverbindung die Verbindung aus, die Sie gerade erstellt habendatalake-tutorial, oder wählen Sie eine bestehende Verbindung für Ihre Datenquelle aus.

4. Geben Sie im Formular <database>/<schema>/<table> unter Quelldatenpfad den Pfad ein, aus dem Daten aufgenommen werden sollen.

   Sie können den Platzhalter Prozent (%) durch Schema oder Tabelle ersetzen. Geben Sie für Datenbanken, die Schemas unterstützen, Folgendes ein <database>/<schema>/%, um allen Tabellen in zu entsprechen <schema> innerhalb <database>. Oracle Database und My unterstützen SQL kein Schema im Pfad. Geben Sie stattdessen Folgendes ein <database>/%. Für Oracle-Datenbank <database> ist der Systembezeichner (SID).

   Beispiel: Wenn eine Oracle-Datenbank über eine eigene Datenbank verfügt orclSID, geben Sie die Eingabe ein, orcl/% um alle Tabellen abzugleichen, auf die der in der JDCB Verbindung angegebene Benutzer Zugriff hat.

   Wichtig

   Bitte beachten Sie die Groß- und Kleinschreibung.

5. Geben Sie unter Importziel die folgenden Parameter an:

   Zieldatenbank	lakeformation_tutorial
   Zielspeicherort	s3://<yourName>-datalake-tutorial
   Data format (Datenformat)	(Wählen Sie Parkett oderCSV)

6. Wählen Sie „Bei Bedarf ausführen“ für die Importhäufigkeit aus.

7. Geben Sie unter Importoptionen die folgenden Parameter an:

   Name des Workflows	lakeformationjdbctest
   IAMRolle	LakeFormationWorkflowRole
   Tabellenpräfix	jdbctest Anmerkung Muss in Kleinbuchstaben geschrieben werden.

8. Wählen Sie Create und warten Sie, bis die Konsole meldet, dass der Workflow erfolgreich erstellt wurde.

   Tipp

   Haben Sie die folgende Fehlermeldung erhalten?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   Falls ja, überprüfen Sie, ob Sie ersetzt haben <account-id> in der Inline-Richtlinie für den Data Lake-Administratorbenutzer mit einer gültigen AWS Kontonummer.

1. Wählen Sie in der Lake Formation Formation-Konsole auf der Seite Blueprints den Workflow lakeformationjdbctest aus.

2. Wählen Sie Aktionen und dann Start aus.

3. Während der Ausführung des Workflows können Sie seinen Fortschritt in der Spalte Status der letzten Ausführung anzeigen. Wählen Sie gelegentlich die Schaltfläche „Aktualisieren“.

   Der Status geht von RUNNING, zu Discovering, zu Importiert, zu COMPLETED.

   Wenn der Workflow abgeschlossen ist:

   • Der Datenkatalog enthält neue Metadatentabellen.

   • Ihre Daten werden in den Data Lake aufgenommen.

   Wenn der Workflow fehlschlägt, gehen Sie wie folgt vor:

   1. Wählen Sie den Workflow aus. Wählen Sie Aktionen und dann Diagramm anzeigen aus.

      Der Workflow wird in der AWS Glue Konsole geöffnet.

   2. Wählen Sie den Workflow und dann die Registerkarte Verlauf aus.

   3. Wählen Sie den letzten Lauf aus und klicken Sie auf Laufdetails anzeigen.

   4. Wählen Sie im dynamischen (Laufzeit-) Diagramm einen fehlgeschlagenen Job oder Crawler aus und überprüfen Sie die Fehlermeldung. Fehlgeschlagene Knoten sind entweder rot oder gelb.

1. Wählen Sie in der Lake Formation Formation-Konsole im Navigationsbereich unter Berechtigungen die Option Data Lake-Berechtigungen aus.

2. Wählen Sie Grant aus, und gehen Sie im Dialogfeld Datenberechtigungen gewähren wie folgt vor:

   1. Wählen Sie unter Principals für IAMBenutzer und Rollen die Option ausdatalake_user.

   2. Wählen Sie unter LF-Tags oder Katalogressourcen die Option Benannte Datenkatalogressourcen aus.

   3. Wählen Sie für Datenbanken die Option. lakeformation_tutorial

      Die Tabellenliste wird aufgefüllt.

   4. Wählen Sie für Tabellen eine oder mehrere Tabellen aus Ihrer Datenquelle aus.

   5. Wählen Sie unter Tabellen- und Spaltenberechtigungen die Option Auswählen aus.

3. Wählen Sie Gewähren.

1. Öffnen Sie die Athena-Konsole unter https://console.aws.amazon.com/athena/und melden Sie sich als Datenanalyst-Benutzer datalake_user an.

2. Falls erforderlich, wählen Sie Get Started, um zum Athena-Abfrage-Editor zu gelangen.

3. Wählen Sie für Datenquelle AwsDataCatalog aus.

4. Wählen Sie unter Database (Datenbank) Option lakeformation_tutorial aus.

   Die Tabellenliste wird aufgefüllt.

5. Wählen Sie im Popupmenü neben einer der Tabellen die Option Tabellenvorschau aus.

   Die Abfrage wird ausgeführt und zeigt 10 Datenzeilen an.

So richten Sie Berechtigungen für die Ausführung von Amazon Redshift Redshift-Abfragen ein

1. Öffnen Sie die IAM Konsole unter. https://console.aws.amazon.com/iam/ Melden Sie sich als der Administratorbenutzer an, den Sie unter Erstellen Sie einen Benutzer mit Administratorzugriff (BenutzernameAdministrator) erstellt haben, oder als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie.

2. Wählen Sie im Navigationsbereich Policies aus.

   Wenn Sie zum ersten Mal Policies (Richtlinien) auswählen, erscheint die Seite Welcome to Managed Policies (Willkommen bei verwalteten Richtlinien). Wählen Sie Get Started.

3. Wählen Sie Create Policy (Richtlinie erstellen) aus.

4. Wählen Sie die JSONRegisterkarte.

5. Fügen Sie das folgende JSON Richtliniendokument ein.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"                
              ],
               "Resource": "*"
           }
       ]
   }

6. Wählen Sie, wenn Sie fertig sind, Review (Überprüfen) aus. Die Richtlinienvalidierung meldet mögliche Syntaxfehler.

7. Geben Sie auf der Seite „Richtlinie überprüfen“ den Namen RedshiftLakeFormationPolicy für die Richtlinie ein, die Sie erstellen. (Optional) Geben Sie eine Beschreibung ein. Überprüfen Sie unter Summary die Richtlinienzusammenfassung, um die Berechtigungen einzusehen, die von Ihrer Richtlinie gewährt werden. Wählen Sie dann Create policy aus, um Ihre Eingaben zu speichern.

8. Wählen Sie im Navigationsbereich der IAM Konsole Rollen und anschließend Rolle erstellen aus.

9. Wählen Sie für Select trusted entity (Vertrauenswürdige Entität auswählen) die Option AWS -Dienst.

10. Wählen Sie den Amazon-Redshift-Service aus, um diese Rolle anzunehmen.

11. Wählen Sie den Anwendungsfall Redshift Costumizable (Durch Redshift anpassbar) für Ihren Service aus. Wählen Sie dann Next: Permissions.

12. Suchen Sie nach der Berechtigungsrichtlinie, die Sie erstellt habenRedshiftLakeFormationPolicy, und aktivieren Sie das Kontrollkästchen neben dem Richtliniennamen in der Liste.

13. Wählen Sie Next: Tags (Weiter: Tags) aus.

14. Klicken Sie auf Weiter: Prüfen.

15. Geben Sie für Role name (Rollenname) den Namen RedshiftLakeFormationRole ein.

16. (Optional) Geben Sie im Feld Role description (Rollenbeschreibung) eine Beschreibung für die neue Rolle ein.

17. Prüfen Sie die Rolle und klicken Sie dann auf Create Role (Rolle erstellen).

Um Select Berechtigungen für die Tabelle zu erteilen, die in der Lake Formation Formation-Datenbank abgefragt werden soll

1. Öffnen Sie die Lake Formation Formation-Konsole unter https://console.aws.amazon.com/lakeformation/. Melden Sie sich als Data Lake-Administrator an.

2. Wählen Sie im Navigationsbereich unter Berechtigungen die Option Data Lake-Berechtigungen und dann Grant aus.

3. Geben Sie die folgenden Informationen ein:

   • Wählen Sie für IAMBenutzer und Rollen die IAM Rolle aus, die Sie erstellt habenRedshiftLakeFormationRole. Wenn Sie den Amazon Redshift Query Editor ausführen, verwendet er diese IAM Rolle für die Genehmigung der Daten.

   • Wählen Sie unter Database (Datenbank) Option lakeformation_tutorial aus.

     Die Tabellenliste wird aufgefüllt.

   • Wählen Sie für Tabelle eine Tabelle in der abzufragenden Datenquelle aus.

   • Wählen Sie die Berechtigung Tabelle auswählen.

4. Wählen Sie Gewähren.

So richten Sie Amazon Redshift Spectrum ein und führen Abfragen aus

1. Öffnen Sie die Amazon Redshift Redshift-Konsole unterhttps://console.aws.amazon.com/redshift. Melden Sie sich als Benutzer Administrator an.

2. Wählen Sie Cluster erstellen.

3. Geben Sie auf der Seite Cluster erstellen redshift-lakeformation-demo die Cluster-ID ein.

4. Wählen Sie für den Knotentyp dc2.large aus.

5. Scrollen Sie nach unten und geben Sie unter Datenbankkonfigurationen die folgenden Parameter ein, oder akzeptieren Sie sie:

   • Admin-Benutzername: awsuser

   • Admin-Benutzerpasswort: (Choose a password)

6. Erweitern Sie Cluster-Berechtigungen und wählen Sie für Verfügbare IAM Rollen die Option RedshiftLakeFormationRole. Wählen Sie dann IAMRolle hinzufügen aus.

7. Wenn Sie einen anderen Port als den Standardwert 5439 verwenden müssen, deaktivieren Sie neben Zusätzliche Konfigurationen die Option Standardwerte verwenden. Erweitern Sie den Abschnitt für Datenbankkonfigurationen und geben Sie eine neue Datenbankportnummer ein.

8. Wählen Sie Cluster erstellen.

   Die Cluster-Seite wird geladen.

9. Warten Sie, bis der Cluster-Status „Verfügbar“ lautet. Wählen Sie regelmäßig das Aktualisierungssymbol.

10. Erteilen Sie dem Datenanalysten die Erlaubnis, Abfragen für den Cluster auszuführen. Führen Sie dazu die folgenden Schritte aus:

    1. Öffnen Sie die IAM Konsole https://console.aws.amazon.com/iam/unter und melden Sie sich als Administrator Benutzer an.

    2. Wählen Sie im Navigationsbereich Benutzer aus und fügen Sie dem Benutzer die folgenden verwalteten Richtlinien hinzudatalake_user.

       • AmazonRedshiftQueryEditor

       • AmazonRedshiftReadOnlyAccess

11. Melden Sie sich von der Amazon Redshift Redshift-Konsole ab und melden Sie sich erneut als Benutzer datalake_user an.

12. Wählen Sie in der linken vertikalen Werkzeugleiste das EDITORSymbol aus, um den Abfrage-Editor zu öffnen und eine Verbindung zum Cluster herzustellen. Wenn das Dialogfeld Mit Datenbank Connect angezeigt wird, wählen Sie den Clusternamen redshift-lakeformation-demo und geben Sie den Datenbanknamendev, den Benutzernamen und das Passwort einawsuser, das Sie erstellt haben. Wählen Sie dann Connect to database (Verbindung zur Datenbank herstellen) aus.

    Anmerkung

    Wenn Sie nicht zur Eingabe von Verbindungsparametern aufgefordert werden und bereits ein anderer Cluster im Abfrage-Editor ausgewählt ist, wählen Sie Verbindung ändern, um das Dialogfeld Mit Datenbank Connect zu öffnen.

13. Geben Sie im Textfeld Neue Abfrage 1 die folgende Anweisung ein und führen Sie sie aus, um die Datenbank lakeformation_tutorial in Lake Formation dem Amazon Redshift Redshift-Schemanamen zuzuordnen: redshift_jdbc

    Wichtig

    Ersetzen <account-id> mit einer gültigen AWS Kontonummer und <region> mit einem gültigen AWS Regionsnamen (z. B.us-east-1).

    create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::<account-id>:role/RedshiftLakeFormationRole' region '<region>';

14. Wählen Sie in der Schemaliste unter Schema auswählen die Option redshift_jdbc aus.

    Die Tabellenliste wird aufgefüllt. Der Abfrage-Editor zeigt nur die Tabellen an, für die Ihnen Lake Formation Data Lake-Berechtigungen erteilt wurden.

15. Wählen Sie im Popupmenü neben einem Tabellennamen die Option Datenvorschau aus.

    Amazon Redshift gibt die ersten 10 Zeilen zurück.

    Sie können jetzt Abfragen für die Tabellen und Spalten ausführen, für die Sie Berechtigungen haben.