Einrichten AWS Lake Formation

1. Melden Sie sich bei der AWS CloudFormation Konsole unter https://console.aws.amazon.com/cloudformation als IAM-Administrator in der Region USA Ost (Nord-Virginia) an.

2. Wählen Sie Launch Stack.

3. Wählen Sie auf dem Bildschirm Stapel erstellen die Option Weiter aus.

4. Geben Sie einen Stack-Namen ein.

5. Geben Sie für DatalakeAdminName und DatalakeAdminPassword Ihren Benutzernamen und Ihr Passwort für den Data Lake-Admin-Benutzer ein.

6. Geben Sie für DatalakeUser1Name und DatalakeUser1Password Ihren Benutzernamen und Ihr Passwort für den Data Lake Analyst-Benutzer ein.

7. Geben Sie für DataLakeBucketName Ihren neuen Bucket-Namen ein, der erstellt werden soll.

8. Wählen Sie Weiter aus.

9. Wählen Sie auf der nächsten Seite I acknowledge that CloudFormation might create IAM resources with custom names und wählen Sie Weiter.

10. Überprüfen Sie die Details auf der letzten Seite und wählen Sie Ich bestätige, dass AWS CloudFormation möglicherweise IAM-Ressourcen erstellt werden.

11. Wählen Sie Erstellen aus.

    Die Stapelerstellung kann bis zu zwei Minuten dauern.

Bereinigen von Ressourcen

Wenn Sie die CloudFormation Stack-Ressourcen bereinigen möchten:

1. De-register der Amazon S3-Bucket, den Ihr Stack erstellt und als Data Lake-Standort registriert hat.

2. Löschen Sie den CloudFormation Stack. Dadurch werden alle vom Stack erstellten Ressourcen gelöscht.

So erstellen Sie einen Data Lake-Administrator (Konsole)

1. Wenn der Benutzer, der ein Data Lake-Administrator werden soll, noch nicht existiert, verwenden Sie die IAM-Konsole, um ihn zu erstellen. Wählen Sie andernfalls einen vorhandenen Benutzer aus, der der Data Lake-Administrator werden soll.

   Anmerkung

   Es wird empfohlen, keinen IAM-Administratorbenutzer (Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie) als Data Lake-Administrator auszuwählen.

   Hängen Sie dem Benutzer die folgenden AWS verwalteten Richtlinien an:

   Richtlinien	Obligatorisch?	Hinweise
   AWSLakeFormationDataAdmin	zwingend erforderlich	Grundlegende Administratorberechtigungen für Data Lake. Diese AWS verwaltete Richtlinie enthält eine explizite Ablehnung des Lake Formation-API-Vorgangs, wodurch Benutzer PutDataLakeSetting daran gehindert werden, neue Data Lake-Administratoren zu erstellen.
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	Optional	Hängen Sie diese Richtlinien an, wenn der Data Lake-Administrator anhand von Lake Formation-Blueprints erstellte Workflows beheben soll. Diese Richtlinien ermöglichen es dem Data Lake-Administrator, Informationen zur Fehlerbehebung in der AWS Glue Konsole und der Amazon CloudWatch Logs Konsole einzusehen. Informationen zu Workflows finden Sie unterDaten mithilfe von Workflows in Lake Formation importieren.
   AWSLakeFormationCrossAccountManager	Optional	Hängen Sie diese Richtlinie an, damit der Data Lake-Administrator kontoübergreifende Berechtigungen für Datenkatalogressourcen gewähren und widerrufen kann. Weitere Informationen finden Sie unter Cross-account Datenaustausch in Lake Formation.
   AmazonAthenaFullAccess	Optional	Hängen Sie diese Richtlinie an, wenn der Data Lake-Administrator Abfragen in Amazon Athena ausführen wird.

2. Fügen Sie die folgende Inline-Richtlinie hinzu, die dem Data Lake-Administrator die Berechtigung erteilt, die serviceverknüpfte Rolle Lake Formation zu erstellen. Ein empfohlener Name für die Richtlinie lautetLakeFormationSLR.

   Die serviceverknüpfte Rolle ermöglicht es dem Data Lake-Administrator, Amazon S3-Standorte einfacher bei Lake Formation zu registrieren. Weitere Informationen zur servicebezogenen Rolle Lake Formation finden Sie unter. Verwenden von serviceverknüpften Rollen für Lake Formation

   Wichtig

   Ersetzen Sie in allen folgenden Richtlinien <account-id> durch eine gültige AWS Kontonummer.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. (Optional) Hängen Sie dem Benutzer die folgende PassRole Inline-Richtlinie an. Diese Richtlinie ermöglicht es dem Data Lake-Administrator, Workflows zu erstellen und auszuführen. Die iam:PassRole Berechtigung ermöglicht es dem Workflow, die Rolle LakeFormationWorkflowRole zum Erstellen von Crawlern und Jobs zu übernehmen und die Rolle den erstellten Crawlern und Jobs zuzuordnen. Ein empfohlener Name für die Richtlinie lautet. UserPassRole

   Wichtig

   <account-id>Durch eine gültige AWS Kontonummer ersetzen.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

4. (Optional) Füge diese zusätzliche Inline-Richtlinie hinzu, wenn dein Konto kontoübergreifende Lake Formation-Berechtigungen erteilt oder erhält. Diese Richtlinie ermöglicht es dem Data Lake-Administrator, Einladungen zur gemeinsamen Nutzung von Ressourcen einzusehen und anzunehmen AWS Resource Access Manager (AWS RAM). Außerdem beinhaltet die Richtlinie für Data Lake-Administratoren im AWS Organizations Verwaltungskonto die Erlaubnis, kontoübergreifende Zuschüsse für Organisationen zu ermöglichen. Weitere Informationen finden Sie unter Cross-account Datenaustausch in Lake Formation.

   Ein empfohlener Name für die Richtlinie lautetRAMAccess.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }
   

5. Öffnen Sie die AWS Lake Formation Konsole unter https://console.aws.amazon.com/lakeformation/ und melden Sie sich als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie an.

6. Wenn das Fenster Willkommen bei Lake Formation angezeigt wird, wählen Sie den IAM-Benutzer aus, den Sie in Schritt 1 erstellt oder ausgewählt haben, und klicken Sie dann auf Get started.

7. Wenn das Fenster Willkommen bei Lake Formation nicht angezeigt wird, führen Sie die folgenden Schritte aus, um einen Lake Formation-Administrator zu konfigurieren.

   1. Wählen Sie im Navigationsbereich unter Administration die Option Administrative Rollen und Aufgaben aus. Wählen Sie auf der Konsolenseite im Abschnitt Data Lake-Administratoren die Option Hinzufügen aus.

   2. Wählen Sie im Dialogfeld Administratoren hinzufügen unter Zugriffstyp die Option Data Lake-Administrator aus.

   3. Wählen Sie für IAM-Benutzer und -Rollen den IAM-Benutzer aus, den Sie in Schritt 1 erstellt oder ausgewählt haben, und klicken Sie dann auf Speichern.

So ändern Sie die Standardeinstellungen für den Datenkatalog

1. Fahren Sie in der Lake Formation-Konsole unter fort https://console.aws.amazon.com/lakeformation/. Stellen Sie sicher, dass Sie als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie angemeldet sind.

2. Ändern Sie die Datenkatalogeinstellungen:

   1. Wählen Sie im Navigationsbereich unter Administration die Option Datenkatalogeinstellungen aus.

   2. Deaktivieren Sie beide Kontrollkästchen und wählen Sie Speichern.

      

3. Widerrufen Sie IAMAllowedPrincipals die Erlaubnis für Datenbankersteller.

   1. Wählen Sie im Navigationsbereich unter Administration die Option Administrative Rollen und Aufgaben aus.

   2. Wählen Sie auf der Konsolenseite für Administratorrollen und -aufgaben im Abschnitt Datenbankersteller die IAMAllowedPrincipals Gruppe aus und klicken Sie auf Widerrufen.

      Das Dialogfeld „Berechtigungen widerrufen“ wird angezeigt. Darin wird angezeigt, dass die IAMAllowedPrincipals Person über die Berechtigung „Datenbank erstellen“ verfügt.

   3. Wählen Sie Widerrufen.

So weisen Sie einem Benutzer ohne Administratorrechte Berechtigungen für den Zugriff auf Lake Formation-Daten zu

1. Öffnen Sie die IAM-Konsole unter https://console.aws.amazon.com/iam und melden Sie sich als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie an.

2. Wählen Sie Benutzer oder Benutzergruppen.

3. Wählen Sie in der Liste den Namen des Benutzers oder der Gruppe, in die eine Richtlinie eingebettet werden soll.

   Wählen Sie Berechtigungen.

4. Wählen Sie Berechtigungen hinzufügen und dann Richtlinien direkt anhängen aus. Geben Sie den Text Athena in das Textfeld Filterrichtlinien ein. Markieren Sie in der Ergebnisliste das Kästchen fürAmazonAthenaFullAccess.

5. Wählen Sie die Schaltfläche „Richtlinie erstellen“. Wählen Sie auf der Seite Richtlinie erstellen die Registerkarte JSON aus. Kopieren Sie den folgenden Code und fügen Sie ihn in den Richtlinien-Editor ein.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }
   

6. Wählen Sie Weiter, bis Sie die Seite „Richtlinie überprüfen“ sehen. Geben Sie einen Namen für die Richtlinie ein, DatalakeUserBasic z. B. Wählen Sie „Richtlinie erstellen“ und schließen Sie dann die Registerkarte „Richtlinien“ oder das Browserfenster.

Um sich anzumelden, um Engines von Drittanbietern den Zugriff auf und das Filtern von Daten zu ermöglichen (Konsole)

1. Fahren Sie in der Lake Formation-Konsole unter fort https://console.aws.amazon.com/lakeformation/. Stellen Sie sicher, dass Sie als Principal angemeldet sind, der über die IAM-Berechtigung für den Lake PutDataLakeSettings Formation-API-Vorgang verfügt. Der IAM-Administratorbenutzer, den Sie erstellt haben, Melde dich an für AWS-Konto hat diese Berechtigung.

2. Wählen Sie im Navigationsbereich unter Administration die Option Anwendungsintegrationseinstellungen aus.

3. Gehen Sie auf der Seite mit den Einstellungen für die Anwendungsintegration wie folgt vor:

   1. Markieren Sie das Kästchen Externen Engines erlauben, Daten an Amazon S3-Standorten zu filtern, die bei Lake Formation registriert sind.

   2. Geben Sie Sitzungs-Tag-Werte ein, die für Engines von Drittanbietern definiert sind.

   3. Geben Sie für AWS Konto-IDs die Konto-IDs ein, von denen aus Engines von Drittanbietern auf Standorte zugreifen dürfen, die bei Lake Formation registriert sind. Drücken Sie nach jeder Konto-ID die Eingabetaste.

   4. Wählen Sie Speichern.

So erstellen Sie eine IAM-Rolle für Workflows

1. Öffnen Sie die IAM-Konsole unter https://console.aws.amazon.com/iam und melden Sie sich als Benutzer mit der AdministratorAccess AWS verwalteten Richtlinie an.

2. Wählen Sie im Navigationsbereich Rollen und dann Rolle erstellen aus.

3. Wählen Sie auf der Seite „Rolle erstellen“ die Option AWS Service und dann Glue aus. Wählen Sie Weiter aus.

4. Suchen Sie auf der Seite „Berechtigungen hinzufügen“ nach der AWSGlueServiceRole verwalteten Richtlinie und aktivieren Sie das Kontrollkästchen neben dem Richtliniennamen in der Liste. Füllen Sie dann den Assistenten zum Erstellen einer Rolle aus und benennen Sie die RolleLFWorkflowRole. Um den Vorgang abzuschließen, wählen Sie Rolle erstellen aus.

5. Gehen Sie zurück auf die Seite „Rollen“LFWorkflowRole, suchen Sie nach dem Rollennamen und wählen Sie ihn aus.

6. Wählen Sie auf der Seite mit der Rollenzusammenfassung unter dem Tab Berechtigungen die Option Inline-Richtlinie erstellen aus. Navigieren Sie auf dem Bildschirm „Richtlinie erstellen“ zur Registerkarte „JSON“ und fügen Sie die folgende Inline-Richtlinie hinzu. Ein empfohlener Name für die Richtlinie lautetLakeFormationWorkflow.

   Wichtig

   Ersetzen Sie in der folgenden Richtlinie <account-id> durch eine gültige AWS-Konto Zahl.

   JSON

   {
       "Version":"2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::111122223333:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }
   

   Im Folgenden finden Sie eine kurze Beschreibung der Berechtigungen in dieser Richtlinie:

   • lakeformation:GetDataAccessermöglicht es Aufträgen, die durch den Workflow erstellt wurden, in den Zielspeicherort zu schreiben.

   • lakeformation:GrantPermissionsermöglicht es dem Workflow, die SELECT Berechtigung für Zieltabellen zu erteilen.

   • iam:PassRoleermöglicht es dem Service, die Rolle LakeFormationWorkflowRole zum Erstellen von Crawlern und Jobs (Instanzen von Workflows) zu übernehmen und die Rolle an die erstellten Crawler und Jobs anzuhängen.

7. Stellen Sie sicher, dass der Rolle LakeFormationWorkflowRole zwei Richtlinien zugeordnet sind.

8. Wenn Sie Daten aufnehmen, die sich außerhalb des Data Lake-Standorts befinden, fügen Sie eine Inline-Richtlinie hinzu, die Berechtigungen zum Lesen der Quelldaten gewährt.