Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Was ist AWS Lake Formation?

Willkommen im AWS Lake Formation Entwicklerhandbuch.

AWS Lake Formation hilft Ihnen dabei, Daten für Analysen und maschinelles Lernen zentral zu verwalten, zu sichern und weltweit auszutauschen. Mit Lake Formation können Sie eine detaillierte Zugriffskontrolle für Ihre Data Lake-Daten auf Amazon Simple Storage Service (Amazon S3) und deren Metadaten verwalten. AWS Glue Data Catalog

Lake Formation bietet ein eigenes Berechtigungsmodell, das das IAM Berechtigungsmodell erweitert. Das Lake Formation Formation-Berechtigungsmodell ermöglicht einen detaillierten Zugriff auf Daten, die in Data Lakes gespeichert sind, über einen einfachen Gewährungs- oder Widerrufmechanismus, ähnlich wie bei einem relationalen Datenbankverwaltungssystem (). RDBMS Lake Formation Formation-Berechtigungen werden mithilfe detaillierter Kontrollen auf Spalten-, Zeilen- und Zellenebene in allen AWS Analyse- und Machine-Learning-Diensten, einschließlich Amazon Athena, Amazon Redshift Spectrum, Amazon und Amazon QuickSight, durchgesetzt. EMR AWS Glue

Mit dem Lake Formation Formation-Hybrid-Zugriffsmodus für AWS Glue Data Catalog können Sie die katalogisierten Daten sichern und darauf zugreifen, indem Sie sowohl Lake Formation Formation-Berechtigungen als auch IAM Berechtigungsrichtlinien für Amazon S3 und AWS Glue Aktionen verwenden. Im hybriden Zugriffsmodus können Datenadministratoren Lake Formation Formation-Berechtigungen selektiv und inkrementell integrieren und sich dabei jeweils auf einen Data Lake-Anwendungsfall konzentrieren.

Lake Formation ermöglicht es Ihnen auch, Daten intern und extern zwischen mehreren AWS Organisationen oder direkt mit IAM Principals in einem anderen Konto zu teilen AWS-Konten, was einen detaillierten Zugriff auf die AWS Glue Data Catalog Metadaten und die zugrunde liegenden Daten bietet.

Merkmale der Lake Formation

Lake Formation hilft Ihnen dabei, Datensilos aufzubrechen und verschiedene Arten strukturierter und unstrukturierter Daten in einem zentralen Repository zu kombinieren. Identifizieren Sie zunächst bestehende Datenspeicher in Amazon S3 oder relationalen Datenbanken und SQL Nox-Datenbanken und verschieben Sie die Daten in Ihren Data Lake. Dann crawlen, katalogisieren und bereiten Sie die Daten für Analysen vor. Bieten Sie Ihren Benutzern als Nächstes sicheren Self-Service-Zugriff auf die Daten über die Analysedienste ihrer Wahl.

Datenaufnahme und -verwaltung

Importieren Sie Daten aus Datenbanken, die bereits vorhanden sind AWS

Nachdem Sie angegeben haben, wo sich Ihre vorhandenen Datenbanken befinden, und Ihre Zugangsdaten angegeben haben, liest Lake Formation die Daten und ihre Metadaten (Schema), um den Inhalt der Datenquelle zu verstehen. Anschließend importiert es die Daten in Ihren neuen Data Lake und zeichnet die Metadaten in einem zentralen Katalog auf. Mit Lake Formation können Sie Daten aus My-SQL, Postgre-, SQL Server-SQL, MariaDB- und Oracle-Datenbanken importieren, die in Amazon laufen RDS oder in Amazon gehostet werden. EC2 Sowohl das Laden von Massendaten als auch das inkrementelle Laden von Daten werden unterstützt.

Importieren Sie Daten aus anderen externen Quellen

Sie können Lake Formation verwenden, um Daten aus lokalen Datenbanken zu verschieben, indem Sie eine Verbindung mit Java Database Connectivity (JDBC) herstellen. Identifizieren Sie Ihre Zielquellen und geben Sie die Zugangsdaten in der Konsole ein, und Lake Formation liest und lädt Ihre Daten in den Data Lake. Um Daten aus anderen als den oben aufgeführten Datenbanken zu importieren, können Sie benutzerdefinierte ETL Jobs mit erstellen AWS Glue.

Katalogisieren und beschriften Sie Ihre Daten

Sie können AWS Glue Crawler verwenden, um Ihre Daten in Amazon S3 zu lesen und das Datenbank- und Tabellenschema zu extrahieren und diese Daten in einer AWS Glue Data Catalog durchsuchbaren Datei zu speichern. Verwenden Sie dann Lake Formation Tag-basierte Zugangskontrolle von Lake Formation (TBAC), um Berechtigungen für Datenbanken, Tabellen und Spalten zu verwalten. Weitere Informationen zum Hinzufügen von Tabellen zum Datenkatalog finden Sie unterDatenkatalogtabellen und Datenbanken erstellen.

Sicherheitsmanagement

Definieren und verwalten Sie Zugriffskontrollen

Lake Formation bietet einen zentralen Ort für die Verwaltung der Zugriffskontrollen für Daten in Ihrem Data Lake. Sie können Sicherheitsrichtlinien definieren, die den Zugriff auf Daten auf Datenbank-, Tabellen-, Spalten-, Zeilen- und Zellenebene einschränken. Diese Richtlinien gelten für IAM Benutzer und Rollen sowie für Benutzer und Gruppen, wenn der Verbund über einen externen Identitätsanbieter erfolgt. Sie können detaillierte Kontrollen verwenden, um auf Daten zuzugreifen, die von Lake Formation in Amazon Redshift Spectrum, Athena und Amazon EMR for Apache AWS Glue ETL Spark gesichert wurden. Achten Sie bei der Erstellung von IAM Identitäten darauf, dass Sie sich an die bewährten Methoden halten. IAM Weitere Informationen finden Sie unter Bewährte Sicherheitsmethoden im IAM Benutzerhandbuch.

Hybrider Zugriffsmodus

Der Hybridzugriffsmodus von Lake Formation bietet die Flexibilität, selektiv Lake Formation Formation-Berechtigungen für Datenbanken und Tabellen in Ihrem AWS Glue Data Catalog zu aktivieren. Mit dem Hybridzugriffsmodus verfügen Sie jetzt über einen inkrementellen Pfad, mit dem Sie Lake Formation Formation-Berechtigungen für eine bestimmte Gruppe von Benutzern festlegen können, ohne die Berechtigungsrichtlinien anderer vorhandener Benutzer oder Workloads zu unterbrechen. Weitere Informationen finden Sie unter Hybrider Zugriffsmodus.

Implementieren Sie die Auditprotokollierung

Lake Formation bietet umfassende Auditprotokolle CloudTrail zur Überwachung des Zugriffs und zum Nachweis der Einhaltung zentral definierter Richtlinien. Sie können den Datenzugriffsverlauf für alle Analyse- und Machine-Learning-Dienste überprüfen, die die Daten in Ihrem Data Lake über Lake Formation lesen. Auf diese Weise können Sie sehen, welche Benutzer oder Rollen versucht haben, mit welchen Diensten und wann auf welche Daten zuzugreifen. Sie können auf die Audit-Logs genauso zugreifen wie auf alle anderen CloudTrail Logs über die CloudTrail APIs AND-Konsole. Weitere Informationen zu CloudTrail Protokollen finden Sie unterProtokollieren AWS Lake Formation Formation-API-Aufrufen mit AWS CloudTrail.

Sicherheit auf Zeilen- und Zellenebene

Lake Formation bietet Datenfilter, mit denen Sie den Zugriff auf eine Kombination aus Spalten und Zeilen einschränken können. Verwenden Sie Sicherheit auf Zeilen- und Zellenebene, um sensible Daten wie personenbezogene Daten () PII zu schützen. Weitere Informationen zur Sicherheit auf Zeilenebene finden Sie unter. Datenfilterung und Sicherheit auf Zellebene in Lake Formation

Tag-basierte Zugriffskontrolle

Verwenden Sie die Tag-basierte Zugriffskontrolle von Lake Formation, um Hunderte oder sogar Tausende von Datenberechtigungen zu verwalten, indem Sie benutzerdefinierte Labels, sogenannte LF-Tags, erstellen. Sie können jetzt LF-Tags definieren und sie an Datenbanken, Tabellen oder Spalten anhängen. Anschließend können Sie den kontrollierten Zugriff auf die Dienste für Analytik, maschinelles Lernen (ML) und Extrahieren, Transformieren und Laden (ETL) gemeinsam nutzen. LF-Tags stellen sicher, dass die Datenverwaltung einfach skaliert werden kann, indem die Richtliniendefinitionen von Tausenden von Ressourcen durch einige wenige logische Tags ersetzt werden. Lake Formation bietet eine textbasierte Suche über diese Metadaten, sodass Ihre Benutzer schnell die Daten finden können, die sie analysieren müssen.

Kontoübergreifender Zugriff

Die Berechtigungsverwaltungsfunktionen von Lake Formation vereinfachen die Sicherung und Verwaltung verteilter Data Lakes über mehrere AWS Konten hinweg durch einen zentralen Ansatz, der eine detaillierte Zugriffskontrolle für den Data Catalog und die Amazon S3 S3-Standorte ermöglicht. Weitere Informationen finden Sie unter Kontoübergreifender Datenaustausch in Lake Formation.

Datenfreigabe

Mit der Funktion zur gemeinsamen Nutzung von Daten können Sie Berechtigungen für Datensätze einrichten, die in verschiedenen Datenquellen wie Amazon Redshift gespeichert sind, ohne Daten oder Metadaten in Amazon S3 oder zu migrieren. AWS Glue Data Catalog Sie können die folgenden Methoden verwenden, um Daten in Lake Formation zu teilen:

Weitere Informationen finden Sie unter Datenaustausch in Lake Formation.

Erste Schritte mit Lake Formation

Wir empfehlen Ihnen, dass Sie mit den folgenden Abschnitten beginnen: