Datenaufbereitung mithilfe interaktiver Sitzungen AWS Glue

AWS Glue interaktive Sitzungen sind ein serverloser Dienst, den Sie nutzen können, um Daten zu sammeln, zu transformieren, zu bereinigen und für die Speicherung in Ihren Data Lakes und Daten-Pipelines vorzubereiten. AWS Glue interaktive Sitzungen bieten eine serverlose Apache Spark-Laufzeitumgebung auf Abruf, die Sie in Sekundenschnelle auf einer dedizierten Datenverarbeitungseinheit (DPU) initialisieren können, ohne eine komplexe Compute-Cluster-Infrastruktur bereitstellen und verwalten zu müssen. Nach der Initialisierung können Sie direkt in Ihren Studio- oder Studio Classic-Notebooks den AWS Glue Datenkatalog durchsuchen, umfangreiche Abfragen ausführen AWS Lake Formation, auf Daten zugreifen, die von Spark gesteuert werden, und Daten mit Spark interaktiv analysieren und aufbereiten. Anschließend können Sie die vorbereiteten Daten verwenden, um Modelle mithilfe der speziell entwickelten ML-Tools in SageMaker Studio oder Studio Classic zu trainieren, zu optimieren und bereitzustellen. Sie sollten AWS Glue Interactive Sessions für Ihre Datenvorbereitungs-Workloads in Betracht ziehen, wenn Sie einen serverlosen Spark-Dienst mit moderater Kontrolle über Konfigurierbarkeit und Flexibilität wünschen.

Sie können eine AWS Glue interaktive Sitzung initiieren, indem Sie ein JupyterLab Notizbuch in Studio oder Studio Classic starten. Wählen Sie beim Starten Ihres Notebooks die integrierte Version Glue PySpark and Ray oder den Glue Spark Kernel aus. Dadurch wird automatisch eine interaktive, serverless Spark-Sitzung gestartet. Sie müssen keinen Rechencluster oder keine Infrastruktur bereitstellen oder verwalten. Nach der Initialisierung können Sie Ihre Daten von Ihren Studio- oder Studio Classic-Notebooks aus untersuchen und mit ihnen interagieren.

Bevor Sie Ihre AWS Glue interaktive Sitzung in Studio oder Studio Classic starten, müssen Sie die entsprechenden Rollen und Richtlinien festlegen. Darüber hinaus müssen Sie möglicherweise Zugriff auf zusätzliche Ressourcen bereitstellen, z. B. einen Amazon S3 S3-Speicher-Bucket. Weitere Informationen zu den erforderlichen IAM Richtlinien finden Sie unterBerechtigungen für AWS Glue interaktive Sitzungen in Studio oder Studio Classic.

Studio und Studio Classic bieten eine Standardkonfiguration für Ihre AWS Glue interaktive Sitzung. Sie können jedoch den vollständigen Katalog der magischen Jupyter-Befehle verwenden AWS Glue, um Ihre Umgebung weiter anzupassen. Informationen zu den standardmäßigen und zusätzlichen Jupyter-Magics, die Sie in Ihrer interaktiven Sitzung verwenden können, finden Sie unter. AWS Glue Konfigurieren Sie Ihre AWS Glue interaktive Sitzung in Studio oder Studio Classic