Verwenden von Python-Bibliotheken mit AWS Glue

Sie können zusätzliche Python-Module und -Bibliotheken zur Verwendung mit AWS Glue ETL installieren. Für AWS Glue 2.0 und höher verwendet AWS Glue den Python Package Installer (pip3), um zusätzliche Module zu installieren, die von AWS Glue ETL verwendet werden. AWS Glue bietet mehrere Optionen, um die zusätzlichen Python-Module in Ihre AWS Glue-Jobumgebung zu integrieren. Sie können den --additional-python-modules Parameter verwenden, um neue Module mithilfe von ZIP-Dateien einzubinden, die gebündelte Python-Räder (auch bekannt als „Zip of Wheels“, verfügbar für AWS Glue 5.0 und höher), einzelne Python-Raddateien, Anforderungsdateien (requirements.txt, verfügbar für AWS Glue 5.0 und höher) oder eine Liste kommagetrennter Python-Module enthalten. Er könnte auch verwendet werden, um die Version der Python-Module zu ändern, die in der AWS Glue-Umgebung bereitgestellt werden (weitere Informationen finden Sie unterPython-Module sind bereits verfügbar in AWS Glue).

Installation zusätzlicher Python-Module mit Pip in AWS Glue 2.0 oder höher

AWS Glue verwendet den Python Package Installer (pip3), um zusätzliche Module zu installieren, die von AWS Glue ETL verwendet werden sollen. Sie können den Parameter „--additional-python-modules“ mit verschiedenen kommagetrennten Python-Modulen verwenden, um ein neues Modul hinzuzufügen oder die Version eines vorhandenen Moduls zu ändern. Sie können Built-Wheel-Artefakte entweder über einen Reißverschluss mit Rädern oder über ein eigenständiges Wheel-Artefakt installieren, indem Sie die Datei auf Amazon S3 hochladen und dann den Pfad zum Amazon S3-Objekt in Ihre Modulliste aufnehmen. Weitere Informationen zum Festlegen von Jobparametern finden Sie unter Job-Parameter in AWS Glue-Jobs verwenden.

Sie können zusätzliche Optionen an pip3 übergeben mit dem Parameter --python-modules-installer-option. Sie könnten zum Beispiel --only-binary an force pip übergeben, nur vorgefertigte Artefakte für die von angegebenen Pakete zu installieren. --additional-python-modules Weitere Beispiele finden Sie unter Erstellen von Python-Modulen aus einem Rad für Spark-ETL-Workloads mit AWS Glue 2.0.

Bewährte Methoden für das Python-Abhängigkeitsmanagement

Für Produktions-Workloads empfiehlt AWS Glue, alle Ihre Python-Abhängigkeiten als Wheel-Dateien in einem einzigen ZIP-Artefakt zu verpacken. Dieser Ansatz bietet:

Wichtige Überlegungen

Im Rahmen des Modells der AWS gemeinsamen Verantwortung sind Sie für die Verwaltung zusätzlicher Python-Module, -Bibliotheken und ihrer Abhängigkeiten verantwortlich. Dies umfasst:

Wenn Sie nur minimale Abhängigkeiten haben, können Sie stattdessen die Verwendung einzelner Wheel-Dateien in Betracht ziehen.

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/zip-of-wheels-1.0.0.gluewheels.zip
--python-modules-installer-option --no-index

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl

awswrangler==3.9.1
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

Einschließlich Python-Dateien mit PySpark nativen Funktionen

AWS Glue verwendet PySpark , um Python-Dateien in AWS Glue-ETL-Jobs einzubeziehen. Sie sollten --additional-python-modules verwenden, um Ihre Abhängigkeiten zu verwalten (sofern verfügbar). Sie können den Auftragsparameter --extra-py-files verwenden, um Python-Dateien hinzuzufügen. Abhängigkeiten müssen in Amazon S3 gehostet werden und der Argumentwert sollte eine kommagetrennte Liste von Amazon S3-Pfaden ohne Leerzeichen sein. Diese Funktion verhält sich wie das Python-Abhängigkeitsmanagement, das Sie mit Spark verwenden würden´. Weitere Informationen zum Python-Abhängigkeitsmanagement in Spark finden Sie auf der Seite PySpark Using Native Features in der Apache Spark-Dokumentation. --extra-py-filesist nützlich in Fällen, in denen Ihr zusätzlicher Code nicht gepackt ist, oder wenn Sie ein Spark-Programm mit einer vorhandenen Toolchain zur Verwaltung von Abhängigkeiten migrieren. Damit Ihre Abhängigkeitstools wartbar sind, müssen Sie Ihre Abhängigkeiten bündeln, bevor Sie sie einreichen.

Programmierskripte, die visuelle Transformationen verwenden

Wenn Sie einen AWS Glue-Job mithilfe der visuellen Oberfläche von AWS Glue Studio erstellen, können Sie Ihre Daten mit verwalteten Datentransformationsknoten und benutzerdefinierten visuellen Transformationen transformieren. Weitere Informationen zu verwalteten Datentransformationsknoten finden Sie unter Transformieren von Daten mit von AWS Glue verwalteten Transformationen. Weitere Informationen zu benutzerdefinierten visuellen Transformationen finden Sie unter Transformieren von Daten mit benutzerdefinierten visuellen Transformationen. Skripte, die visuelle Transformationen verwenden, können nur generiert werden, wenn die Sprache Ihres Auftrags auf die Verwendung von Python eingestellt ist.

Wenn AWS Sie einen Glue-Job mithilfe visueller Transformationen generieren, nimmt AWS Glue Studio diese Transformationen mithilfe des --extra-py-files Parameters in der Auftragskonfiguration in die Laufzeitumgebung auf. Informationen zu Auftragsparametern finden Sie unter Verwenden von Jobparametern in AWS Aufträge zum Kleben. Wenn Sie Änderungen an einem generierten Skript oder einer generierten Laufzeitumgebung vornehmen, müssen Sie diese Auftragskonfiguration beibehalten, damit Ihr Skript erfolgreich ausgeführt werden kann.

Komprimieren von Bibliotheken für die Integration

Sofern eine Bibliothek nicht in einer einzigen .py-Datei enthalten ist, sollte sie in ein .zip-Archiv gepackt werden. Das Paketverzeichnis sollte sich im Stammverzeichnis des Archivs befinden und eine __init__.py-Datei für das Paket enthalten. Python ist dann in der Lage, das Paket wie gewohnt zu importieren.

Wenn Ihre Bibliothek nur aus einem einzigen Python-Modul in einer .py-Datei besteht, brauchen Sie sie nicht in einer .zip-Datei abzulegen.

Python-Bibliotheken werden geladen AWS Glue Studio-Notizbücher

Informationen zur Angabe von Python-Bibliotheken in AWS Glue Studio-Notebooks finden Sie unter Zusätzliche Python-Module installieren.

Laden von Python-Bibliotheken in einen Entwicklungsendpunkt in AWS Kleber 0. 9/10.

Wenn Sie verschiedene Bibliotheks-Sets für verschiedene ETL-Skripts verwenden, können Sie entweder für jeden Satz einen eigenen Entwicklungsendpunkt einrichten oder die .zip-Bibliotheksdatei(en) überschreiben, die Ihr Entwicklungsendpunkt bei jedem Wechsel des Skripts lädt.

Sie können die Konsole verwenden, um eine oder mehrere Library.zip-Dateien für einen Entwicklungsendpunkt anzugeben, wenn Sie diesen erstellen. Nachdem Sie einen Namen und eine IAM-Rolle zugewiesen haben, wählen Sie Script Libraries and job parameters (optional) (Skript-Bibliotheken und Auftragsparameter (optional)) aus und geben Sie den vollständigen Amazon-S3-Pfad zu Ihrer .zip-Bibliotheksdatei im Feld Python library path (Python-Bibliothekspfad) ein. Zum Beispiel:

s3://bucket/prefix/site-packages.zip

Wenn Sie möchten, können Sie mehrere vollständige Pfade zu Dateien angeben und diese mit Kommas, aber ohne Leerzeichen trennen:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Wenn Sie diese .zip-Dateien später aktualisieren, können Sie sie über die Konsole erneut in Ihren Entwicklungsendpunkt importieren. Navigieren Sie zu dem betreffenden Entwicklerendpunkt, markieren Sie das Kästchen daneben und wählen Sie Update ETL libraries (ETL-Bibliotheken aktualisieren) aus dem Menü Action (Aktion) aus.

Auf ähnliche Weise können Sie Bibliotheksdateien mithilfe der AWS Glue-APIs angeben. Wenn Sie einen Entwicklungsendpunkt durch den Aufruf vonCreateDevEndpoint Aktion (Python: create_dev_endpoint) erstellen, können Sie einen oder mehrere vollständige Pfade zu Bibliotheken im ExtraPythonLibsS3Path-Parameter angeben, und zwar in einem Aufruf, der so aussieht:

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

Wenn Sie einen Entwicklungsendpunkt aktualisieren, können Sie auch die geladene Bibliotheken aktualisieren, indem Sie ein DevEndpointCustomLibraries-Objekt verwenden und den UpdateEtlLibraries -Parameter beim Aufruf von UpdateDevEndpoint (update_dev_endpoint) auf True festlegen.

Verwenden von Python-Bibliotheken in einem Job oder JobRun

Wenn Sie einen neuen Auftrag in der Konsole erstellen, können Sie eine oder mehrere Library.zip-Dateien angeben, indem Sie Script Libraries and job parameters (optional) (Skript-Bibliotheken und Auftragsparameter (optional)) auswählen und den vollständigen Amazon-S3-Bibliothekspfad wie beim Erstellen eines Entwicklungsendpunkts eingeben:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Wenn Sie die Funktion CreateJob (Job erstellen) aufrufen, können Sie einen oder mehrere vollständige Pfade zu Standardbibliotheken angeben, indem Sie den --extra-py-files-Standardparameter verwenden:

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

Wenn Sie dann eine starten JobRun, können Sie die Standardbibliothekseinstellung durch eine andere überschreiben:

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})

Proaktives Analysieren von Python-Abhängigkeiten

Um potenzielle Abhängigkeitsprobleme vor der Bereitstellung in AWS Glue proaktiv zu identifizieren, können Sie das Tool zur Abhängigkeitsanalyse verwenden, um Ihre Python-Pakete anhand Ihrer AWS Glue-Zielumgebung zu validieren.

AWS bietet ein Open-Source-Tool zur Python-Abhängigkeitsanalyse, das speziell für AWS Glue-Umgebungen entwickelt wurde. Dieses Tool ist im AWS Glue-Beispiel-Repository verfügbar und kann lokal verwendet werden, um Ihre Abhängigkeiten vor der Bereitstellung zu überprüfen.

Mithilfe dieser Analyse können Sie sicherstellen, dass Ihre Abhängigkeiten der empfohlenen Vorgehensweise folgen, alle Bibliotheksversionen für konsistente Produktionsbereitstellungen anzuheften. Weitere Informationen finden Sie in der README-Datei des Tools.

# Analyze a single Glue job
python glue_dependency_analyzer.py -j my-glue-job

# Analyze multiple jobs with specific AWS configuration
python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2

I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available.

Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment.

Step 1: Root Cause Analysis
• Retrieve the most recent failed job run ID for the specified Glue job
• Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix
• Analyze the logs to identify:
  • The recently added or modified Python module that triggered the dependency conflict
  • The specific dependency chain causing the installation failure
  • Version compatibility conflicts between required and existing modules

Step 2: Baseline Configuration Identification
• Locate the last successful job run ID prior to the dependency failure
• Document the Python module versions that were functioning correctly in that baseline run
• Establish the compatible version constraints for conflicting dependencies

Step 3: Targeted Resolution Implementation
• Apply pinning by updating the job's additional_python_modules parameter
• Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary
• Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints
• Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions.

Implementation Example:
Scenario: Recently added pandas==2.0.0 to additional_python_modules
Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20)
Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5"
Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version

Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.

Python-Module sind bereits verfügbar in AWS Glue

Um die Version dieser bereitgestellten Module zu ändern, stellen Sie neue Versionen mit dem Auftragsparameter --additional-python-modules bereit.

Anhang A: Einen Zip of Wheels-Artefakt erstellen

Wir zeigen anhand eines Beispiels, wie ein Artefakt mit einem Reißverschluss aus Rädern erstellt wird. Das gezeigte Beispiel lädt die Pakete cryptography und das Artefakt scipy in einen Reißverschluss mit Rädern herunter und kopiert den Reißverschluss mit Rädern an einen Amazon S3-Speicherort.

Anhang B: AWS Einzelheiten zur Umgebung von Glue

Im Rahmen des Modells der AWS gemeinsamen Verantwortung sind Sie für die Verwaltung zusätzlicher Python-Module, -Bibliotheken und ihrer Abhängigkeiten verantwortlich, die Sie für Ihre Glue-ETL-Jobs verwenden. AWS Dies beinhaltet das Durchführen von Updates und Sicherheitspatches.

AWS Glue unterstützt das Kompilieren von nativem Code in der Jobumgebung nicht. AWS Glue-Jobs werden jedoch in einer Amazon-managed Linux-Umgebung ausgeführt. Möglicherweise können Sie Ihre nativen Abhängigkeiten in einer kompilierten Form über eine Python-Wheel-Datei bereitstellen. Einzelheiten zur Kompatibilität der AWS Glue-Version finden Sie in der obigen Tabelle.