Installation einer externen Bibliothek und eines Kernels - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Installation einer externen Bibliothek und eines Kernels

Wichtig

Derzeit sind alle Pakete in Notebook-Instance-Umgebungen für die Verwendung mit Amazon lizenziert SageMaker und erfordern keine zusätzlichen kommerziellen Lizenzen. Dies kann sich jedoch in future ändern, und wir empfehlen, die Lizenzbedingungen regelmäßig auf Aktualisierungen zu überprüfen.

Bei Amazon SageMaker Notebook-Instances sind bereits mehrere Umgebungen installiert. Diese Umgebungen enthalten Jupyter-Kernel und Python-Pakete, darunter: scikit, Pandas,, und. NumPy TensorFlow MXNet Diese Umgebungen und alle Dateien im Ordner sample-notebooks werden aktualisiert, wenn Sie eine Notebook-Instance starten und beenden. Sie können auch Ihre eigenen Umgebungen mit Paketen und Kernel Ihrer Wahl installieren.

Die verschiedenen Jupyter-Kernel in SageMaker Amazon-Notebook-Instances sind separate Conda-Umgebungen. Weitere Informationen zu Conda-Umgebungen finden Sie unter Managing environments (Verwalten von Umgebungen) in der Conda-Dokumentation.

Installieren Sie benutzerdefinierte Umgebungen und Kernel auf dem EBS Amazon-Volume der Notebook-Instance. Dadurch wird sichergestellt, dass sie bestehen bleiben, wenn Sie die Notebook-Instance beenden und neu starten, und dass externe Bibliotheken, die Sie installieren, nicht von ihnen aktualisiert werden. SageMaker Verwenden Sie dazu eine Lebenszykluskonfiguration, die sowohl ein Skript umfasst, das beim Erstellen der Notebook-Instance ausgeführt wird (on-create) als auch ein Skript, das bei jedem Neustart der Notebook-Instance ausgeführt wird (on-start). Weitere Informationen zu Lebenszykluskonfigurationen für Notebook-Instances finden Sie unter Anpassung einer SageMaker Notebook-Instanz mithilfe eines LCC Skripts. Unter SageMakerNotebook Instance Lifecycle Config Samples gibt es ein GitHub Repository mit Beispielskripten für die Lebenszykluskonfiguration.

Die Beispiele unter https://github.com/aws-samples/amazon-sagemaker-notebook-instance- lifecycle-config-samples /blob/master/scripts/ persistent-conda-ebs /on-create.sh und https://github.com/aws-samples/ amazon-sagemaker-notebook-instance - lifecycle-config-samples /blob/master/scripts/ persistent-conda-ebs /on-start.sh zeigen die bewährten Methoden für die Installation von Umgebungen und Kerneln auf einer Notebook-Instanz. Das on-create Skript installiert die ipykernel Bibliothek, um benutzerdefinierte Umgebungen als Jupyter-Kernel zu erstellen, verwendet pip install und conda install installiert dann Bibliotheken. Sie können das Skript anpassen, um benutzerdefinierte Umgebungen zu erstellen und die gewünschten Bibliotheken zu installieren. SageMaker aktualisiert diese Bibliotheken nicht, wenn Sie die Notebook-Instanz beenden und neu starten, sodass Sie sicherstellen können, dass Ihre benutzerdefinierte Umgebung bestimmte Versionen von Bibliotheken enthält, die Sie möchten. Das on-start Skript installiert alle benutzerdefinierten Umgebungen, die Sie als Jupyter-Kernel erstellen, sodass sie in der Dropdown-Liste im Menü Neu von Jupyter angezeigt werden.

Tools zur Installation von Paketen

SageMaker Notebooks unterstützen die folgenden Tools zur Paketinstallation:

  • Conda installieren

  • Installieren von pip

Sie können Pakete mit den folgenden Methoden installieren:

Von einem Notebook aus können Sie die Systembefehlssyntax verwenden (Zeilen, die mit! beginnen) um Pakete zu installieren, zum Beispiel !pip install und!conda install. In jüngerer Zeit wurden neue Befehle zuIPython: %pip und hinzugefügt%conda. Diese Befehle sind die empfohlene Methode zur Installation von Paketen von einem Notebook aus, da sie die aktive Umgebung oder den verwendeten Interpreter korrekt berücksichtigen. Weitere Informationen finden Sie unter Hinzufügen der magischen Funktionen %pip und %conda.

Conda

Conda ist ein Open-Source-Paketverwaltungs- und Umgebungsmanagementsystem, das Pakete und ihre Abhängigkeiten installieren kann. SageMaker unterstützt die Verwendung von Conda mit einem der beiden Hauptkanäle, dem Standardkanal und dem Conda-Forge-Kanal. Weitere Informationen finden Sie unter Konfigurieren Conda-Kanals. Der Conda-Forge-Kanal ist ein Community-Kanal, in dem Mitwirkende Pakete hochladen können.

Anmerkung

Aufgrund der Art und Weise, wie Conda das Abhängigkeitsdiagramm auflöst, kann die Installation von Paketen von Conda-Forge erheblich länger dauern (im schlimmsten Fall mehr als 10 Minuten).

Deep Learning AMI wird mit vielen Conda-Umgebungen und vielen vorinstallierten Paketen geliefert. Aufgrund der Anzahl der vorinstallierten Pakete ist es schwierig, eine Reihe von Paketen zu finden, die garantiert kompatibel sind. Möglicherweise wird die Warnung „Die Umgebung ist inkonsistent, bitte überprüfen Sie den Paketplan sorgfältig“ angezeigt. Stellt trotz dieser Warnung SageMaker sicher, dass alle SageMaker bereitgestellten Umgebungen korrekt sind. SageMaker kann nicht garantieren, dass alle vom Benutzer installierten Pakete korrekt funktionieren.

Anmerkung

Benutzer von SageMaker AWS Deep Learning AMIs und Amazon EMR können bis zum 1. Februar 2024 auf das kommerzielle Anaconda-Repository zugreifen, ohne eine kommerzielle Lizenz erwerben zu müssen, wenn sie Anaconda in diesen Diensten verwenden. Für jede Nutzung des kommerziellen Anaconda-Repositorys nach dem 1. Februar 2024 sind Kunden dafür verantwortlich, ihre eigenen Anaconda-Lizenzanforderungen festzulegen.

Conda bietet zwei Methoden zur Aktivierung von Umgebungen: Conda aktivieren/deaktivieren und Source aktivieren/deaktivieren. Weitere Informationen finden Sie unter Sollte ich „Conda Activate“ oder „Source Activate“ unter Linux verwenden.

SageMaker unterstützt das Verschieben von Conda-Umgebungen auf das EBS Amazon-Volume, das beibehalten wird, wenn die Instance gestoppt wird. Die Umgebungen werden nicht beibehalten, wenn die Umgebungen auf dem Root-Volume installiert werden, was das Standardverhalten ist. Ein Beispiel für ein Lifecycle-Skript finden Sie unter. persistent-conda-ebs

Unterstützte Conda-Operationen (siehe Hinweis am Ende dieses Themas)
  • Conda-Installation eines Pakets in einer einzigen Umgebung

  • Conda installiert ein Paket in allen Umgebungen

  • Conda-Installation eines R-Pakets in der R-Umgebung

  • Installation eines Pakets aus dem Conda-Hauptrepositorium

  • Ein Paket von Conda-Forge installieren

  • Ändern des zu verwendenden Conda-Installationsverzeichnisses EBS

  • Unterstützt sowohl Conda Activate als auch Source Activate

Pip

Pip ist das De-facto-Tool für die Installation und Verwaltung von Python-Paketen. Pip sucht standardmäßig nach Paketen im Python-Paketindex (PyPI). Im Gegensatz zu Conda bietet Pip keine integrierte Umgebungsunterstützung und ist nicht so gründlich wie Conda, wenn es um Pakete mit nativen Abhängigkeiten von Systembibliotheken geht. Pip kann verwendet werden, um Pakete in Conda-Umgebungen zu installieren.

Sie können alternative Paket-Repositorys mit pip anstelle von PyPI verwenden. Ein Beispiel für ein Lifecycle-Skript finden Sie unter on-start.sh.

Unterstützte Pip-Operationen (siehe Hinweis am Ende dieses Themas)
  • Verwendung von Pip zur Installation eines Pakets ohne aktive Conda-Umgebung (Pakete systemweit installieren)

  • Verwenden von Pip, um ein Paket in einer Conda-Umgebung zu installieren

  • Verwenden Sie Pip, um ein Paket in allen Conda-Umgebungen zu installieren

  • Ändern des zu verwendenden Pip-Installationspfads EBS

  • Verwenden eines alternativen Repositorys zur Installation von Paketen mit Pip

Nicht unterstützt

SageMaker zielt darauf ab, so viele Paketinstallationsvorgänge wie möglich zu unterstützen. Wenn die Pakete jedoch von SageMaker oder DLAMI installiert wurden und Sie die folgenden Operationen für diese Pakete ausführen, könnte Ihre Notebook-Instanz dadurch instabil werden:

  • Deinstallieren

  • Herabstufung

  • Wird geupgradet

Wir bieten keine Unterstützung für die Installation von Paketen über yum install oder die Installation von R-Paketen vonCRAN.

Aufgrund möglicher Probleme mit den Netzwerkbedingungen oder -konfigurationen oder der Verfügbarkeit von Conda oder können wir nicht garantieren PyPi, dass Pakete in einem festen oder deterministischen Zeitraum installiert werden.

Anmerkung

Wir können nicht garantieren, dass eine Paketinstallation erfolgreich sein wird. Der Versuch, ein Paket in einer Umgebung mit inkompatiblen Abhängigkeiten zu installieren, kann zu einem Fehler führen. In einem solchen Fall sollten Sie sich an den Bibliotheksbetreuer wenden, um zu erfahren, ob es möglich ist, die Paketabhängigkeiten zu aktualisieren. Alternativ können Sie versuchen, die Umgebung so zu modifizieren, dass die Installation möglich ist. Diese Änderung wird jedoch wahrscheinlich bedeuten, dass bestehende Pakete entfernt oder aktualisiert werden, was bedeutet, dass wir die Stabilität dieser Umgebung nicht mehr garantieren können.