Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Starten einer DLAMI-Instanz mit AWS Neuron
Das neueste DLAMI ist bereit für die Verwendung mit AWS Inferentia und wird mit dem Neuron API-Paket geliefert. AWS Informationen zum Starten einer DLAMI-Instanz finden Sie unter Starten und Konfigurieren eines DLAMI. https://docs.aws.amazon.com/dlami/latest/devguide/launch-config.html Nachdem Sie einen DLAMI erhalten haben, gehen Sie wie folgt vor, um sicherzustellen, dass Ihr AWS Inferentia-Chip und Ihre AWS Neuronenressourcen aktiv sind.
Inhalt
Verifizieren der Instance
Bevor Sie Ihre Instance verwenden, stellen Sie sicher, dass sie ordnungsgemäß eingerichtet und mit Neuron konfiguriert ist.
Identifizieren AWS Geräte von Inferentia
Verwenden Sie den folgenden Befehl, um die Anzahl der Inferentia-Geräte auf Ihrer Instance zu ermitteln:
neuron-ls
Wenn an Ihre Instance Inferentia-Geräte angeschlossen sind, sieht Ihre Ausgabe etwa wie folgt aus:
+--------+--------+--------+-----------+--------------+ | NEURON | NEURON | NEURON | CONNECTED | PCI | | DEVICE | CORES | MEMORY | DEVICES | BDF | +--------+--------+--------+-----------+--------------+ | 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | | 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | | 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | | 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | +--------+--------+--------+-----------+--------------+
Die bereitgestellte Ausgabe stammt aus einer Inf1.6xlarge Instance und enthält die folgenden Spalten:
-
NEURON DEVICE: Die logische ID, die dem NeuronDevice zugewiesen ist. Diese ID wird verwendet, wenn mehrere Laufzeiten so konfiguriert werden, dass sie unterschiedliche verwenden. NeuronDevices
-
NEURONKERNE: Die Anzahl der NeuronCores vorhandenen in der. NeuronDevice
-
NEURONSPEICHER: Die Menge an DRAM-Speicher in der. NeuronDevice
-
ANGESCHLOSSENE GERÄTE: Andere Geräte, die NeuronDevices mit dem verbunden sind. NeuronDevice
-
PCI BDF: Die PCI-Bus-Gerätefunktions-ID (BDF) des. NeuronDevice
Anzeigen des Ressourcenverbrauchs
Mit dem Befehl können Sie nützliche Informationen zu NeuronCore vCPU-Auslastung, Speichernutzung, geladenen Modellen und Neuron-Anwendungen anzeigen. neuron-top Wenn Sie neuron-top ohne Argumente starten, werden Daten für alle maschinellen Lernanwendungen angezeigt, die dies nutzen. NeuronCores
neuron-top
Wenn eine Anwendung vier verwendet NeuronCores, sollte die Ausgabe ähnlich wie in der folgenden Abbildung aussehen:
Weitere Informationen zu Ressourcen zur Überwachung und Optimierung von Neuron-based Inferenzanwendungen finden Sie unter Neuron Tools.
Verwenden von Neuron Monitor (Neuronenmonitor)
Neuron Monitor sammelt Metriken aus den Neuron-Laufzeiten, die auf dem System laufen, und streamt die gesammelten Daten im JSON-Format an stdout. Diese Metriken sind in Metrikgruppen organisiert, die Sie konfigurieren, indem Sie eine Konfigurationsdatei bereitstellen. Weitere Informationen zu Neuron Monitor finden Sie im Benutzerhandbuch für Neuron Monitor.
Aktualisierung der Neuron-Software
Informationen zur Aktualisierung der Neuron SDK-Software in DLAMI finden Sie im Neuron Setup Guide. AWS https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-intro/neuron-install-guide.html
Nächster Schritt
Verwenden des DLAMI mit AWS Neuron
