View a markdown version of this page

Persistenter Speicher für serviceverwaltete Flotten - AWS Deadline Cloud

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Persistenter Speicher für serviceverwaltete Flotten

AWS Der persistente Speicher von Deadline Cloud (Deadline Cloud) bietet dedizierte GP3-Volumes von Amazon Elastic Block Store (Amazon EBS), getrennt vom Root-Boot-Volume, für SMF-Mitarbeiter (Service Managed Fleet). Diese Volumes bewahren Daten über alle Ereignisse im Lebenszyklus der Mitarbeiter hinweg auf. Dank persistentem Speicher bleiben Conda-Paketinstallationen, Anwendungs-Caches und Asset-Dateien verfügbar, wenn Mitarbeiter bei routinemäßigen Wartungs- oder Skalierungsvorgängen ausgetauscht werden.

Wie funktioniert persistenter Speicher

Wenn Sie persistenten Speicher in einer vom Service verwalteten Flotte aktivieren, verwaltet Deadline Cloud automatisch den Lebenszyklus der Amazon EBS-Volumes für Ihre Mitarbeiter:

  1. Wenn ein Worker startet, erstellt oder verwendet Deadline Cloud ein verfügbares Amazon EBS-Volume in derselben Availability Zone oder verwendet es erneut und hängt das Volume an den Worker an.

  2. Deadline Cloud formatiert das Volume (falls neu) und mountet es an dem Pfad, den Sie in der Flottenkonfiguration angegeben haben.

  3. Wenn der Mitarbeiter ausfällt oder ersetzt wird, trennt Deadline Cloud das Volume und macht es für die Wiederverwendung durch einen zukünftigen Mitarbeiter in derselben Flotte und Availability Zone verfügbar.

Da Volumes innerhalb derselben Flotte und Availability Zone wiederverwendet werden, profitieren nachfolgende Mitarbeiter von Daten, die zuvor auf das Volume geschrieben wurden. Das Volume bietet dedizierte Bandbreite und IOPS, ohne dass es zu Konflikten zwischen den Mitarbeitern kommt.

Anmerkung

Persistenter Speicher ist nur für Flotten verfügbar, die vom Service verwaltet werden. Bei von Kunden verwalteten Flotten verwalten Sie Ihre eigene Speicherinfrastruktur.

Vorteile von persistentem Speicher

Persistenter Speicher bietet die folgenden Vorteile für Flottenworkloads mit Serviceverwaltung:

  • Schnellerer Arbeitsstart — Conda-Paketinstallationen, kompilierte Shader und verarbeitete Ressourcen bleiben auch nach einem Austausch durch einen Mitarbeiter erhalten, sodass wiederholte Downloads und Installationen entfallen.

  • Dedizierte Leistung — Jeder Worker erhält sein eigenes Amazon EBS-Volume mit dedizierten IOPS und Durchsatz, wodurch Konflikte vermieden werden, die bei gemeinsam genutztem Netzwerkspeicher auftreten.

  • Automatische Verwaltung — Deadline Cloud kümmert sich um die Erstellung, Anlage, Formatierung, Bereitstellung und Bereinigung von Volumes, ohne dass ein manuelles Eingreifen erforderlich ist.

  • Runtime-Integration — Unterstützte Runtime-Consumer wie Conda-Warteschlangenumgebungen und der unveränderliche Cache des virtuellen Dateisystems (VFS) verwenden automatisch persistenten Speicher, sofern verfügbar, ohne dass Änderungen an Ihrer Jobkonfiguration erforderlich sind.

  • Kostenkontrolle — Konfigurieren Sie eine Time-to-Live (TTL), um ungenutzte Volumes automatisch zu bereinigen und die Speicherkosten in Ruhephasen zu senken.

Wann sollte persistenter Speicher verwendet werden

Erwägen Sie in den folgenden Szenarien, persistenten Speicher für Ihre vom Service verwaltete Flotte zu aktivieren:

  • Ihre Jobs verwenden Conda-Pakete, die eine erhebliche Download- und Installationszeit erfordern.

  • Ihre Rendering-Workloads kompilieren Shader oder Prozessressourcen, die bei nachfolgenden Renderings wiederverwendet werden können.

  • Sie verwenden Perforce oder andere Versionskontrollsysteme, bei denen der Workspace-Synchronisierungsstatus die Datenübertragung bei nachfolgenden Aktualisierungen reduziert.

  • Ihre Jobs verwenden das virtuelle Dateisystem (VFS) und würden von einem persistenten Cache für unveränderliche Assets profitieren.

  • Sie möchten dedizierte Speicherleistung ohne den Betriebsaufwand für die Verwaltung gemeinsam genutzter Netzwerkdateisysteme.

  • Sie installieren benutzerdefinierte Renderer oder andere Software mithilfe von Host-Konfigurationsskripten auf Workern und möchten, dass diese Installationen auf dem persistenten Volume zwischengespeichert werden.

Konfiguration von persistentem Speicher für eine Flotte

Sie können persistenten Speicher konfigurieren, wenn Sie eine neue, vom Service verwaltete Flotte erstellen oder eine bestehende Flotte aktualisieren.

Konfiguration von persistentem Speicher (Konsole)

Bevor Sie beginnen, müssen Sie über eine bestehende Farm mit mindestens einer vom Service verwalteten Flotte verfügen oder bereit sein, eine neue Flotte zu erstellen.

So konfigurieren Sie persistenten Speicher für eine Flotte
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Deadline Cloud-Konsole.

  2. Wählen Sie im Navigationsbereich Farmen und dann Ihre Farm aus.

  3. Wählen Sie den Tab „Flotten“ und dann „Flotte erstellen“ aus, oder wählen Sie eine vorhandene, vom Service verwaltete Flotte aus und klicken Sie auf „Bearbeiten“.

  4. Wählen Sie unter Speicherfunktionen für den Speichermodus die Option Dauerhafter Speicher aus.

  5. Konfigurieren Sie die Root-Speichereinstellungen für das Startvolume (Größe, IOPS und Durchsatz).

  6. Konfigurieren Sie unter Persistenter Speicher die folgenden Einstellungen:

    • Größe — Die Größe des persistenten Volumes. Der gültige Bereich liegt zwischen 1—65.536 GiB. Stellen Sie sicher, dass die Standardgröße für Ihre Render-Workloads geeignet ist, und erwägen Sie, die Volumengröße für Workflows zu erhöhen, die größere Assets oder Caches verwenden.

    • Bereitstellungspfad — Der absolute Pfad, unter dem das Volume auf dem Worker gemountet ist (z. B. /mnt/persistent fürLinux). Geben Sie für Windows Worker einen Laufwerksbuchstaben an, D: z. B.

    • Durchsatz — Der bereitgestellte Durchsatz für das Volume. Der gültige Bereich liegt zwischen 125 MiB/s und 2.000.

    • Max. Leerlaufzeit — Gibt an, wie lange ein verfügbares Volume im Leerlauf bleiben kann, bevor es gelöscht wird. Wählen Sie einen Wert aus der Dropdownliste aus (z. B. 12 Stunden).

    • IOPS — Die bereitgestellten IOPS für das Volume. Der gültige Bereich liegt zwischen 3.000 und 80.000 IOPS. IOPS muss mindestens dem 4-fachen Durchsatz entsprechen.

  7. Führen Sie die verbleibenden Schritte zur Flottenkonfiguration aus und wählen Sie Flotte erstellen oder Änderungen speichern.

Konfiguration von persistentem Speicher (AWS CLI)

Um persistenten Speicher mithilfe von AWS Command Line Interface (AWS CLI) zu konfigurieren, fügen Sie das persistentVolumeConfiguration Objekt in das Feld serviceManagedEc2FleetConfiguration Wenn Sie aufrufen CreateFleet oder einUpdateFleet.

Das persistentVolumeConfiguration Objekt akzeptiert die folgenden Parameter. Gültige Bereiche und Standardwerte finden Sie CreateFleet in der Deadline Cloud API-Referenz.

Parameter Typ Erforderlich Description
sizeGiB Ganzzahl Nein Die Größe des persistenten Volumes in GiB.
iops Ganzzahl Nein Die bereitgestellten IOPS für das GP3-Volume.
throughputMiB Ganzzahl Nein Der bereitgestellte Durchsatz bezieht sich auf das MiB/s GP3-Volume.
mountPath Zeichenfolge Ja Die Position der Bereitstellung auf dem Worker. Geben Sie für Linux einen absoluten Pfad an (z. B./mnt/persistent). Geben Sie für Windows einen Laufwerkbuchstaben an (z. B.D:).
lastUsedTtlHours Ganzzahl Nein Die Anzahl der Stunden, nach der ein Volume vor der automatischen Bereinigung zuletzt verwendet wurde.

Im folgenden AWS CLI Beispiel wird eine vom Dienst verwaltete Flotte mit aktiviertem persistentem Speicher erstellt:

aws deadline create-fleet \ --farm-id farm-0123456789abcdef0 \ --display-name "Rendering Fleet" \ --max-worker-count 20 \ --configuration '{ "serviceManagedEc2FleetConfiguration": { "instanceCapabilities": { "vCpuCount": {"min": 4, "max": 16}, "memoryMiB": {"min": 16384, "max": 65536}, "osFamily": "LINUX", "rootEbsVolume": {"sizeGiB": 250} }, "instanceMarketOptions": {"type": "spot"}, "persistentVolumeConfiguration": { "sizeGiB": 2048, "iops": 16000, "throughputMiB": 500, "mountPath": "/mnt/persistent", "lastUsedTtlHours": 168 } } }'

Um einer vorhandenen Flotte persistenten Speicher hinzuzufügen, schließen Sie dasselbe persistentVolumeConfiguration Objekt in einen update-fleet Anruf ein. Um den persistenten Speicher zu deaktivieren, lassen Sie das persistentVolumeConfiguration Objekt bei einem UpdateFleet Anruf aus der Flottenkonfiguration aus. Deadline Cloud bereinigt automatisch vorhandene Volumes, wenn sie nicht mehr an einen Worker angehängt sind.

Integration zur Laufzeit

Wenn persistenter Speicher erfolgreich auf einem Worker bereitgestellt wird, setzt Deadline Cloud die DEADLINE_PERSISTENT_MOUNT Umgebungsvariable auf den konfigurierten Mount-Pfad. Diese Umgebungsvariable ist für alle Jobprozesse verfügbar, die auf dem Worker ausgeführt werden, einschließlich Host-Konfigurationsskripten und Job-Template-Aktionen. Die folgenden Laufzeitkonsumenten verwenden automatisch persistenten Speicher, wenn die Umgebungsvariable vorhanden ist:

  • Conda-Warteschlangenumgebungen — Paketinstallationen werden auf dem persistenten Volume gespeichert, sodass nachfolgende Worker zuvor installierte Pakete wiederverwenden, anstatt sie erneut herunterzuladen und zu installieren.

  • Unveränderlicher Cache des virtuellen Dateisystems (VFS) — Das VFS speichert seinen unveränderlichen Asset-Cache auf dem persistenten Volume, sodass zuvor heruntergeladene Assets verfügbar sind, ohne dass sie erneut vom Amazon Simple Storage Service (Amazon S3) heruntergeladen werden müssen.

Sie können die DEADLINE_PERSISTENT_MOUNT Umgebungsvariable auch in Ihren eigenen Jobvorlagen und Skripten mit Open Job Description referenzieren, um Daten zu speichern, die über alle Ereignisse im Worker-Lebenszyklus hinweg bestehen bleiben sollten. Das folgende Beispiel zeigt einen Schritt, bei dem die Ausgabe in den persistenten Speicher geschrieben wird:

steps: - name: ProcessAssets script: actions: onRun: command: bash args: - "-c" - | CACHE_DIR="${DEADLINE_PERSISTENT_MOUNT}/my-app-cache" mkdir -p "$CACHE_DIR" # Your processing logic here

Verwaltung persistenter Volumes

Sie können persistente Volumes für Ihre Flotte mithilfe der Deadline Cloud-Konsole oder API anzeigen AWS CLI und verwalten. Die folgenden Operationen sind verfügbar:

  • Volumes auflisten — Zeigt alle persistenten Volumes an, die einer Flotte zugeordnet sind, einschließlich ihres Status, ihrer Größe und ihrer Availability Zone.

  • Volume-Details abrufen — Rufen Sie detaillierte Informationen zu einem bestimmten Volume ab, einschließlich des aktuellen Status, des Anhangstatus und der Konfiguration.

  • Volume löschen — Löschen Sie dauerhaft ein nicht angehängtes persistentes Volume, das nicht mehr benötigt wird. Sie können kein Volume löschen, das derzeit an einen Worker angehängt ist.

Im folgenden AWS CLI Beispiel werden die Details eines persistenten Volumes abgerufen:

aws deadline get-volume \ --farm-id farm-0123456789abcdef0 \ --fleet-id fleet-0123456789abcdef0 \ --volume-id volume-0123456789abcdef0

Das state Feld in der Antwort gibt den aktuellen Volume-Status an. Die möglichen Werte sind:

  • AVAILABLE— Das Volumen ist abgenommen und kann angeschlossen werden.

  • IN_USE— Das Volumen ist derzeit an einen Arbeiter angeschlossen.

  • PENDING_CREATION— Das Volume wird gerade erstellt.

  • PENDING_ATTACHMENT— Das Volume ist für die Anlage an einen Worker reserviert.

  • PENDING_DELETION— Der Band ist zum Löschen markiert.

Konfiguration des persistenten Speichers wird aktualisiert

Sie können die Konfiguration des persistenten Speichers in einer vorhandenen Flotte aktualisieren. In der folgenden Tabelle wird beschrieben, wie sich Konfigurationsänderungen auf bestehende persistente Volumes auswirken:

Änderungen Behavior
Erhöhen oder verringern Sie IOPS oder Durchsatz Deadline Cloud wendet Änderungen vor dem nächsten Volumenanhang an.
Erhöhen Sie die Volume-Größe Deadline Cloud vergrößert das Volume vor dem nächsten Anhang und erweitert das Dateisystem automatisch beim Starten des Workers.
Volumengröße verringern Nicht unterstützt Amazon EBS-Volumes können nicht verkleinert werden.
Ändern Sie den Bereitstellungspfad Gilt nur für neue Mitarbeiter. Bestehende Worker behalten ihren aktuellen Mount-Pfad bei.
Entfernen Sie persistenten Speicher Deadline Cloud markiert vorhandene Volumes zum Löschen und bereinigt sie, wenn sie nicht mehr an einen Worker angehängt sind.
Wichtig

Konfigurationsänderungen wirken sich nicht auf bestehende Worker aus. Änderungen gelten nur für neue Worker, die nach dem Update gestartet werden.

Verschlüsselung

Persistente Volumes verwenden die auf Farmebene konfigurierten Verschlüsselungseinstellungen. Wenn Sie einen vom Kunden verwalteten Schlüssel AWS Key Management Service (AWS KMS) für Ihre Farm konfiguriert haben, werden persistente Volumes mit diesem Schlüssel verschlüsselt. Andernfalls werden persistente Volumes mit einem diensteigenen Schlüssel verschlüsselt.

Überlegungen

Beachten Sie bei der Verwendung von persistentem Speicher die folgenden Überlegungen:

  • Bei persistenten Volumes handelt es sich um eine Caching-Optimierung, nicht um dauerhaften Primärspeicher. Verwenden Sie persistente Volumes nur für Daten, die Sie neu erstellen können, z. B. für Paketinstallationen, kompilierte Shader und Asset-Caches. Deadline Cloud kann ein Volume jederzeit ersetzen, und Sie können nicht direkt auf persistente Volumes zugreifen.

  • Deadline Cloud konfiguriert das Home-Verzeichnis des Mitarbeiters so, dass das persistente Volume verwendet wird. Software, die Daten im Home-Verzeichnis speichert (wie Conda-Pakete und Anwendungs-Caches), profitiert automatisch von der Persistenz. Wenn Ihre Software in Pfade außerhalb des Basisverzeichnisses schreibt, müssen Sie sie neu konfigurieren, sodass der persistente Mount-Pfad verwendet wird. Andernfalls bleiben diese Dateien nicht über alle Worker-Lifecycle-Ereignisse hinweg bestehen.

  • Persistente Volumes werden nicht an mehrere Worker gleichzeitig angehängt. Jedes Volume dient jeweils einem Mitarbeiter, wird jedoch von verschiedenen Mitarbeitern über verschiedene Ereignisse hinweg wiederverwendet.

  • Die Volumen sind auf eine bestimmte Flotte und eine bestimmte Availability Zone beschränkt. Ein Volume, das in einer Availability Zone erstellt wurde, kann nicht von einem Worker in einer anderen Availability Zone wiederverwendet werden.

  • Es kann nicht garantiert werden, dass ein bestimmter Worker dasselbe Volume erhält, das er zuvor verwendet hat. Jedes verfügbare Volumen in derselben Flotte und Availability Zone kann zugewiesen werden.

  • Wenn persistenter Speicher nicht bereitgestellt werden kann (z. B. aufgrund von Kontingentbeschränkungen), schlägt der Job fehl. Ohne persistenten Speicher laufen die Mitarbeiter nicht wieder.

  • Der persistente Speicher wird Ihnen auf der Grundlage der Anzahl der aktiven Volumes und ihrer Konfiguration in Rechnung gestellt. Um die Kosten während Leerlaufzeiten unter Kontrolle zu halten, konfigurieren Sie eine TTL oder entfernen Sie die persistente Speicherkonfiguration aus Ihrer Flotte.