Amazon-EFS-Leistung

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die folgenden Abschnitte geben einen Überblick über Amazon-EFS-Leistung und wie sich Ihre Dateisystemkonfiguration auf wichtige Leistungsdimensionen auswirkt. Wir bieten auch einige wichtige Tipps und Empfehlungen zur Optimierung der Leistung Ihres Dateisystems.

Zusammenfassung der Leistung

Die Leistung des Dateisystems wird in der Regel anhand der Dimensionen Latenz, Durchsatz und Eingabe-/Ausgabevorgänge pro Sekunde (IOPS) gemessen. Die Leistung von Amazon EFS in diesen Dimensionen hängt von der Konfiguration Ihres Dateisystems ab. Die folgenden Konfigurationen wirken sich auf die Leistung eines Amazon-EFS-Dateisystems aus:

In der folgenden Tabelle sind die Leistungsspezifikationen für Dateisysteme, die den Allzweck-Leistungsmodus verwenden, sowie die möglichen unterschiedlichen Kombinationen von Dateisystemtyp und Durchsatzmodus aufgeführt.

Speicherklassen

Amazon-EFS-Speicherklassen sind je nach Anwendungsfall für die effektivste Speicherung konzipiert.

Weitere Informationen über EFS-Speicherklassen finden Sie unter EFS-Speicherklassen.

Leistungsmodi

Amazon EFS bietet zwei Leistungsmodi: Allzweck und Max. E/A.

Um sicherzustellen, dass Ihr Workload innerhalb der IOPS-Grenze bleibt, die für Dateisysteme verfügbar ist, die den allgemeinen Leistungsmodus verwenden, können Sie die PercentIOLimit CloudWatch Metrik überwachen. Weitere Informationen finden Sie unter CloudWatch Metriken für Amazon EFS.

Anwendungen können ihre IOPS elastisch bis zu dem mit dem Leistungsmodus verbundenen Grenzwert skalieren. IOPS werden Ihnen nicht separat in Rechnung gestellt; sie sind in der Durchsatzabrechnung eines Dateisystems enthalten. Jede NFS-Anfrage (Network File System) wird als Durchsatz von 4 Kilobyte (KB) oder als tatsächliche Anfrage- und Antwortgröße berechnet, je nachdem, welcher Wert größer ist.

Durchsatzmodi

Der Durchsatzmodus eines Dateisystems bestimmt den Durchsatz, der Ihrem Dateisystem zur Verfügung steht. Amazon EFS bietet drei Durchsatzmodi: Elastic, Bereitgestellt und Bursting. Der Lesedurchsatz wird reduziert, damit Sie einen höheren Lese- als Schreibdurchsatz erzielen können. Der maximale Durchsatz, der in jedem Durchsatzmodus verfügbar ist, hängt von der AWS-Region ab. Weitere Informationen zum maximalen Dateisystemdurchsatz in den verschiedenen Regionen finden Sie unter Amazon EFS-Kontingente.

Ihr Dateisystem kann zusammen einen Lese- und Schreibdurchsatz von 100 % erreichen. Wenn Ihr Dateisystem beispielsweise 33 % seines Limits für den Lesedurchsatz ausnutzt, kann das Dateisystem gleichzeitig bis zu 67 % seines Limits für den Schreibdurchsatz erreichen. Sie können die Durchsatzauslastung Ihres Dateisystems im Diagramm Durchsatzauslastung (%) auf der Seite mit den Dateisystemdetails der Konsole überwachen. Weitere Informationen finden Sie unter Überwachung der Durchsatzleistung.

Auswählen des richtigen Durchsatzmodus für ein Dateisystem

Die Wahl des richtigen Durchsatzmodus für Ihr Dateisystem hängt von den Leistungsanforderungen Ihres Workloads ab.

Sie können Amazon verwenden CloudWatch , um das average-to-peak Verhältnis Ihrer Arbeitslast zu ermitteln, indem Sie die MeteredIOBytes Metrik mit der PermittedThroughput Metrik vergleichen. Weitere Informationen zu Amazon-EFS-Metriken finden Sie unter CloudWatch Metriken für Amazon EFS.

Elastischer Durchsatz

Für Dateisysteme, die Elastic Throughput verwenden, skaliert Amazon EFS die Durchsatzleistung automatisch nach oben oder unten, um den Anforderungen Ihrer Workload-Aktivität gerecht zu werden. Elastischer Durchsatz ist der beste Durchsatzmodus für hohe oder unvorhersehbare Workloads mit Leistungsanforderungen, die schwer vorherzusagen sind, oder für Anwendungen, bei denen der Durchsatz im Durchschnitt bei 5% oder weniger des Spitzendurchsatzes liegt (das average-to-peak Verhältnis).

Da die Durchsatzleistung für Dateisysteme mit Elastic Throughput automatisch skaliert wird, müssen Sie die Durchsatzkapazität nicht spezifizieren oder bereitstellen, um Ihre Anwendungsanforderungen zu erfüllen. Sie zahlen nur für die Menge der gelesenen oder geschriebenen Metadaten und Daten, und Sie sammeln oder verbrauchen bei der Nutzung von Elastic Throughput keine zusätzlichen Credits.

Informationen zu den Grenzwerten für den Elastic-Durchsatz pro Region finden Sie unterAmazon-EFS-Kontingente, die Sie erhöhen können.

Bereitgestellter Durchsatz

Mit Provisioned Throughput geben Sie ein Durchsatzniveau an, das das Dateisystem unabhängig von der Größe oder dem Burst-Guthaben des Dateisystems erreichen kann. Verwenden Sie den bereitgestellten Durchsatz, wenn Sie die Leistungsanforderungen Ihres Workloads kennen oder wenn Ihre Anwendung den Durchsatz um 5% oder mehr des average-to-peak Verhältnisses erhöht.

Bei Dateisystemen, die den bereitgestellten Durchsatz verwenden, wird Ihnen der für das Dateisystem aktivierte Durchsatz in Rechnung gestellt. Der in einem Monat in Rechnung gestellte Durchsatzbetrag basiert auf dem bereitgestellten Durchsatz, der den in Ihrem Dateisystem enthaltenen Basisdurchsatz aus dem Standardspeicher übersteigt, bis zu den geltenden Limits für den Bursting-Basisdurchsatz in der AWS-Region.

Wenn der Basisdurchsatz des Dateisystems den bereitgestellten Durchsatz überschreitet, wird automatisch der für das Dateisystem zulässige Bursting-Durchsatz verwendet (bis zu den dort geltenden\ Bursting-Grenzwerten für den Basisdurchsatz). AWS-Region

Hinweise zu Grenzwerten pro RegionProvisioned Durchsatz finden Sie unter. Amazon-EFS-Kontingente, die Sie erhöhen können

Bursting-Durchsatz

Ein Bursting-Durchsatz wird für Workloads empfohlen, bei denen ein Durchsatz erforderlich ist, der sich an die Größe des Speichers in Ihrem Dateisystem anpasst. Beim Bursting-Durchsatz ist der Basisdurchsatz proportional zur Größe des Dateisystems in der Standard-Speicherklasse, und zwar mit einer Rate von 50 KiBps pro GiB Speicher. Burst-Guthaben fallen an, wenn das Dateisystem weniger als die Basisdurchsatzrate verbraucht, und werden abgezogen, wenn der Durchsatz die Basisrate überschreitet.

Wenn Burst-Credits verfügbar sind, kann ein Dateisystem einen Durchsatz von bis zu 100 MiBps pro TiB Speicher bis zum AWS-Region Limit (mindestens 100 MiBps) steigern. Wenn keine Burst-Credits verfügbar sind, kann ein Dateisystem bis zu 50 MiBps pro TiB Speicherplatz speichern, mindestens jedoch 1. MiBps

Informationen zum Bursting-Durchsatz pro Region finden Sie unter. General resource quotas that cannot be changed

Wissenswertes zu Amazon-EFS-Burst-Guthaben

Beim Bursting-Durchsatz sammelt jedes Dateisystem im Laufe der Zeit Burst-Credits mit einer Basisrate, die von der Größe des Dateisystems bestimmt wird, das in der EFS-Standard-Speicherklasse gespeichert ist. Die Basisrate beträgt 50 MiBps pro Tebibyte [TiB] Speicher (entspricht 50 KiBps pro GiB Speicher). Amazon EFS misst Lesevorgänge bis zu einem Drittel der Rate von Schreibvorgängen, sodass das Dateisystem eine Basisrate von bis zu 150 KiBps pro GiB Lesedurchsatz oder 50 KiBps pro GiB Schreibdurchsatz erreichen kann.

Ein Dateisystem kann den Durchsatz kontinuierlich mit seiner gemessenen Basisrate erhöhen. Ein Dateisystem sammelt immer dann Burst-Guthaben an, wenn es inaktiv ist oder den Durchsatz unter die gemessene Basisrate treibt. Gesammelte Burst-Gutschriften ermöglichen dem Dateisystem, den Durchsatz über die Grundrate hinaus zu erhöhen.

Beispielsweise hat ein Dateisystem mit 100 GiB an gemessenen Daten in der Standardspeicherklasse einen Basisdurchsatz von 5. MiBps Über einen Zeitraum von 24 Stunden Inaktivität erhält das Dateisystem Guthaben im Wert von 432.000 MiB (5 MiB × 86.400 Sekunden = 432.000 MiB), das verwendet werden kann, um 72 Minuten MiBps lang bei 100 zu bursten (432.000 MiB ÷100 = 72 Minuten). MiBps

Dateisysteme, die größer als 1 TiB sind, können stets für bis zu 50 % der Zeit ein Bursting ausführen, wenn sie über die verbleibenden 50 % der Zeit inaktiv sind.

Die folgende Tabelle enthält Beispiele für das Bursting-Verhalten.

Einschränkungen beim Umschalten des Durchsatzes und beim Ändern der bereitgestellten Menge

Sie können den Durchsatzmodus eines vorhandenen Dateisystems wechseln und die Durchsatzmenge ändern. Nach dem Umschalten des Durchsatzmodus auf Bereitgestellter Durchsatz oder der Änderung der Menge des bereitgestellten Durchsatzes sind die folgenden Aktionen jedoch für einen Zeitraum von 24 Stunden eingeschränkt:

Tipps zur Amazon-EFS-Leistung

Berücksichtigen Sie bei der Verwendung von Amazon EFS die folgenden Tipps zur Leistung:

Durchschnittliche E/A-Größe

Die verteilte Struktur von Amazon EFS unterstützt einen hohen Grad an Verfügbarkeit, Beständigkeit und Skalierbarkeit. Diese verteilte Architektur führt zu einer geringfügigen Latenz bei den einzelnen Dateivorgängen. Aufgrund dieser vorgangsbasierten Latenz wird der Gesamtdurchsatz im Allgemeinen erhöht, wenn die durchschnittliche E/A-Größe steigt, da der Overhead über eine größere Menge von Daten amortisiert wird.

Optimierung von Workloads, die einen hohen Durchsatz und IOPS erfordern

Verwenden Sie für Workloads, die einen hohen Durchsatz und hohe IOPS erfordern, regionale Dateisysteme, die mit dem allgemeinen Leistungsmodus und dem elastischen Durchsatz konfiguriert sind.

Um ein Höchstmaß an Leistung zu erzielen, müssen Sie die Parallelisierung nutzen, indem Sie Ihre Anwendung oder Ihren Workload wie folgt konfigurieren.

Gleichzeitige Verbindungen

Sie können Amazon EFS-Dateisysteme auf bis zu Tausenden von Amazon EC2 - und anderen AWS Recheninstanzen gleichzeitig bereitstellen. Sie können einen höheren Durchsatz in Ihrem Dateisystem über alle Datenverarbeitungs-Instances hinweg erzielen, wenn Sie Ihre Anwendung über mehrere Instances hinweg parallelisieren können.

Anforderungsmodell

Wenn Sie asynchrone Schreibvorgänge in Ihr Dateisystem aktivieren, werden ausstehende Schreibvorgänge auf der EC2 Amazon-Instance zwischengespeichert, bevor sie asynchron in Amazon EFS geschrieben werden. Asynchrone Schreibvorgänge besitzen in der Regel niedrigere Latenzen. Bei der Ausführung asynchroner Schreibvorgänge verwendet der Kernel zusätzlichen Speicher zum Zwischenspeichern.

Ein Dateisystem, für das synchrone Schreibvorgänge aktiviert wurden oder das Dateien mittels einer Option öffnet, die den Zwischenspeicher umgeht (z. B. O_DIRECT), gibt synchrone Anforderungen an Amazon EFS aus. Jede Operation durchläuft einen Umlauf zwischen dem Client und Amazon EFS.

NFS-Client-Mount-Einstellungen

Überprüfen Sie, ob Sie die empfohlenen Mount-Optionen wie in Mounting von EFS-Dateisystemen und Überlegungen zur Installation für Linux beschrieben verwenden.

Beim Mounten Ihrer Dateisysteme auf EC2 Amazon-Instances unterstützt Amazon EFS die Protokolle Network File System Version 4.0 und 4.1 (NFSv4). NFSv4.1 bietet eine bessere Leistung für parallel Lesevorgänge kleiner Dateien (mehr als 10.000 Dateien pro Sekunde) im Vergleich zu NFSv4 .0 (weniger als 1.000 Dateien pro Sekunde). Für Amazon EC2 macOS-Instances, auf denen macOS Big Sur ausgeführt wird, wird nur NFSv4 2.0 unterstützt.

Verwenden Sie nicht die folgenden Mount-Optionen:

Optimierung der Leistung kleiner Dateien

Sie können die Leistung kleiner Dateien verbessern, indem Sie das erneute Öffnen von Dateien minimieren, die Parallelität erhöhen und Referenzdateien nach Möglichkeit bündeln.

Optimieren der Verzeichnisleistung

Wenn ein Listing (ls) für sehr große Verzeichnisse (über 100k Dateien) durchgeführt wird, die gleichzeitig geändert werden, können Linux-NFS-Clients hängen bleiben und keine Antwort zurückgeben. Dieses Problem wurde in Kernel 5.11 behoben, der auf die Amazon-Linux 2-Kernel 4.14, 5.4 und 5.10 portiert wurde.

Wir empfehlen, die Anzahl der Verzeichnisse in Ihrem Dateisystem möglichst auf weniger als 10 000 zu beschränken. Verwenden Sie so weit wie möglich verschachtelte Unterverzeichnisse.

Vermeiden Sie beim Auflisten eines Verzeichnisses die Angabe von Dateiattributen, wenn diese nicht erforderlich sind, da sie nicht im Verzeichnis selbst gespeichert sind.

Optimierung der NFS-Größe von read_ahead_kb

Das read_ahead_kb-NFS-Attribut definiert die Anzahl der Kilobyte, die der Linux-Kernel bei einem sequentiellen Lesevorgang vorab lesen oder vorab abrufen muss.

Bei Linux-Kernel-Versionen vor 5.4.* wird der Wert read_ahead_kb durch Multiplikation von NFS_MAX_READAHEAD mit dem Wert für rsize (der vom Client konfigurierten Lesepuffergröße, die in den Mount-Optionen festgelegt wurde) festgelegt. Bei Verwendung der empfohlenen Mount-Optionen setzt diese Formel read_ahead_kb auf 15 MB.

Die Amazon-EFS-Mountinghilfe, die in amazon-efs-utils-Version 1.33.2 und höher verfügbar ist, ändert den read_ahead_kb-Wert nach dem Mounten des Dateisystems automatisch auf 15 * rsize oder 15 MB.

Wenn Sie bei Linux-Kernel 5.4 oder höher die Mountinghilfe nicht zum Mounten Ihrer Dateisysteme verwenden, sollten Sie erwägen, read_ahead_kb manuell auf 15 MB einzustellen, um die Leistung zu verbessern. Nach dem Mounten des Dateisystems können Sie den read_ahead_kb-Wert mithilfe des folgenden Befehls zurücksetzen. Ersetzen Sie die folgenden Werte, bevor Sie diesen Befehl verwenden:

device_number=$(stat -c '%d' efs-mount-point)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo read-ahead-value-kb > /sys/class/bdi/$major:$minor/read_ahead_kb"

Im Folgenden wird beispielsweise die read_ahead_kb-Größe auf 1 MB festgelegt.

device_number=$(stat -c '%d' efs)
((major = ($device_number & 0xFFF00) >> 8))
((minor = ($device_number & 0xFF) | (($device_number >> 12) & 0xFFF00)))
sudo bash -c "echo 15000 > /sys/class/bdi/$major:$minor/read_ahead_kb"