Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Speicheroptionen und Verhalten von Instanzen in Amazon EMR

Übersicht

Der Instance-Speicher und der EBS Amazon-Volume-Speicher werden für HDFS Daten und für Puffer, Caches, Scratch-Daten und andere temporäre Inhalte verwendet, die von einigen Anwendungen möglicherweise in das lokale Dateisystem „verschüttet“ werden.

Amazon EBS funktioniert innerhalb von Amazon anders EMR als bei regulären EC2 Amazon-Instances. EBSAmazon-Volumes, die an EMR Amazon-Clustern angehängt sind, sind kurzlebig: Die Volumes werden gelöscht, wenn Cluster und Instances beendet werden (z. B. beim Verkleinern von Instance-Gruppen), sodass Sie nicht erwarten sollten, dass Daten bestehen bleiben. Obwohl die Daten kurzlebig sind, ist es möglich, dass sie repliziert werden, je nach Anzahl und Spezialisierung der Knoten im HDFS Cluster. Wenn Sie EBS Amazon-Speichervolumes hinzufügen, werden diese als zusätzliche Volumes bereitgestellt. Sie sind kein Teil des Startvolumes. YARNist so konfiguriert, dass alle zusätzlichen Volumes verwendet werden, aber Sie sind dafür verantwortlich, die zusätzlichen Volumes als lokalen Speicher zuzuweisen (z. B. für lokale Protokolldateien).

Überlegungen

Beachten Sie die folgenden zusätzlichen Überlegungen, wenn Sie Amazon EBS mit EMR Clustern verwenden:

EBSAmazon-Standardspeicher für Instances

Für EC2 Instances, die EBS nur über Speicher verfügen, EMR weist Amazon den Instances EBS Amazon-GP2- oder GP3-Speichervolumes zu. Wenn Sie einen Cluster mit EMR Amazon-Versionen 5.22.0 und höher erstellen, erhöht sich die Standardmenge an EBS Amazon-Speicher im Verhältnis zur Größe der Instance.

Wir teilen jeden erhöhten Speicherplatz auf mehrere Volumes auf. Dies führt zu einer höheren IOPS Leistung und damit zu einer höheren Leistung für einige standardisierte Workloads. Wenn Sie eine andere EBS Amazon-Instance-Speicherkonfiguration verwenden möchten, können Sie dies angeben, wenn Sie einen EMR Cluster erstellen oder Knoten zu einem vorhandenen Cluster hinzufügen. Sie können Amazon EBS GP2- oder GP3-Volumes als Root-Volumes verwenden und GP2- oder GP3-Volumes als zusätzliche Volumes hinzufügen. Weitere Informationen finden Sie unter Angabe zusätzlicher EBS Speichervolumes.

Die folgende Tabelle zeigt die Standardanzahl von Amazon EBS GP2-Speicher-Volumes, Größen und Gesamtgrößen pro Instance-Typ. Hinweise zu gp2-Volumes im Vergleich zu gp3-Volumes finden Sie unter Vergleich der EBS Amazon-Volumetypen gp2 und gp3.

EBSStandard-Amazon-Root-Volume für Instances

Mit EMR Amazon-Versionen 6.15 und höher fügt Amazon EMR automatisch ein Amazon EBS General Purpose SSD (gp3) als Root-Gerät hinzu, um die Leistung AMIs zu verbessern. In früheren Versionen EMR fügt Amazon EBS General Purpose SSD (gp2) als Root-Gerät hinzu.

Informationen zum Anpassen des Volumes des EBS Amazon-Root-Geräts finden Sie unterAngabe zusätzlicher EBS Speichervolumes.

Angabe zusätzlicher EBS Speichervolumes

Wenn Sie Instance-Typen in Amazon konfigurierenEMR, können Sie zusätzliche EBS Volumes angeben, um Kapazität hinzuzufügen, die über den Instance-Speicher (falls vorhanden) und das EBS Standard-Volume hinausgeht. Amazon EBS bietet die folgenden Volumetypen an: General Purpose (SSD), Provisioned IOPS (SSD), Throughput Optimized (HDD), Cold (HDD) und Magnetic. Diese unterscheiden sich bei den Leistungsmerkmalen und im Preis, sodass Sie Ihren Speicher den Analyse- und Business-Anforderungen Ihrer Anwendungen entsprechend anpassen können. Beispielsweise benötigen einige Anwendungen den Überlauf auf Datenträger, während andere im Speicher oder unter Verwendung Amazon S3 sicher arbeiten können.

Sie können EBS Amazon-Volumes nur dann an Instances anhängen, wenn der Cluster gestartet wird und wenn Sie eine zusätzliche Task-Knoten-Instance-Gruppe hinzufügen. Wenn eine Instance in einem EMR Amazon-Cluster ausfällt, werden sowohl die Instance als auch die angehängten EBS Amazon-Volumes durch neue Volumes ersetzt. Wenn Sie also ein EBS Amazon-Volume manuell trennen, EMR behandelt Amazon dies als Fehler und ersetzt sowohl den Instance-Speicher (falls zutreffend) als auch die Volume Stores.

Amazon erlaubt Ihnen EMR nicht, Ihren Volume-Typ für einen vorhandenen EMR Cluster von gp2 auf gp3 zu ändern. Um gp3 für Ihre Workloads zu verwenden, starten Sie einen neuen Cluster. EMR Darüber hinaus empfehlen wir nicht, den Durchsatz und IOPS auf einem Cluster zu aktualisieren, der verwendet wird oder der bereitgestellt wird, da Amazon den Durchsatz und die IOPS Werte, die Sie beim Clusterstart angeben, für jede neue Instance EMR verwendet, die beim Cluster-Scale-up hinzugefügt wird. Weitere Informationen erhalten Sie unter Vergleich der EBS Amazon-Volumetypen gp2 und gp3 und Auswahl IOPS und Durchsatz bei der Migration zu EBS gp3-Amazon-Volumetypen.