EMRCluster auf AWS Outposts - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMRCluster auf AWS Outposts

Ab Amazon EMR 5.28.0 können Sie EMR Cluster erstellen und ausführen. AWS Outposts AWS Outposts ermöglicht native AWS Dienste, Infrastrukturen und Betriebsmodelle in lokalen Einrichtungen. In AWS Outposts Umgebungen können Sie dieselben AWS APIs Tools und dieselbe Infrastruktur verwenden wie in der AWS Cloud. Amazon EMR on AWS Outposts ist ideal für Workloads mit niedriger Latenz, die in unmittelbarer Nähe zu lokalen Daten und Anwendungen ausgeführt werden müssen. Weitere Informationen zu AWS Outposts finden Sie im AWS Outposts Benutzerhandbuch.

Voraussetzungen

Im Folgenden sind die Voraussetzungen für die Nutzung von Amazon EMR auf AWS Outposts:

  • Sie müssen AWS Outposts in Ihrem lokalen Rechenzentrum installiert und konfiguriert haben.

  • Sie benötigen eine zuverlässige Netzwerkverbindung zwischen Ihrer Outpost-Umgebung und einer AWS Region.

  • Sie müssen über ausreichende Kapazität für von Amazon EMR unterstützte Instance-Typen in Ihrem Outpost verfügen.

Einschränkungen

Im Folgenden sind die Einschränkungen bei der Nutzung von EMR Amazon aufgeführt AWS Outposts:

  • On-Demand-Instances sind die einzige unterstützte Option für EC2 Amazon-Instances. Spot-Instances sind für Amazon EMR am nicht verfügbar AWS Outposts.

  • Wenn Sie zusätzliche EBS Amazon-Speichervolumen benötigen, wird nur General Purpose SSD (GP2) unterstützt.

  • Wenn Sie die EMR Amazon-Versionen 5.28 bis 6.x verwenden AWS Outposts , können Sie nur S3-Buckets verwenden, die Objekte in einem AWS-Region von Ihnen angegebenen speichern. Mit Amazon EMR 7.0.0 und höher AWS Outposts wird Amazon EMR on auch unterstützt mit S3A Dateisystem-Client, Präfix. s3a://

  • Nur die folgenden Instance-Typen werden von Amazon EMR am unterstützt AWS Outposts:

    Instance-Klasse Instance-Typen
    Allgemeine Zwecke

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Für Datenverarbeitung optimiert

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    RAM-optimiert

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Speicheroptimiert

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Überlegungen zur Netzwerkkonnektivität

  • Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region unterbrochen wird, laufen Ihre Cluster weiter. Sie können jedoch keine neuen Cluster erstellen oder neue Aktionen für vorhandene Cluster ausführen, bis die Verbindung wiederhergestellt wurde. Bei Instance-Fehlern wird die Instance nicht automatisch ersetzt. Darüber hinaus werden Aktionen wie das Hinzufügen von Schritten zu einem laufenden Cluster, das Überprüfen des Ausführungsstatus der Schritte und das Senden von CloudWatch Metriken und Ereignissen verzögert.

  • Wir empfehlen Ihnen, eine zuverlässige und hochverfügbare Netzwerkkonnektivität zwischen Ihrem Outpost und der AWS Region bereitzustellen. Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region für mehr als ein paar Stunden unterbrochen wird, laufen Cluster, für die der Terminierungsschutz aktiviert ist, weiter, und Cluster, die den Terminierungsschutz deaktiviert haben, können beendet werden.

  • Falls die Netzwerkkonnektivität aufgrund einer routinemäßigen Wartung beeinträchtigt wird, empfehlen wir die proaktive Aktivierung des Beendigungsschutzes. Generell bedeutet die Unterbrechung der Konnektivität, dass externe Abhängigkeiten, die nicht lokal im Outpost oder Kundennetzwerk sind, nicht zugänglich sind. Dazu gehören Amazon S3, DynamoDB, die mit EMRFS Consistency View verwendet werden, und Amazon, RDS wenn eine Instance in der Region für einen EMR Amazon-Cluster mit mehreren Primärknoten verwendet wird.

Erstellen eines EMR Amazon-Clusters auf AWS Outposts

Das Erstellen eines EMR Amazon-Clusters auf AWS Outposts ähnelt dem Erstellen eines EMR Amazon-Clusters in der AWS Cloud. Wenn Sie einen EMR Amazon-Cluster auf erstellen AWS Outposts, müssen Sie ein EC2 Amazon-Subnetz angeben, das Ihrem Outpost zugeordnet ist.

Ein Amazon VPC kann sich über alle Availability Zones in einer AWS Region erstrecken. AWS Outposts sind Erweiterungen von Availability Zones, und Sie können ein VPC Amazon-Konto so erweitern, dass es sich über mehrere Availability Zones und zugehörige Outpost-Standorte erstreckt. Wenn Sie Ihren Outpost konfigurieren, ordnen Sie ihm ein Subnetz zu, um Ihre regionale VPC Umgebung auf Ihre lokale Einrichtung auszudehnen. Outpost-Instances und zugehörige Dienste werden als Teil Ihrer Region angezeigtVPC, ähnlich einer Availability Zone mit zugehörigen Subnetzen. Weitere Informationen finden Sie im AWS Outposts -Benutzerhandbuch.

Konsole

Um einen neuen EMR Amazon-Cluster AWS Outposts mit dem zu erstellen AWS Management Console, geben Sie ein EC2 Amazon-Subnetz an, das mit Ihrem Outpost verknüpft ist.

Console
Um einen Cluster AWS Outposts mit der Konsole zu erstellen
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und anschließend Create cluster aus.

  3. Wählen Sie unter Clusterkonfiguration die Option Instance-Gruppen oder Instance-Flotten aus. Wählen Sie dann im Dropdownmenü Instanztyp auswählen einen EC2 Instanztyp aus oder wählen Sie Aktionen und dann EBSVolumes hinzufügen aus. Amazon EMR on AWS Outposts unterstützt begrenzte EBS Amazon-Volumen- und Instance-Typen.

  4. Wählen Sie unter Netzwerk ein EC2 Subnetz mit einer Outpost-ID in diesem Format aus: op-123456789.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

CLI
Um einen Cluster zu erstellen mit AWS OutpostsAWS CLI
  • Um einen neuen EMR Amazon-Cluster AWS Outposts mit dem zu erstellen AWS CLI, geben Sie ein EC2 Subnetz an, das Ihrem Outpost zugeordnet ist, wie im folgenden Beispiel. Ersetzen subnet-22XXXX01 mit Ihrer eigenen EC2 Amazon-Subnetz-ID.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.3.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles