EMR-Cluster auf AWS Outposts - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMR-Cluster auf AWS Outposts

Ab Amazon EMR 5.28.0 können Sie EMR-Cluster erstellen und ausführen. AWS Outposts AWS Outposts ermöglicht native AWS Dienste, Infrastrukturen und Betriebsmodelle in lokalen Einrichtungen. In AWS Outposts Umgebungen können Sie dieselben Tools und dieselbe AWS APIs Infrastruktur verwenden, die Sie in der AWS Cloud verwenden. Amazon EMR on AWS Outposts ist ideal für Workloads mit niedriger Latenz, die in unmittelbarer Nähe zu lokalen Daten und Anwendungen ausgeführt werden müssen. Weitere Informationen zu finden Sie im AWS Outposts Benutzerhandbuch.AWS Outposts

Voraussetzungen

Im Folgenden sind die Voraussetzungen für die Verwendung von Amazon EMR in AWS Outposts aufgeführt:

  • Sie müssen AWS Outposts in Ihrem lokalen Rechenzentrum installiert und konfiguriert haben.

  • Sie müssen über eine zuverlässige Netzwerkverbindung zwischen Ihrer Outpost-Umgebung und einer AWS Region verfügen.

  • Sie müssen über ausreichende Kapazität für Amazon EMR-unterstützte Instance-Typen in Ihrem Outpost verfügen.

Einschränkungen

Im Folgenden sind die Einschränkungen für die Verwendung von Amazon EMR auf AWS Outposts aufgeführt:

  • On-Demand-Instances sind die einzige unterstützte Option für EC2 Amazon-Instances. Spot Instances sind für Amazon EMR auf AWS Outposts nicht verfügbar.

  • Wenn Sie zusätzliche Amazon EBS-Speichervolumes benötigen, wird nur Allzweck-SSD (GP2) unterstützt.

  • Wenn Sie die Amazon EMR-Versionen 5.28 bis 6.x verwenden AWS Outposts , können Sie nur S3-Buckets verwenden, die Objekte in einem AWS-Region von Ihnen angegebenen speichern. Mit Amazon EMR 7.0.0 und höher AWS Outposts wird Amazon EMR on auch mit dem unterstützt S3A Dateisystem-Client, Präfix. s3a://

  • Nur die folgenden Instance-Typen werden von Amazon EMR auf AWS Outposts unterstützt:

    Instance-Klasse Instance-Typen
    Allgemeine Zwecke

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Für Datenverarbeitung optimiert

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    RAM-optimiert

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Speicheroptimiert

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Überlegungen zur Netzwerkkonnektivität

  • Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region unterbrochen wird, laufen Ihre Cluster weiter. Sie können jedoch keine neuen Cluster erstellen oder neue Aktionen für vorhandene Cluster ausführen, bis die Verbindung wiederhergestellt wurde. Bei Instance-Fehlern wird die Instance nicht automatisch ersetzt. Darüber hinaus werden Aktionen wie das Hinzufügen von Schritten zu einem laufenden Cluster, das Überprüfen des Ausführungsstatus der Schritte und das Senden von CloudWatch Metriken und Ereignissen verzögert.

  • Wir empfehlen Ihnen, eine zuverlässige und hochverfügbare Netzwerkkonnektivität zwischen Ihrem Outpost und der AWS Region bereitzustellen. Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region für mehr als ein paar Stunden unterbrochen wird, laufen Cluster, für die der Terminierungsschutz aktiviert ist, weiter, und Cluster, die den Terminierungsschutz deaktiviert haben, können beendet werden.

  • Falls die Netzwerkkonnektivität aufgrund einer routinemäßigen Wartung beeinträchtigt wird, empfehlen wir die proaktive Aktivierung des Beendigungsschutzes. Generell bedeutet die Unterbrechung der Konnektivität, dass externe Abhängigkeiten, die nicht lokal im Outpost oder Kundennetzwerk sind, nicht zugänglich sind. Dazu gehören Amazon S3, DynamoDB, das mit EMRFS Consistency View verwendet wird, und Amazon RDS, wenn eine Instance in der Region für einen Amazon-EMR-Cluster mit mehreren Primärknoten verwendet wird.

Erstellen eines Amazon EMR-Clusters auf AWS Outposts

Das Erstellen eines Amazon EMR-Clusters auf AWS Outposts ähnelt dem Erstellen eines Amazon EMR-Clusters in der AWS Cloud. Wenn Sie einen Amazon EMR-Cluster auf erstellen AWS Outposts, müssen Sie ein EC2 Amazon-Subnetz angeben, das Ihrem Outpost zugeordnet ist.

Eine Amazon VPC kann sich über alle Availability Zones in einer AWS Region erstrecken. AWS Outposts sind Erweiterungen von Availability Zones, und Sie können eine Amazon VPC in einem Konto so erweitern, dass sie sich über mehrere Availability Zones und zugehörige Outpost-Standorte erstreckt. Wenn Sie den Outpost konfigurieren, ordnen Sie ihm ein Subnetz zu, um Ihre regionale VPC-Umgebung auf Ihre On-Premises-Einrichtung zu erweitern. Outpost-Instances und verwandte Services werden als Teil Ihrer regionalen VPC angezeigt, ähnlich einer Availability Zone mit verknüpften Subnetzen. Weitere Informationen finden Sie im AWS Outposts -Benutzerhandbuch.

Konsole

Um einen neuen Amazon EMR-Cluster AWS Outposts mit dem zu erstellen AWS Management Console, geben Sie ein EC2 Amazon-Subnetz an, das mit Ihrem Outpost verknüpft ist.

Console
Um einen Cluster mit der Konsole zu AWS Outposts erstellen
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon EMR-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMR on die Option Clusters und dann Create cluster aus.

  3. Wählen Sie unter Clusterkonfiguration die Option Instance-Gruppen oder Instance-Flotten aus. Wählen Sie dann im Dropdownmenü Instanztyp auswählen einen EC2 Instance-Typ aus oder wählen Sie Aktionen und anschließend EBS-Volumes hinzufügen aus. Amazon EMR on AWS Outposts unterstützt begrenzte Amazon EBS-Volumes und Instance-Typen.

  4. Wählen Sie unter Netzwerk ein EC2 Subnetz mit einer Outpost-ID in diesem Format aus: op-123456789.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

CLI
Um einen Cluster zu erstellen mit AWS OutpostsAWS CLI
  • Um einen neuen Amazon EMR-Cluster AWS Outposts mit dem zu erstellen AWS CLI, geben Sie ein EC2 Subnetz an, das Ihrem Outpost zugeordnet ist, wie im folgenden Beispiel. subnet-22XXXX01Ersetzen Sie es durch Ihre eigene EC2 Amazon-Subnetz-ID.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.6.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles