Jobs von der EMR Studio-Konsole aus ausführen - Amazon EMR
Übermitteln eines AuftragsAnzeigen von Auftragsausführungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Jobs von der EMR Studio-Konsole aus ausführen

Sie können Jobausführungen an EMR serverlose Anwendungen senden und die Jobs von der EMR Studio-Konsole aus anzeigen. Folgen Sie den Anweisungen unter Erste Schritte von der Konsole aus, um Ihre EMR serverlose Anwendung auf der EMR Studio-Konsole zu erstellen oder zu ihr zu navigieren.

Übermitteln eines Auftrags

Auf der Seite Job einreichen können Sie einen Job wie folgt an eine EMR serverlose Anwendung senden.

Spark

  1. Geben Sie im Feld Name einen Namen für Ihre Jobausführung ein.

  2. Geben Sie im Feld Runtime-Rolle den Namen der IAM Rolle ein, die Ihre EMR Serverless-Anwendung für die Jobausführung übernehmen kann. Weitere Informationen zu Runtime-Rollen finden Sie unterJob-Runtime-Rollen für Amazon EMR Serverless.

  3. Geben Sie im Feld Skriptspeicherort den Amazon S3 S3-Speicherort für das Skript einJAR, das Sie ausführen möchten. Für Spark-Jobs kann das Skript eine Python (.py) -Datei oder eine JAR (.jar) -Datei sein.

  4. Wenn es sich bei Ihrem Skriptspeicherort um eine JAR Datei handelt, geben Sie den Klassennamen, der den Einstiegspunkt für den Job darstellt, in das Feld Hauptklasse ein.

  5. (Optional) Geben Sie Werte für die verbleibenden Felder ein.

    • Skriptargumente — Geben Sie alle Argumente ein, die Sie an Ihr Haupt JAR - oder Python-Skript übergeben möchten. Ihr Code liest diese Parameter. Trennen Sie jedes Argument im Array durch ein Komma.

    • Spark-Eigenschaften — Erweitern Sie den Abschnitt Spark-Eigenschaften und geben Sie alle Spark-Konfigurationsparameter in dieses Feld ein.

      Anmerkung

      Wenn Sie die Größe des Spark-Treibers und des Executors angeben, müssen Sie den Speicheraufwand berücksichtigen. Geben Sie die Werte für den Speicheraufwand in den Eigenschaften spark.driver.memoryOverhead und an. spark.executor.memoryOverhead Der Speicher-Overhead hat einen Standardwert von 10% des Container-Speichers, mit einem Minimum von 384 MB. Der Executor-Speicher und der Speicher-Overhead zusammen dürfen den Arbeitsspeicher nicht überschreiten. Beispielsweise muss der Höchstwert spark.executor.memory für einen 30-GB-Worker 27 GB betragen.

    • Auftragskonfiguration — Geben Sie in diesem Feld eine beliebige Jobkonfiguration an. Sie können diese Jobkonfigurationen verwenden, um die Standardkonfigurationen für Anwendungen zu überschreiben.

    • Zusätzliche Einstellungen — Aktiviert oder deaktiviert die AWS Glue Sie Data Catalog als Metastore und ändern Sie die Einstellungen für das Anwendungsprotokoll. Weitere Informationen zu Metastore-Konfigurationen finden Sie unter. Metastore-Konfiguration Weitere Informationen zu den Optionen für die Anwendungsprotokollierung finden Sie unterSpeichern von Protokollen.

    • Tags — Weisen Sie der Anwendung benutzerdefinierte Tags zu.

  6. Wählen Sie Auftrag absenden.

Hive

  1. Geben Sie im Feld Name einen Namen für Ihre Jobausführung ein.

  2. Geben Sie im Feld Runtime-Rolle den Namen der IAM Rolle ein, die Ihre EMR Serverless-Anwendung für die Jobausführung übernehmen kann.

  3. Geben Sie im Feld Skriptspeicherort den Amazon S3 S3-Speicherort für das Skript einJAR, das Sie ausführen möchten. Für Hive-Jobs muss das Skript eine Hive (.sql) -Datei sein.

  4. (Optional) Geben Sie Werte für die verbleibenden Felder ein.

    • Speicherort für das Initialisierungsskript — Geben Sie den Speicherort des Skripts ein, das Tabellen initialisiert, bevor das Hive-Skript ausgeführt wird.

    • Hive-Eigenschaften — Erweitern Sie den Bereich Hive-Eigenschaften und geben Sie alle Hive-Konfigurationsparameter in dieses Feld ein.

    • Auftragskonfiguration — Geben Sie eine beliebige Jobkonfiguration an. Sie können diese Jobkonfigurationen verwenden, um die Standardkonfigurationen für Anwendungen zu überschreiben. Für Hive-Jobs hive.metastore.warehouse.dir sind hive.exec.scratchdir diese Eigenschaften in der hive-site Konfiguration erforderlich.

      {
    "applicationConfiguration": [
        {
            "classification": "hive-site",
            "configurations": [],
            "properties": {
                "hive.exec.scratchdir": "s3://DOC-EXAMPLE_BUCKET/hive/scratch",
                "hive.metastore.warehouse.dir": "s3://DOC-EXAMPLE_BUCKET/hive/warehouse"
            }
        }
    ],
    "monitoringConfiguration": {}
}

    • Zusätzliche Einstellungen — Aktivieren oder deaktivieren Sie AWS Glue Sie Data Catalog als Metastore und ändern Sie die Einstellungen für das Anwendungsprotokoll. Weitere Informationen zu Metastore-Konfigurationen finden Sie unter. Metastore-Konfiguration Weitere Informationen zu den Optionen für die Anwendungsprotokollierung finden Sie unterSpeichern von Protokollen.

    • Tags — Weisen Sie der Anwendung beliebige benutzerdefinierte Tags zu.

  5. Wählen Sie Auftrag absenden.

Anzeigen von Auftragsausführungen

Auf der Detailseite einer Anwendung auf der Registerkarte Auftragsausführungen können Sie Jobausführungen anzeigen und die folgenden Aktionen für Jobausführungen ausführen.

Job abbrechen — Um eine Jobausführung abzubrechen, die sich im RUNNING Status befindet, wählen Sie diese Option. Weitere Informationen zu Übergängen bei der Auftragsausführung finden Sie unterStatus von Aufgabenausführungen.

Auftrag klonen — Um eine vorherige Auftragsausführung zu klonen und erneut einzureichen, wählen Sie diese Option.