View a markdown version of this page

Runtime AWS per Apache Spark (emr-spark-8.0-preview) - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Runtime AWS per Apache Spark (emr-spark-8.0-preview)

La tabella seguente elenca le versioni dell'applicazione disponibili con (emr-spark-8.0-preview). AWS runtime for Apache Spark

Informazioni sulla versione dell'applicazione
Applicazione Versione
Spark 4.0.1-amzn-0
Note sulla versione di AWS Runtime per Apache Spark (emr-spark-8.0-preview)

  • Versione di anteprima: si tratta di una versione di anteprima di Apache Spark 4.0.1. AWS runtime for Apache Spark Questa anteprima è disponibile solo su EMR Serverless.

  • Disponibilità regionale: questa versione di anteprima è disponibile in tutte le AWS regioni in cui è disponibile EMR Serverless, ad eccezione delle regioni Cina e AWS GovCloud (Stati Uniti).

  • Informazioni sulla versione dell'applicazione: questa versione viene fornita con le seguenti versioni dell'applicazione:

    • AWS SDK per Java 2.35.5, 1.12.792

    • Python 3.9, 3.11, 3.12

    • Scala 2.13.16

    • AmazonCloudWatchAgent 1.300034.0-amzn-0

    • Delta 4.0.0-amzn-0-spark

    • Iceberg 1.10.0-amzn-spark-0

    • Questa versione viene fornita con Amazon Corretto 17 (basato su OpenJDK) per impostazione predefinita per le applicazioni che supportano Corretto 17 (JDK 17).

  • Limitazioni di anteprima: le seguenti funzionalità non sono disponibili in questa versione di anteprima:

    • Funzionalità interattive e di integrazione: SageMaker Unified Studio, integrazione con EMR Studio, Spark Connect, Livy e JupyterEnterpriseGateway non sono supportate.

    • Formati di tabella e controllo degli accessi: Hudi, Delta Universal Format e controllo di accesso granulare (FGAC) con filtri a livello di riga o colonna e operatori non sono supportati. DDL/DML

    • Connettori dati: i connettori spark-sql-kinesis, emr-dynamodb e spark-redshift non sono disponibili.

    • History Server: il Persistent Spark History Server non è disponibile in questa versione di anteprima. Gli utenti possono comunque accedere all'interfaccia utente attiva di Spark per monitorare ed eseguire il debug dei lavori serverless attivi in tempo reale.

    • Funzionalità specializzate: le viste materializzate non sono disponibili.

  • Funzionalità di anteprima: è possibile testare le seguenti funzionalità in questa versione di anteprima. Questa versione di anteprima non è consigliata per i carichi di lavoro di produzione:

    • Caratteristiche SQL: modalità ANSI SQL con gestione dei tipi più rigorosa, sintassi SQL PIPE (|>) per le operazioni di concatenamento, tipo di dati VARIANT per dati JSON semistrutturati, script SQL con istruzioni del flusso di controllo e variabili di sessione e funzioni SQL definite dall'utente.

    • Miglioramenti allo streaming: API Arbitrary Steful Processing v2 con WithState operatore di trasformazione, State Data Source Reader per lo stato di streaming interrogabile (sperimentale) e archivio di stato avanzato con checkpoint del changelog RockSDB migliorato.

    • Supporto per il formato delle tabelle: Apache Iceberg v3 con supporto per i tipi di dati VARIANT, integrazione con AWS S3 Tables e Full Table Access (FTA) con le tabelle Iceberg, Delta Lake e Hive. AWS Lake Formation

  • Documentazione aggiuntiva - Per una documentazione aggiuntiva su Apache Spark, consulta la documentazione sulla versione 4.0.1 di Apache Spark. https://spark.apache.org/releases/spark-release-4-0-1.html

Nozioni di base

Per iniziare con l'anteprima di Apache Spark 4.0.1, crea un'applicazione EMR Serverless utilizzando la CLI: AWS 

aws emr-serverless create-application --type spark \
  --release-label emr-spark-8.0-preview \
  --region us-east-1 --name spark4-preview