Avvio di un'applicazione Spark con l'integrazione Amazon Redshift per Apache Spark - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Avvio di un'applicazione Spark con l'integrazione Amazon Redshift per Apache Spark

Per utilizzare l'integrazione con EMR Serverless 6.9.0, devi passare le dipendenze Spark-Redshift richieste con il tuo job Spark. --jarsDa utilizzare per includere le librerie relative al connettore Redshift. Per vedere le altre posizioni dei file supportate dall'opzione --jars, consulta la sezione Advanced Dependency Management (Gestione avanzata delle dipendenze) nella documentazione di Apache Spark.

  • spark-redshift.jar

  • spark-avro.jar

  • RedshiftJDBC.jar

  • minimal-json.jar

EMRLe versioni di Amazon 6.10.0 e successive non richiedono la minimal-json.jar dipendenza e installano automaticamente le altre dipendenze in ciascun cluster per impostazione predefinita. Gli esempi seguenti mostrano come avviare un'applicazione Spark con l'integrazione di Amazon Redshift per Apache Spark.

Amazon EMR 6.10.0 +

Avvia un job Spark su Amazon EMR Serverless con l'integrazione Amazon Redshift per Apache Spark EMR nella versione Serverless 6.10.0 e successive.

spark-submit my_script.py
Amazon EMR 6.9.0

Per avviare un job Spark su Amazon EMR Serverless con l'integrazione Amazon Redshift per Apache Spark EMR nella versione Serverless 6.9.0, utilizza l'--jarsopzione come illustrato nell'esempio seguente. Tieni presente che i percorsi elencati con l'--jarsopzione sono i percorsi predefiniti per i file. JAR

--jars 
    /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,
    /usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar
spark-submit \
  --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \
  my_script.py