Usa le proprietà Spark per specificare una configurazione personalizzata - Amazon Athena
Utilizzo della console AthenaUtilizzo di AWS CLI o Athena API

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa le proprietà Spark per specificare una configurazione personalizzata

Quando crei o modifichi una sessione in Amazon Athena per Apache Spark, puoi utilizzare le proprietà Spark per specificare file .jar, pacchetti o un'altra configurazione personalizzata per la sessione. Per specificare le proprietà di Spark, puoi usare la console Athena, AWS CLI, o l'AthenaAPI.

Usa la console Athena per specificare le proprietà di Spark

Nella console Athena, puoi specificare le proprietà di Spark quando crei un notebook o modifichi una sessione corrente.

Come aggiungere proprietà nella finestra di dialogo Crea notebook o Modifica dettagli della sessione

  1. Espandi le proprietà Spark.

  2. Per aggiungere le tue proprietà, usa l'opzione Modifica nella tabella o Modifica in JSON.

    • Per l'opzione Modifica nella tabella, seleziona Aggiungi proprietà per aggiungere una proprietà o seleziona Rimuovi per rimuovere una proprietà. Utilizza le caselle Chiave e Valore per inserire i nomi delle proprietà e i relativi valori.

      • Per aggiungere un file .jar personalizzato, utilizza la proprietà spark.jars.

      • Per specificare un file pacchetto, utilizza la proprietà spark.jars.packages.

    • Per inserire e modificare direttamente la configurazione, scegli l'JSONopzione Modifica in. Nell'editor di JSON testo, puoi eseguire le seguenti attività:

      • Scegliete Copia per copiare il JSON testo negli appunti.

      • Scegli Cancella per rimuovere tutto il testo dall'JSONeditor.

      • Scegli l'icona delle impostazioni (ingranaggio) per configurare la disposizione delle linee o scegli un tema di colore per l'JSONeditor.

Note

  • È possibile impostare le proprietà in Athena per Spark, il che equivale a impostare le proprietà Spark direttamente su un oggetto. SparkConf

  • Avvia tutte le proprietà Spark con il prefisso spark.. Le proprietà con altri prefissi vengono ignorate.

  • Non tutte le proprietà Spark sono disponibili per la configurazione personalizzata su Athena. Se invii una richiesta StartSession con una configurazione limitata, la sessione non viene avviata.

    • Non è possibile utilizzare il prefisso spark.athena. perché è riservato.

Usa il AWS CLI o Athena API per fornire una configurazione personalizzata

Per utilizzare nuovamente il plugin AWS CLI o Athena API per fornire la configurazione della sessione, usa l'StartSessionAPIazione o il comando CLIstart-session. Nella StartSession richiesta, utilizzate il SparkProperties campo dell'EngineConfigurationoggetto per trasmettere le informazioni di configurazione in formato. JSON Questo avvia una sessione con la configurazione specificata. Per la sintassi della richiesta, consulta StartSessionAmazon API Athena Reference.