Considerazioni e limitazioni relative all'utilizzo del connettore Spark - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Considerazioni e limitazioni relative all'utilizzo del connettore Spark

  • Ti consigliamo di attivare SSL la JDBC connessione da Spark su Amazon EMR ad Amazon Redshift.

  • Ti consigliamo di gestire le credenziali per il cluster Amazon Redshift in AWS Secrets Manager come best practice. Vedi Utilizzo AWS Secrets Manager per recuperare le credenziali per la connessione ad Amazon Redshift, ad esempio.

  • Ti consigliamo di passare un IAM ruolo con il parametro aws_iam_role per il parametro di autenticazione Amazon Redshift.

  • Il parametro tempformat attualmente non supporta il formato Parquet.

  • I tempdir URI punti rimandano a una sede Amazon S3. Questa directory temporanea non viene pulita in automatico e quindi potrebbe generare costi aggiuntivi.

  • Prendi in considerazione i seguenti consigli per Amazon Redshift:

  • Prendi in considerazione i seguenti consigli per Amazon S3:

    • Si consiglia di bloccare l'accesso pubblico ai bucket Amazon S3.

    • Si consiglia di utilizzare la crittografia lato server di Amazon S3 per crittografare i bucket Amazon S3 utilizzati.

    • Si consiglia di utilizzare le policy del ciclo di vita di Amazon S3 per definire le regole di conservazione del bucket Amazon S3.

    • Amazon verifica EMR sempre il codice importato dall'open source nell'immagine. Per motivi di sicurezza, non supportiamo i seguenti metodi di autenticazione da Spark ad Amazon S3:

      • Impostazione AWS chiavi di accesso nella classificazione della configurazione hadoop-env

      • Encoding AWS chiavi di accesso in tempdir URI

Per ulteriori informazioni sull'utilizzo del connettore e dei parametri supportati, consulta le seguenti risorse: