Considerazioni e limitazioni - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Considerazioni e limitazioni

Considerate le seguenti considerazioni e limitazioni quando utilizzate Lake Formation with EMR Serverless.

Nota

Quando abiliti Lake Formation per un job Spark su EMR Serverless, il job avvia un driver di sistema e un driver utente. Se hai specificato la capacità preinizializzata all'avvio, i driver forniti dalla capacità preinizializzata e il numero di driver di sistema è uguale al numero di driver utente specificato. Se si sceglie la capacità On Demand, EMR Serverless avvia un driver di sistema oltre a un driver utente. Per stimare i costi associati al tuo lavoro EMR Serverless with Lake Formation, utilizza il AWS Pricing Calculator.

Amazon EMR Serverless with Lake Formation è disponibile in tutte le regioni EMR Serverless supportate tranne AWS GovCloud (Stati Uniti orientali) e AWS GovCloud (Stati Uniti occidentali).

  • Amazon EMR Serverless supporta il controllo granulare degli accessi tramite Lake Formation solo per le tabelle Apache Hive e Apache Iceberg. I formati Apache Hive includono Parquet e XSv. ORC

  • Le applicazioni abilitate per Lake Formation non supportano l'utilizzo di immagini Serverless personalizzate EMR.

  • Non puoi smettere di lavorare DynamicResourceAllocation per Lake Formation.

  • Puoi usare Lake Formation solo con i job Spark.

  • EMRServerless with Lake Formation supporta solo una singola sessione Spark per tutta la durata di un job.

  • EMRServerless with Lake Formation supporta solo le query tabellari tra account condivise tramite link alle risorse.

  • Quanto segue non è supportato:

    • Set di dati distribuiti resilienti () RDD

    • Streaming Spark

    • Scrivi con le autorizzazioni concesse da Lake Formation

    • Controllo degli accessi per le colonne annidate

  • EMRServerless blocca le funzionalità che potrebbero compromettere il completo isolamento dei driver di sistema, tra cui:

    • UDTsiveUDFs, H e qualsiasi funzione definita dall'utente che includa classi personalizzate

    • Origini dati personalizzate

    • Fornitura di vasetti aggiuntivi per l'estensione, il connettore o il metastore Spark

    • Comando ANALYZE TABLE

  • Per imporre controlli di accesso EXPLAIN PLAN e DDL operazioni come DESCRIBE TABLE non esporre informazioni riservate.

  • EMRServerless limita l'accesso ai registri Spark dei driver di sistema sulle applicazioni abilitate per Lake Formation. Poiché il driver di sistema viene eseguito con più accesso, gli eventi e i log generati dal driver di sistema possono includere informazioni riservate. Per impedire a utenti o codici non autorizzati di accedere a questi dati sensibili, EMR Serverless ha disabilitato l'accesso ai registri dei driver di sistema. Per la risoluzione dei problemi, contatta l'assistenza. AWS

  • Se hai registrato una posizione in una tabella con Lake Formation, il percorso di accesso ai dati passa attraverso le credenziali archiviate di Lake Formation indipendentemente dall'IAMautorizzazione per il ruolo EMR Serverless Job Runtime. Se configuri erroneamente il ruolo registrato con la posizione della tabella, i lavori inviati che utilizzano il ruolo con IAM autorizzazione S3 per la posizione della tabella avranno esito negativo.

  • La scrittura su una tabella Lake Formation utilizza IAM l'autorizzazione anziché le autorizzazioni concesse da Lake Formation. Se il ruolo Job Runtime dispone delle autorizzazioni S3 necessarie, è possibile utilizzarlo per eseguire operazioni di scrittura.

Di seguito sono riportate considerazioni e limitazioni relative all'utilizzo di Apache Iceberg:

  • È possibile utilizzare Apache Iceberg solo con il catalogo delle sessioni e non con i cataloghi con nomi arbitrari.

  • Le tabelle Iceberg registrate in Lake Formation supportano solo le tabelle di metadatihistory,metadata_log_entries,, snapshots filesmanifests, e. refs Amazon EMR nasconde le colonne che potrebbero contenere dati sensibili, ad esempio partitionspath, esummaries. Questa limitazione non si applica alle tabelle Iceberg che non sono registrate in Lake Formation.

  • Le tabelle che non vengono registrate in Lake Formation supportano tutte le stored procedure Iceberg. Le migrate procedure register_table and non sono supportate per nessuna tabella.

  • Ti consigliamo di utilizzare Iceberg DataFrameWriter V2 anziché V1.