Considerazioni su Amazon EMR con Lake Formation

Fine-grained il controllo degli accessi a livello di riga, colonna e cella è disponibile sui cluster con Amazon EMR versioni 6.15 e successive.

Gli utenti con accesso a una tabella possono accedere a tutte le sue proprietà. Se disponi di un controllo degli accessi basato su Lake Formation su una tabella, controlla la tabella per assicurarti che le proprietà non contengano dati o informazioni sensibili.

I cluster Amazon EMR con Lake Formation non supportano il fallback di Spark su HDFS quando Spark raccoglie le statistiche delle tabelle. Questo di solito aiuta a ottimizzare le prestazioni delle query.

Le operazioni che supportano i controlli degli accessi basati su Lake Formation con tabelle Apache Spark non gestite includono INSERT INTO e INSERT OVERWRITE.

Le operazioni che supportano i controlli degli accessi basati su Lake Formation con Apache Spark e Apache Hive includono SELECT, DESCRIBE, SHOW DATABASE, SHOW TABLE, SHOW COLUMN e SHOW PARTITION.

Amazon EMR non supporta l'accesso alle seguenti operazioni basate su Lake Formation:

Esistono differenze di prestazioni tra la stessa query con e senza il controllo degli accessi basato su Lake Formation.

Puoi usare Amazon EMR con Lake Formation solo per i lavori Spark.

La propagazione delle identità affidabili non è supportata dalla gerarchia multi-catalogo in Glue Data Catalog. Per ulteriori informazioni, vedere Utilizzo di una gerarchia multi-catalogo in Glue Data Catalog. AWS

Amazon EMR supporta il controllo granulare degli accessi tramite Lake Formation solo per le tabelle Apache Hive, Apache Iceberg, Apache Delta e Apache Hudi. I formati Apache Hive includono Parquet, ORC e xSv CSV.

Per le applicazioni abilitate per Lake Formation, i log di Spark vengono scritti su Amazon S3 in due gruppi: registri dello spazio di sistema e registri dello spazio utente. I log dello spazio di sistema possono contenere informazioni sensibili come lo schema completo della tabella. Per salvaguardare questi dati, Amazon EMR archivia i log dello spazio di sistema in una posizione separata dai log dello spazio utente. Si consiglia vivamente agli amministratori degli account di non concedere agli utenti l'accesso ai log dello spazio di sistema.

Se registri la posizione di una tabella con Lake Formation, l'accesso ai dati sarà controllato esclusivamente dalle autorizzazioni del ruolo utilizzato per la registrazione, anziché dal ruolo di runtime del job di Amazon EMR. Se il ruolo di registrazione non è configurato correttamente, i job che tentano di accedere alla tabella falliranno.

Non puoi disattivarlo DynamicResourceAllocation per i lavori di Lake Formation.

Si può usare Lake Formation solo con i processi Spark.

Amazon EMR con Lake Formation supporta solo una singola sessione di Spark durante un processo.

Amazon EMR con Lake Formation supporta solo query su tabelle tra account condivise tramite collegamenti alle risorse.

I seguenti elementi non sono supportati:

Amazon EMR blocca le funzionalità che potrebbero compromettere il completo isolamento del driver di sistema, tra cui:

Per applicare i controlli di accesso, EXPLAIN PLAN e le operazioni DDL, come DESCRIBE TABLE non espongono informazioni riservate.

Amazon EMR limita l'accesso ai log Spark dei driver di sistema sulle applicazioni Lake. Formation-enabled Poiché il driver di sistema viene eseguito con autorizzazioni elevate, gli eventi e i log generati dal driver di sistema possono includere informazioni sensibili. Per impedire a utenti o codice non autorizzati di accedere a questi dati sensibili, Amazon EMR disabilita l'accesso ai log dei driver di sistema.

I log dei profili di sistema vengono sempre conservati nello storage gestito: si tratta di un'impostazione obbligatoria che non può essere disabilitata. Questi registri vengono archiviati in modo sicuro e crittografato utilizzando una chiave KMS gestita dal cliente o una chiave AWS Managed KMS.

Se la tua applicazione Amazon EMR si trova in una sottorete privata con endpoint VPC per Amazon S3 e alleghi una policy sugli endpoint per controllare l'accesso, prima che i tuoi processi possano inviare i dati di log a AWS Managed Amazon S3, devi includere le autorizzazioni dettagliate in Storage gestito nella tua policy VPC all'endpoint gateway S3. Per le richieste di risoluzione dei problemi, contatta l'assistenza. AWS

Se hai registrato una posizione di tabella con Lake Formation, il percorso di accesso ai dati passa attraverso le credenziali archiviate di Lake Formation indipendentemente dall'autorizzazione IAM per il ruolo di runtime del job Amazon EMR. Se si configura erroneamente il ruolo registrato con la posizione della tabella, i processi inviati che utilizzano il ruolo con l'autorizzazione S3 IAM per la posizione della tabella avranno esito negativo.

La scrittura su una tabella Lake Formation utilizza l'autorizzazione IAM anziché le autorizzazioni concesse da Lake Formation. Se il ruolo di runtime del processo dispone delle autorizzazioni S3 necessarie, è possibile utilizzarlo per eseguire operazioni di scrittura.

È possibile utilizzare Apache Iceberg solo con il catalogo delle sessioni e non con i cataloghi con nomi arbitrari.

Le tabelle Iceberg registrate in Lake Formation supportano solo le tabelle di metadatihistory,,metadata_log_entries, snapshots e. files manifests refs Amazon EMR nasconde le colonne che potrebbero contenere dati sensibili, come, e. partitions path summaries Questa limitazione non si applica alle tabelle Iceberg che non sono registrate in Lake Formation.

Le tabelle non registrate in Lake Formation supportano tutte le stored procedure di Iceberg. Le procedure di register_table e migrate non sono supportate per nessuna tabella.

Ti consigliamo di utilizzare Iceberg DataFrameWriterV2 anziché V1.

Non puoi disattivarla DynamicResourceAllocation per i lavori di Lake Formation.

Si può usare Lake Formation solo con i processi Spark.

Amazon EMR con Lake Formation supporta solo una singola sessione di Spark durante un processo.

Amazon EMR con Lake Formation supporta solo query su tabelle tra account condivise tramite collegamenti alle risorse.

I seguenti elementi non sono supportati:

Amazon EMR blocca le funzionalità che potrebbero compromettere il completo isolamento del driver di sistema, tra cui:

Se la tua applicazione Amazon EMR si trova in una sottorete privata con endpoint VPC per Amazon S3 e alleghi una policy sugli endpoint per controllare l'accesso, prima che i tuoi processi possano inviare i dati di log a AWS Managed Amazon S3, devi includere le autorizzazioni dettagliate in Storage gestito nella tua policy VPC all'endpoint gateway S3. logging.html#jobs-log-storage-managed-storage Per le richieste di risoluzione dei problemi, contatta l'assistenza. AWS

A partire da Amazon EMR 7.9.0, Spark FGAC supporta l'uso con lo schema s3a: S3AFileSystem //.

Amazon EMR 7.11 supporta la creazione di tabelle gestite tramite CTAS.

Amazon EMR 7.12 supporta la creazione di tabelle gestite ed esterne tramite CTAS.

Per applicare i controlli di accesso, le operazioni EXPLAIN PLAN e DDL come DESCRIBE TABLE non espongono informazioni riservate.

Quando si registra la posizione di una tabella con Lake Formation, l'accesso ai dati utilizza le credenziali memorizzate in Lake Formation anziché le autorizzazioni IAM del ruolo di runtime del job runtime EMR Serverless. I processi falliranno se il ruolo registrato per la posizione della tabella non è configurato correttamente, anche quando il ruolo di runtime dispone delle autorizzazioni IAM S3 per quella posizione.

A partire da Amazon EMR 7.12, puoi scrivere su tabelle Hive e Iceberg esistenti utilizzando DataFrameWriter (V2) con le credenziali di Lake Formation in modalità aggiunta. Per le operazioni di sovrascrittura o durante la creazione di nuove tabelle, EMR utilizza le credenziali del ruolo di runtime per modificare i dati delle tabelle.

Le seguenti limitazioni si applicano quando si utilizzano viste o tabelle memorizzate nella cache come dati di origine (queste limitazioni non si applicano alle viste di AWS Glue Data Catalog):

Le tabelle Delta Lake con UDF nei dati di origine supportano le operazioni MERGE, DELETE e UPDATE solo quando il vettore di cancellazione è abilitato.

Amazon EMR limita l'accesso ai log Spark dei driver di sistema sulle applicazioni Lake. Formation-enabled Poiché il driver di sistema viene eseguito con autorizzazioni elevate, gli eventi e i log generati dal driver di sistema possono includere informazioni sensibili. Per impedire a utenti o codice non autorizzati di accedere a questi dati sensibili, Amazon EMR disabilita l'accesso ai log dei driver di sistema.

I log dei profili di sistema vengono sempre conservati nello storage gestito: si tratta di un'impostazione obbligatoria che non può essere disabilitata. Questi registri vengono archiviati in modo sicuro e crittografato utilizzando una chiave KMS gestita dal cliente o una chiave AWS Managed KMS.

È possibile utilizzare Apache Iceberg solo con il catalogo delle sessioni e non con i cataloghi con nomi arbitrari.

Le tabelle Iceberg registrate in Lake Formation supportano solo le tabelle di metadatihistory,,, emetadata_log_entries. snapshots files manifests refs Amazon EMR nasconde le colonne che potrebbero contenere dati sensibili, come, e. partitions path summaries Questa limitazione non si applica alle tabelle Iceberg che non sono registrate in Lake Formation.

Le tabelle non registrate in Lake Formation supportano tutte le stored procedure Iceberg. Le procedure di register_table e migrate non sono supportate per nessuna tabella.

Ti consigliamo di utilizzare Iceberg DataFrameWriterV2 invece di V1.