Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Prerequisiti per utilizzare Apache Iceberg Tables come destinazione
Scegliete tra le seguenti opzioni per completare i prerequisiti richiesti.
Argomenti
Prerequisiti per la consegna a Iceberg Tables in Amazon S3
Prima di iniziare, completa i seguenti prerequisiti.
-
Crea un bucket Amazon S3: devi creare un bucket Amazon S3 per aggiungere il percorso del file di metadati durante la creazione delle tabelle. Per ulteriori informazioni, consulta Creare un bucket S3.
-
Crea un IAM ruolo con le autorizzazioni richieste: Firehose necessita di IAM un ruolo con autorizzazioni specifiche per AWS Glue accedere alle tabelle e scrivere dati su Amazon S3. Lo stesso ruolo viene utilizzato per concedere AWS Glue l'accesso ai bucket Amazon S3. Questo IAM ruolo è necessario quando si crea Iceberg Table e uno stream Firehose. Per ulteriori informazioni, consulta Concedi a Firehose l'accesso a una destinazione Apache Iceberg Tables.
-
Creazione di tabelle Apache Iceberg: se si configurano chiavi univoche nel flusso Firehose per aggiornamenti ed eliminazioni, Firehose verifica se la tabella e le chiavi uniche esistono come parte della creazione dello stream. In questo scenario, è necessario creare tabelle prima di creare il flusso Firehose. È possibile utilizzare AWS Glue per creare tabelle Apache Iceberg. Per ulteriori informazioni, consulta Creazione di tabelle Apache Iceberg. Se non si configurano chiavi univoche nello stream Firehose, non è necessario creare tabelle Iceberg prima di creare uno stream Firehose.
Nota
Firehose supporta la versione e il formato di tabella seguenti per le tabelle Apache Iceberg.
-
Versione in formato tabella: Firehose supporta solo il formato tabella V2
. Non create tabelle in formato V1, altrimenti si verifica un errore e i dati vengono invece inviati al bucket di errore S3. -
Formato di archiviazione dei dati: Firehose scrive i dati su Apache Iceberg Tables in formato Parquet.
-
Funzionamento a livello di riga: Firehose supporta la modalità Merge-on-Read (MOR) di scrittura dei dati su Apache Iceberg Tables.
-
Prerequisiti per la distribuzione su Amazon S3 Tables
Per fornire dati ai bucket da tabella Amazon S3, completa i seguenti prerequisiti.
-
Crea un IAM ruolo con le autorizzazioni richieste: Firehose necessita di IAM un ruolo con autorizzazioni specifiche per AWS Glue accedere alle tabelle e scrivere dati nelle tabelle in un bucket di tabelle Amazon S3. Per scrivere su tabelle in un bucket di tabelle S3, devi inoltre fornire al ruolo le autorizzazioni richieste in. IAM AWS Lake Formation Questo IAM ruolo viene configurato quando si crea uno stream Firehose. Per ulteriori informazioni, consulta Concedere a Firehose l'accesso alle tabelle Amazon S3.
-
Crea un bucket S3 Table, un namespace, tabelle nel table bucket e altri passaggi di integrazione descritti in Integrazione delle tabelle Amazon S3 con i servizi di analisi. AWS
Nota
Nei passaggi descritti, concedi l' AWS Lake Formation
DESCRIBEautorizzazione al ruolo che hai creato in precedenza. IAMI nomi dei link alle risorse per Database e Table creati come parte dei prerequisiti come nome Database e Table nella configurazione del flusso Firehose per scopi di routing. È possibile utilizzarli nella sezione Unique key della configurazione del flusso Firehose se si esegue il routing verso una singola tabella, oppure inviarli come parte dei dati di input affinché Firehose effettui il routing verso la tabella corretta utilizzando le espressioni di Query. JSON
Per altri modi per creare collegamenti alle risorse, consulta Creazione di un collegamento di risorsa a una tabella Data Catalog condivisa o Creazione di un collegamento di risorsa a un database Data Catalog condiviso nella guida per l'utente di Lake Formation.
