Connessione a Google BigQuery con AWS Schema Conversion Tool - AWS Schema Conversion Tool
Privilegi per BigQuery Connessione a BigQuery come fonteBigQuery limitazioniBigQuery alle impostazioni di conversione in Amazon RedshiftBigQuery alle impostazioni di ottimizzazione delle conversioni di Amazon Redshift

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connessione a Google BigQuery con AWS Schema Conversion Tool

Puoi utilizzarlo AWS SCT per convertire schemi, oggetti di codice e codice applicativo BigQuery da Amazon Redshift.

Privilegi come fonte BigQuery

Per utilizzare un BigQuery data warehouse come fonte in AWS SCT, crea un account di servizio. In Google Cloud, le applicazioni utilizzano gli account di servizio per effettuare API chiamate autorizzate. Gli account di servizio sono diversi dagli account utente. Per ulteriori informazioni, consulta Account di servizio nella documentazione di Google Cloud Identity and Access Management.

Assicurati di assegnare i seguenti ruoli al tuo account di servizio:

  • BigQuery Admin

  • Storage Admin

Il BigQuery Admin ruolo fornisce le autorizzazioni per gestire tutte le risorse all'interno del progetto. AWS SCT utilizza questo ruolo per caricare i BigQuery metadati nel progetto di migrazione.

Il Storage Admin ruolo garantisce il pieno controllo degli oggetti di dati e dei bucket. Puoi trovare questo ruolo in. Cloud Storage AWS SCT utilizza questo ruolo per estrarre i dati BigQuery e caricarli in Amazon Redshift.

Per creare un file chiave dell'account di servizio

  1. Accedi alla console di gestione di Google Cloud all'indirizzo https://console.cloud.google.com/.

  2. Nella BigQuery APIpagina, scegli Abilita. Salta questo passaggio se vedi APIAbilitato.

  3. Nella pagina Account di servizio, scegli il tuo progetto, quindi scegli Crea account di servizio.

  4. Nella pagina dei dettagli dell'account di servizio, inserisci un valore descrittivo per il nome dell'account di servizio. Scegli Crea e continua. Viene visualizzata la pagina Concedi all'account di servizio l'accesso al progetto.

  5. Per Seleziona un ruolo, scegli BigQuery, quindi scegli BigQuery Amministratore.

  6. Scegli Aggiungi un altro ruolo. Per Seleziona un ruolo, scegli Cloud Storage, quindi scegli Storage Admin.

  7. Scegli Continua, quindi scegli Fine.

  8. Nella pagina Account di servizio, scegli l'account di servizio che hai creato.

  9. Scegli Chiavi, quindi scegli Crea nuova chiave per Aggiungi chiave.

  10. Scegliere JSON, quindi Create (Crea ). Scegli la cartella in cui salvare la chiave privata o seleziona la cartella predefinita per i download nel tuo browser.

Per estrarre dati da un BigQuery data warehouse, AWS SCT utilizza la cartella bucket di Google Cloud Storage. Crea questo bucket prima di iniziare la migrazione dei dati. Inserisci il percorso della cartella bucket di Google Cloud Storage nella finestra di dialogo Crea attività locale. Per ulteriori informazioni, consulta Creazione, esecuzione e monitoraggio di qualsiasi AWS SCT attività.

Connessione a BigQuery come fonte

Usa la seguente procedura per connetterti al tuo BigQuery progetto sorgente con AWS Schema Conversion Tool.

Per connettersi a un data warehouse di BigQuery origine

  1. Nella AWS Schema Conversion Tool, scegli Aggiungi fonte.

  2. Scegli BigQuery, quindi scegli Avanti.

    Viene visualizzata la finestra di dialogo Aggiungi sorgente.

  3. In Nome della connessione, inserisci un nome per il tuo BigQuery progetto. AWS SCT visualizza questo nome nell'albero nel pannello di sinistra.

  4. In Percorso chiave, inserisci il percorso del file chiave dell'account di servizio. Per ulteriori informazioni sulla creazione di questo file, vederePrivilegi come fonte BigQuery .

  5. Scegliete Test Connection per verificare che sia AWS SCT possibile connettersi al BigQuery progetto sorgente.

  6. Scegli Connect per connetterti al tuo BigQuery progetto sorgente.

Limitazioni all'utilizzo BigQuery come fonte per AWS SCT

Le seguenti limitazioni si applicano quando si utilizza BigQuery come fonte per AWS SCT:

  • AWS SCT non supporta la conversione di sottoquery nelle funzioni analitiche.

  • Non è possibile utilizzare le istruzioni AWS SCT to convert BigQuery SELECT AS STRUCT. SELECT AS VALUE

  • AWS SCT non supporta la conversione dei seguenti tipi di funzioni:

    • Aggregato approssimativo

    • Bit

    • Debug

    • Interrogazione federata

    • Geografia

    • Hash

    • Matematiche

    • Rete

    • Aggregato statistico

    • UUID

  • AWS SCT fornisce un supporto limitato per la conversione delle funzioni di stringa.

  • AWS SCT non supporta la conversione degli UNNEST operatori.

  • Non è possibile convertire le operazioni di join correlate in AWS SCT.

  • AWS SCT non supporta la conversione delle OFFSET clausole QUALIFYWINDOW,LIMIT, e.

  • Non è possibile utilizzare AWS SCT per convertire espressioni di tabella comuni ricorsive.

  • AWS SCT non supporta la conversione di INSERT istruzioni con sottoquery all'interno di clausole. VALUES

  • AWS SCT non supporta la conversione di UPDATE istruzioni per campi annidati e record ripetuti.

  • Non è possibile utilizzare AWS SCT per convertire tipi STRUCT di ARRAY dati.

BigQuery alle impostazioni di conversione in Amazon Redshift

BigQuery Per modificare le impostazioni di conversione in Amazon Redshift, seleziona Impostazioni in AWS SCT, quindi scegli Impostazioni di conversione. Dall'elenco superiore, scegli Google BigQuery, quindi scegli Google BigQuery — Amazon Redshift. AWS SCT mostra tutte le impostazioni disponibili BigQuery per la conversione in Amazon Redshift.

BigQuery le impostazioni di conversione in Amazon Redshift AWS SCT includono le seguenti opzioni:

  • Per limitare il numero di commenti con azioni nel codice convertito.

    Per Aggiungi commenti nel codice convertito per le azioni di gravità selezionata o superiore, scegli la gravità delle azioni. AWS SCT aggiunge commenti nel codice convertito per le azioni con la gravità selezionata o superiore.

    Ad esempio, per ridurre al minimo il numero di commenti nel codice convertito, scegli Solo errori. Per includere commenti per tutti gli elementi d'azione nel codice convertito, scegli Tutti i messaggi.

  • Per impostare il numero massimo di tabelle applicabili AWS SCT al cluster Amazon Redshift di destinazione.

    Per Il numero massimo di tabelle per il cluster Amazon Redshift di destinazione, scegli il numero di tabelle da AWS SCT applicare al tuo cluster Amazon Redshift.

    Amazon Redshift dispone di quote che limitano l'utilizzo delle tabelle per diversi tipi di nodo cluster. Se scegli Auto, AWS SCT determina il numero di tabelle da applicare al cluster Amazon Redshift di destinazione in base al tipo di nodo. Facoltativamente, scegli il valore manualmente. Per ulteriori informazioni, consulta Quote e limiti in Amazon Redshift nella Guida alla gestione di Amazon Redshift.

    AWS SCT converte tutte le tabelle di origine, anche se è superiore a quella che il cluster Amazon Redshift può archiviare. AWS SCT memorizza il codice convertito nel progetto e non lo applica al database di destinazione. Se raggiungi la quota del cluster Amazon Redshift per le tabelle quando applichi il codice convertito, viene AWS SCT visualizzato un messaggio di avviso. Inoltre, AWS SCT applica le tabelle al cluster Amazon Redshift di destinazione fino a quando il numero di tabelle raggiunge il limite.

  • Per applicare la compressione alle colonne delle tabelle di Amazon Redshift. Per farlo, seleziona Usa la codifica di compressione.

    AWS SCT assegna automaticamente la codifica di compressione alle colonne utilizzando l'algoritmo Amazon Redshift predefinito. Per ulteriori informazioni, consulta le codifiche di compressione nella Amazon Redshift Database Developer Guide.

    Per impostazione predefinita, Amazon Redshift non applica la compressione alle colonne definite come chiavi di ordinamento e distribuzione. Puoi modificare questo comportamento e applicare la compressione a queste colonne. Per farlo, seleziona Usa la codifica di compressione per KEY le colonne. È possibile selezionare questa opzione solo quando si seleziona l'opzione Usa codifica di compressione.

BigQuery alle impostazioni di ottimizzazione delle conversioni di Amazon Redshift

BigQuery Per modificare le impostazioni di ottimizzazione delle conversioni in Amazon Redshift, seleziona Impostazioni in AWS SCT, quindi seleziona Impostazioni di conversione. Dall'elenco superiore, scegli Google BigQuery, quindi scegli Google BigQuery — Amazon Redshift. Nel riquadro a sinistra, scegli Strategie di ottimizzazione. AWS SCT visualizza le impostazioni di ottimizzazione della conversione BigQuery per la conversione in Amazon Redshift.

BigQuery alle impostazioni di ottimizzazione delle conversioni di Amazon Redshift nelle opzioni di AWS SCT inclusione per quanto segue:

  • Per utilizzare l'ottimizzazione automatica delle tabelle. A tale scopo, seleziona Usa l'ottimizzazione automatica delle tabelle di Amazon Redshift.

    L'ottimizzazione automatica delle tabelle è un processo di ottimizzazione automatica in Amazon Redshift che ottimizza automaticamente la progettazione delle tabelle. Per ulteriori informazioni, consulta Lavorare con l'ottimizzazione automatica delle tabelle nella Amazon Redshift Database Developer Guide.

    Per fare affidamento solo sull'ottimizzazione automatica delle tabelle, scegli Nessuno per la strategia iniziale di selezione delle chiavi.

  • Per scegliere le chiavi di ordinamento e distribuzione utilizzando la tua strategia.

    Puoi scegliere le chiavi di ordinamento e distribuzione utilizzando i metadati di Amazon Redshift, le informazioni statistiche o entrambe le opzioni. Per la strategia di selezione delle chiavi iniziale nella scheda Strategie di ottimizzazione, scegli una delle seguenti opzioni:

    • Usa i metadati, ignora le informazioni statistiche

    • Ignora i metadati, usa le informazioni statistiche

    • Usa metadati e informazioni statistiche

    A seconda dell'opzione scelta, puoi selezionare strategie di ottimizzazione. Quindi, per ogni strategia, inserisci il valore (0—100). Questi valori definiscono il peso di ogni strategia. L'utilizzo di questi valori di peso AWS SCT definisce in che modo ciascuna regola influisce sulla scelta delle chiavi di distribuzione e ordinamento. I valori predefiniti si basano sulle best practice di AWS migrazione.

    È possibile definire la dimensione delle tabelle piccole per la strategia Find small tables. Per Numero minimo di righe nella tabella e Numero massimo di righe nella tabella, inserisci il numero minimo e massimo di righe in una tabella per definirla come una tabella piccola. AWS SCT applica lo stile ALL di distribuzione alle tabelle di piccole dimensioni. In questo caso, una copia dell'intera tabella viene distribuita su ogni nodo.

  • Per configurare i dettagli della strategia.

    Oltre a definire il peso per ogni strategia di ottimizzazione, puoi configurare le impostazioni di ottimizzazione. Per farlo, scegli Ottimizzazione delle conversioni.

    • Per il limite delle colonne chiave di ordinamento, inserisci il numero massimo di colonne nella chiave di ordinamento.

    • Per Valore di soglia asimmetrico, inserite la percentuale (0—100) di un valore distorto per una colonna. AWS SCT esclude le colonne con un valore di inclinazione superiore alla soglia dall'elenco dei candidati per la chiave di distribuzione. AWS SCT definisce il valore inclinato di una colonna come rapporto percentuale tra il numero di occorrenze del valore più comune e il numero totale di record.

    • Per le prime N interrogazioni della tabella della cronologia delle interrogazioni, immettete il numero (da 1 a 100) delle interrogazioni utilizzate più di frequente da analizzare.

    • Per Seleziona utente statistico, scegli l'utente del database per il quale desideri analizzare le statistiche delle query.

    Inoltre, nella scheda Strategie di ottimizzazione, puoi definire la dimensione delle piccole tabelle per la strategia Trova tabelle piccole. Per Numero minimo di righe nella tabella e Numero massimo di righe nella tabella, inserisci il numero minimo e massimo di righe in una tabella per considerarla come una tabella piccola. AWS SCT applica lo stile ALL di distribuzione a tabelle di piccole dimensioni. In questo caso, una copia dell'intera tabella viene distribuita su ogni nodo.