Conectando-se ao Google BigQuery com AWS Schema Conversion Tool - AWS Schema Conversion Tool
Privilégios para BigQuery Conectando-se BigQuery como fonteBigQuery limitaçõesBigQuery para as configurações de conversão do Amazon RedshiftBigQuery para as configurações de otimização de conversão do Amazon Redshift

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Conectando-se ao Google BigQuery com AWS Schema Conversion Tool

Você pode usar AWS SCT para converter esquemas, objetos de código e código de aplicativo BigQuery para o Amazon Redshift.

Privilégios BigQuery como fonte

Para usar um BigQuery data warehouse como fonte AWS SCT, crie uma conta de serviço. No Google Cloud, os aplicativos usam contas de serviço para fazer API chamadas autorizadas. As contas de serviço são diferentes das contas de usuário. Para obter mais informações, consulte Contas de serviço na documentação do Gerenciamento de acesso e identidade do Google Cloud.

Certifique-se de conceder as seguintes funções à sua conta de serviço:

  • BigQuery Admin

  • Storage Admin

A BigQuery Admin função fornece permissões para gerenciar todos os recursos do projeto. AWS SCT usa essa função para carregar seus BigQuery metadados no projeto de migração.

A função Storage Admin concede controle total sobre objetos e buckets de dados. Você pode encontrar essa função emCloud Storage. AWS SCT usa essa função para extrair seus dados BigQuery e depois carregá-los no Amazon Redshift.

Para criar um arquivo de chave da conta de serviço

  1. Faça login no console de gerenciamento do Google Cloud em https://console.cloud.google.com/.

  2. Na BigQuery APIpágina, escolha Ativar. Ignore esta etapa se você ver APIAtivado.

  3. Na página Contas de serviço, escolha seu projeto e, em seguida, escolha Criar conta de serviço.

  4. Na página Detalhes da conta de serviço, insira um valor descritivo para o Nome da conta de serviço. Escolha Criar e continuar. A página Conceder à conta de serviço acesso ao projeto é aberta.

  5. Em Selecionar uma função, escolha e BigQuery, em seguida, escolha BigQuery Administrador.

  6. Escolha Adicionar outra função. Em Selecionar uma função, escolha Armazenamento na nuvem e, em seguida, escolha Storage Admin.

  7. Escolha Continuar e, em seguida, escolha Salvar.

  8. Na página Contas de serviço, escolha a conta de serviço que você criou.

  9. Escolha Chaves e, em seguida, escolha Criar nova chave em Adicionar chave.

  10. Selecione JSON e Create (Criar ). Escolha a pasta para salvar sua chave privada ou selecione a pasta padrão para downloads em seu navegador.

Para extrair dados de um BigQuery data warehouse, AWS SCT use a pasta bucket do Google Cloud Storage. Crie esse bucket antes de iniciar a migração de dados. Insira o caminho para sua pasta de bucket do Google Cloud Storage na caixa de diálogo Criar tarefa local. Para obter mais informações, consulte Criando, executando e monitorando uma AWS SCT tarefa.

Conectando-se BigQuery como fonte

Use o procedimento a seguir para se conectar ao seu BigQuery projeto de origem com AWS Schema Conversion Tool o.

Para se conectar a um data warehouse de BigQuery origem

  1. No AWS Schema Conversion Tool, escolha Adicionar fonte.

  2. Escolha BigQuerye, em seguida, escolha Avançar.

    A caixa de diálogo Adicionar origem é exibida.

  3. Em Nome da conexão, insira um nome para seu BigQuery projeto. AWS SCT exibe esse nome na árvore no painel esquerdo.

  4. Em Caminho da chave, insira o caminho para o arquivo de chave da conta de serviço. Para obter mais informações sobre a criação desse arquivo, consulte a Privilégios BigQuery como fonte.

  5. Escolha Testar conexão para verificar se AWS SCT pode se conectar ao seu BigQuery projeto de origem.

  6. Escolha Connect para se conectar ao seu BigQuery projeto de origem.

Limitações no uso BigQuery como fonte para AWS SCT

As seguintes limitações se aplicam ao uso BigQuery como fonte para AWS SCT:

  • AWS SCT não suporta a conversão de subconsultas em funções analíticas.

  • Você não pode usar AWS SCT para converter BigQuery SELECT AS STRUCT SELECT AS VALUE declarações.

  • AWS SCT não suporta a conversão dos seguintes tipos de funções:

    • Agregado aproximado

    • Bit

    • Depuração

    • Consulta federada

    • Geografia

    • Hash

    • Matemáticas

    • Net

    • Agregado estatístico

    • UUID

  • AWS SCT fornece suporte limitado para a conversão de funções de string.

  • AWS SCT não suporta a conversão de UNNEST operadores.

  • Você não pode converter operações de junção correlacionadas em AWS SCT.

  • AWS SCT não suporta a conversão de OFFSET cláusulas QUALIFY WINDOWLIMIT,, e.

  • Você não pode usar AWS SCT para converter expressões de tabela comuns recursivas.

  • AWS SCT não suporta a conversão de INSERT declarações com subconsultas dentro VALUES de cláusulas.

  • AWS SCT não suporta a conversão de UPDATE declarações para campos aninhados e registros repetidos.

  • Você não pode usar AWS SCT para converter STRUCT nem tipos de ARRAY dados.

BigQuery para as configurações de conversão do Amazon Redshift

BigQuery Para editar as configurações de conversão do Amazon Redshift, escolha Configurações em e, em seguida AWS SCT, escolha Configurações de conversão. Na lista superior, escolha Google e BigQuery, em seguida, escolha Google BigQuery — Amazon Redshift. AWS SCT exibe todas as configurações disponíveis para conversão BigQuery para o Amazon Redshift.

BigQuery para as configurações de conversão do Amazon Redshift em AWS SCT Inclua opções para o seguinte:

  • Para limitar o número de comentários com itens de ação no código convertido.

    Em Adicionar comentários no código convertido para os itens de ação de severidade selecionada e superior, escolha a severidade dos itens de ação. AWS SCT adiciona comentários no código convertido para itens de ação da severidade selecionada e superior.

    Por exemplo, para minimizar o número de comentários em seu código convertido, escolha Somente erros. Para incluir comentários para todos os itens de ação em seu código convertido, escolha Todas as mensagens.

  • Para definir o número máximo de tabelas que AWS SCT podem ser aplicadas ao seu cluster de destino do Amazon Redshift.

    Em O número máximo de tabelas para o cluster de destino do Amazon Redshift, escolha o número de tabelas que AWS SCT podem ser aplicadas ao seu cluster do Amazon Redshift.

    O Amazon Redshift tem cotas que limitam as tabelas de uso para diferentes tipos de nós de cluster. Se você escolher Auto, AWS SCT determinará o número de tabelas a serem aplicadas ao seu cluster de destino do Amazon Redshift, dependendo do tipo de nó. Opcionalmente, escolha o valor manualmente. Para obter mais informações, consulte “Cotas e limites no Amazon Redshift” no Guia de gerenciamento de clusters do Amazon Redshift.

    AWS SCT converte todas as suas tabelas de origem, mesmo que isso seja mais do que o seu cluster do Amazon Redshift pode armazenar. AWS SCT armazena o código convertido em seu projeto e não o aplica ao banco de dados de destino. Se você atingir a cota de cluster do Amazon Redshift para as tabelas ao aplicar o código convertido, a AWS SCT exibirá uma mensagem de aviso. Além disso, AWS SCT aplica tabelas ao seu cluster de destino do Amazon Redshift até que o número de tabelas atinja o limite.

  • Para aplicar compactação às colunas da tabela do Amazon Redshift. Para fazer isso, selecione Usar codificação de compressão.

    AWS SCT atribui a codificação de compactação às colunas automaticamente usando o algoritmo padrão do Amazon Redshift. Para obter mais informações, consulte Codificações de compactação no Guia do desenvolvedor de banco de dados do Amazon Redshift.

    Por padrão, o Amazon Redshift não aplica compactação a colunas definidas como chaves de classificação e distribuição. É possível alterar esse comportamento e aplicar compactação a essas colunas. Para fazer isso, selecione Usar codificação de compactação para KEY colunas. Você pode selecionar essa opção somente ao selecionar a opção Usar codificação de compactação.

BigQuery para as configurações de otimização de conversão do Amazon Redshift

BigQuery Para editar as configurações de otimização de conversão do Amazon Redshift, escolha Configurações em e AWS SCT, em seguida, escolha Configurações de conversão. Na lista superior, escolha Google e BigQuery, em seguida, escolha Google BigQuery — Amazon Redshift. No painel esquerdo, escolha Estratégias de otimização. AWS SCT exibe as configurações de otimização de conversão para BigQuery a conversão para o Amazon Redshift.

BigQuery para as configurações de otimização de conversão do Amazon Redshift, AWS SCT inclua opções para o seguinte:

  • Para trabalhar com otimização automática de tabelas. Para fazer isso, selecione Usar o ajuste automático da tabela do Amazon Redshift.

    A otimização automática de tabelas é um processo de autoajuste no Amazon Redshift que otimiza automaticamente o design de tabelas. Para obter mais informações, consulte Como trabalhar com a otimização automática de tabelas no Guia do desenvolvedor do banco de dados Amazon Redshift.

    Para confiar somente na otimização automática da tabela, escolha Nenhuma para a Estratégia inicial de seleção de chave.

  • Para escolher chaves de classificação e distribuição usando sua estratégia.

    Você pode escolher chaves de classificação e distribuição usando metadados, informações estatísticas ou ambas as opções do Amazon Redshift. Para Estratégia inicial de seleção de chave na guia Estratégias de otimização, escolha uma das seguintes opções:

    • Use metadados, ignore informações estatísticas

    • Ignore metadados, use informações estatísticas

    • Use metadados e informações estatísticas

    Dependendo da opção escolhida, você pode selecionar estratégias de otimização. Em seguida, para cada estratégia, insira o valor (0-100). Esses valores definem o peso de cada estratégia. Usando esses valores de peso, a AWS SCT define como cada regra influencia na escolha das chaves de distribuição e classificação. Os valores padrão são baseados nas melhores práticas de AWS migração.

    Você pode definir o tamanho de tabelas pequenas para a estratégia Localizar tabelas pequenas. Em Contagem mínima de linhas da tabela e Contagem máxima de linhas da tabela, insira o número mínimo e máximo de linhas em uma tabela para defini-la como uma tabela pequena. AWS SCT aplica o estilo ALL de distribuição a tabelas pequenas. Nesse caso, uma cópia de toda a tabela é distribuída para cada nó.

  • Para configurar os detalhes da estratégia.

    Além de definir o peso de cada estratégia de otimização, você pode definir as configurações de otimização. Para fazer isso, escolha Otimização de conversões.

    • Em Limite de colunas da chave de classificação, insira o número máximo de colunas na chave de classificação.

    • Em Valor limite distorcido, insira a porcentagem (0—100) de um valor distorcido para uma coluna. AWS SCT exclui colunas com o valor de inclinação maior que o limite da lista de candidatos para a chave de distribuição. AWS SCT define o valor distorcido de uma coluna como a proporção percentual entre o número de ocorrências do valor mais comum e o número total de registros.

    • Para as N principais consultas da tabela do histórico de consultas, insira o número (1-100) das consultas usadas com mais frequência para análise.

    • Em Selecionar usuário de estatísticas, escolha o usuário do banco de dados para o qual você deseja analisar as estatísticas de consulta.

    Além disso, na guia Estratégias de otimização, você pode definir o tamanho das tabelas pequenas para a estratégia Localizar tabelas pequenas. Em Contagem mínima de linhas da tabela e Contagem máxima de linhas da tabela, insira o número mínimo e máximo de linhas em uma tabela para considerá-la como uma tabela pequena. AWS SCT aplica o estilo ALL de distribuição a tabelas pequenas. Nesse caso, uma cópia de toda a tabela é distribuída para cada nó.