Visualizar Integrações ETL zero - Amazon Redshift

Visualizar Integrações ETL zero

É possível visualizar as integrações ETL zero no console do Amazon Redshift. Aqui é possível visualizar as informações de configuração e o status atual, bem como abrir telas para consultar e compartilhar dados.

Amazon Redshift console
Como visualizar os detalhes de uma integração ETL zero

  1. Faça login no AWS Management Console e abra o console do Amazon Redshift em https://console.aws.amazon.com/redshiftv2/.

  2. No painel de navegação à esquerda, escolha o painel Serverless ou Clusters provisionados. Depois, escolha Integrações ETL zero.

  3. Selecione a Integração ETL zero que você deseja visualizar. Para cada integração, as seguintes informações são fornecidas:

    • ID de integração é o identificador retornado quando a integração é criada.

    • Status pode ser um dos seguintes:

      • Active: a integração ETL zero está enviando dados transacionais ao data warehouse do Amazon Redshift.

      • Syncing: a integração ETL zero encontrou um erro recuperável e está reenviando os dados. As tabelas afetadas não estão disponíveis para consulta no Amazon Redshift até que terminem a ressincronização.

      • Failed: a integração ETL zero encontrou um evento ou um erro irrecuperável que não pode ser corrigido. Você precisa excluir e recriar a integração ETL zero.

      • Creating: a integração ETL zero está sendo criada.

      • Deleting: a integração ETL zero está sendo excluída.

      • Needs attention: a integração ETL zero encontrou um evento ou um erro que requer intervenção manual para ser resolvido. Para corrigir o problema, siga as etapas na mensagem de erro.

    • Tipo de origem é o tipo de dados de origem replicados para o destino. Os tipos podem especificar outros gerenciadores de banco de dados, como edição compatível com Aurora MySQL, Amazon Aurora PostgreSQL e RDS para MySQL, bem como origens de aplicações (GlueSAAS).

    • ARN de origem é o ARN dos dados de origem. Para a maioria das origens, trata-se do ARN do banco de dados ou da tabela de origem. Para Integração ETL zero com origens de aplicações, trata-se do ARN do objeto de conexão do AWS Glue.

    • Destino é o namespace do data warehouse do Amazon Redshift que recebe os dados de origem.

    • Banco de dados pode ser um dos seguintes:

      • No database: não há banco de dados de destino para a integração.

      • Creating: o Amazon Redshift está criando o banco de dados de destino para a integração.

      • Active: os dados estão sendo replicados da origem da integração para o Amazon Redshift.

      • Error: há um erro na integração.

      • Recovering: a integração está se recuperando após a reinicialização do data warehouse.

      • Resyncing: o Amazon Redshift está ressincronizando as tabelas na integração.

    • Tipo de destino é o tipo de data warehouse do Amazon Redshift.

    • Data de criação é a data e a hora (UTC) quando a integração foi criada.

nota

Para exibir detalhes da integração de um data warehouse, escolha a página de detalhes do cluster provisionado ou do namespace sem servidor e, em seguida, escolha a guia Integrações ETL zero.

Na lista Integrações ETL zero, é possível escolher Consultar Dados para ir até o editor de consultas do Amazon Redshift v2. O banco de dados de destino do Amazon Redshift tem o parâmetro enable_case_sensitive_identifier habilitado. Ao escrever SQL, talvez você precise colocar esquemas, tabelas e nomes de coluna entre aspas duplas ("<name>"). Para obter mais informações sobre como consultar dados no data warehouse do Amazon Redshift, consulte Consultar um banco de dados usando o Editor de Consultas V2.

Na lista Integrações ETL zero, é possível escolher Compartilhar dados para criar uma unidade de compartilhamento de dados. Para criar uma unidade de compartilhamento de dados para o banco de dados do Amazon Redshift, siga as instruções na página Criar compartilhamento de dados. Para compartilhar dados no banco de dados do Amazon Redshift, você deve primeiramente criar um banco de dados de destino. Para obter mais informações sobre compartilhamento de dados, consulte Data sharing concepts for Amazon Redshift.

Para atualizar a integração, é possível usar o comando ALTER DATABASE. Isso replica todos os dados da fonte de integração para o banco de dados de destino. O exemplo a seguir atualiza todas as tabelas sincronizadas e com falha na integração ETL zero.

ALTER DATABASE sample_integration_db INTEGRATION REFRESH ALL tables;
AWS CLI

Para descrever uma integração ETL zero do Amazon DynamoDB com o Amazon Redshift usando a AWS CLI, use o comando describe-integrations com as seguintes opções:

  • integration-arn: especifique o ARN da integração do DynamoDB a ser descrito.

  • integration-name: especifique um filtro opcional que especifique um ou mais recursos a serem retornados.

O exemplo a seguir descreve uma integração fornecendo o respectivo ARN.

aws redshift describe-integrations
                 
{
    "Integrations": [
        {
            "Status": "failed", 
            "IntegrationArn": "arn:aws:redshift:us-east-1:123456789012:integration:a1b2c3d4-5678-90ab-cdef-EXAMPLE11111", 
            "Errors": [
                {
                    "ErrorCode": "INVALID_TABLE_PERMISSIONS", 
                    "ErrorMessage": "Redshift does not have sufficient access on the table key. Refer to the Amazon DynamoDB Developer Guide."
                }
            ], 
            "Tags": [], 
            "CreateTime": "2023-11-09T00:32:46.444Z", 
            "KMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a1b2c3d4-5678-90ab-cdef-EXAMPLE33333", 
            "TargetArn": "arn:aws:redshift:us-east-1:123456789012:namespace:a1b2c3d4-5678-90ab-cdef-EXAMPLE22222", 
            "IntegrationName": "ddb-to-provisioned-02", 
            "SourceArn": "arn:aws:dynamodb:us-east-1:123456789012:table/mytable"
        }
    ]
}

Você também pode filtrar os resultados de describe-integrations por integration-arn, source-arn, source-types ou status. Consulte mais informações em describe-integrations no Guia de CLI do Amazon Redshift.