Conector do Amazon Athena para o Cloudera Impala

O conector do Amazon Athena para o Cloudera Impala permite que o Athena execute consultas SQL na distribuição do Cloudera Impala. O conector transforma suas consultas SQL do Athena na sintaxe equivalente do Impala.

Esse conector não usa o Glue Connections para centralizar as propriedades de configuração no Glue. A configuração da conexão é feita por meio do Lambda.

Pré-requisitos

Limitações

Termos

Os termos a seguir estão relacionados ao conector Cloudera Impala.

Parâmetros

Use os parâmetros nesta seção para configurar o conector do Cloudera Impala.

String de conexão

Use uma string de conexão JDBC no formato a seguir para se conectar a um cluster do Impala.

impala://${jdbc_connection_string}

Uso de um manipulador de multiplexação

É possível usar um multiplexador para se conectar a várias instâncias de banco de dados com uma única função do Lambda. As solicitações são encaminhadas por nome do catálogo. Use as seguintes classes no Lambda.

Parâmetros do manipulador de multiplexação

As propriedades de exemplo a seguir são para uma função do Lambda MUX do Impala que ofereça suporte a duas instâncias de banco de dados: impala1 (o padrão) e impala2.

Fornecimento de credenciais

Para fornecer um nome de usuário e uma senha para seu banco de dados na string de conexão JDBC, é possível usar as propriedades da string de conexão ou o AWS Secrets Manager.

Exemplo de string de conexão com nome secreto

A string a seguir tem o nome secreto ${Test/impala1host}.

impala://jdbc:impala://Impala1host:21050/?...&${Test/impala1host}&...

O conector usa o nome secreto para recuperar segredos e fornecer o nome de usuário e a senha, como no exemplo a seguir.

impala://jdbc:impala://Impala1host:21050/?...&UID=sample2&PWD=sample2&...

Atualmente, o Cloudera Impala reconhece as propriedades do JDBC UID e PWD.

Uso de um único manipulador de conexão

É possível usar os seguintes metadados de conexão única e manipuladores de registros para se conectar a uma única instância do Cloudera Impala.

Parâmetros do manipulador de conexão única

Os manipuladores de conexão únicos oferecem suporte a uma instância de banco de dados e devem fornecer um parâmetro de string de conexão default. Todas as outras strings de conexão são ignoradas.

O exemplo de propriedade a seguir é para uma única instância do Cloudera Impala com suporte em uma função do Lambda.

Parâmetros de derramamento

O SDK do Lambda pode derramar dados no Amazon S3. Todas as instâncias do banco de dados acessadas pela mesma função do Lambda derramam no mesmo local.

Suporte ao tipo de dados

A tabela a seguir mostra os correspondentes tipos de dados do JDBC, do Cloudera Impala e do Arrow.

Partições e divisões

As partições são usadas para determinar como gerar divisões para o conector. O Athena constrói uma coluna sintética do tipo varchar que representa o esquema de particionamento da tabela para ajudar o conector a gerar divisões. O conector não modifica a definição real da tabela.

Performance

O Cloudera Impala oferece suporte a partições estáticas. O conector do Athena para o Cloudera Impala pode recuperar dados dessas partições em paralelo. Se você quiser consultar conjuntos de dados muito grandes com distribuição uniforme de partições, o particionamento estático é altamente recomendado. O conector Cloudera Impala é resiliente ao controle de utilização devido à simultaneidade.

O conector do Athena para o Cloudera Impala executa a passagem direta de predicados para diminuir os dados examinados pela consulta. Cláusulas LIMIT, predicados simples e expressões complexas são passados diretamente ao conector para reduzir a quantidade de dados examinados e o runtime de execução da consulta.

Cláusulas LIMIT

Uma instrução LIMIT N reduz os dados examinados pela consulta. Com a passagem direta de LIMIT N, o conector só retorna N linhas para o Athena.

Predicados

Um predicado é uma expressão na cláusula WHERE de uma consulta SQL, que avalia para um valor booleano e filtra as linhas com base em várias condições. O conector do Athena para o Cloudera Impala pode combinar essas expressões e passá-las diretamente ao Cloudera Impala para melhorar a funcionalidade e reduzir a quantidade de dados examinados.

Os seguintes operadores do conector do Athena para o Cloudera Impala são compatíveis com a passagem direta de predicados:

Exemplo de passagem direta combinada

Para ter recursos aprimorados de consulta, combine os tipos de passagem direta, como no seguinte exemplo:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

Consultas de passagem

O conector Cloudera Impala é compatível com consultas de passagem. As consultas de passagem usam uma função de tabela para enviar sua consulta completa para execução na fonte de dados.

Para usar consultas de passagem com o Cloudera Impala, você pode empregar a seguinte sintaxe:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

O exemplo de consulta a seguir envia uma consulta para uma fonte de dados no Cloudera Impala. A consulta seleciona todas as colunas na tabela customer, limitando os resultados a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informações de licença

Ao usar esse conector, você reconhece a inclusão de componentes de terceiros, cuja lista pode ser encontrada no arquivo pom.xml desse conector, e concorda com os termos das respectivas licenças de terceiros fornecidas no arquivo LICENSE.txt em GitHub.com.

Recursos adicionais

Para obter as informações mais recentes sobre a versão do driver JDBC, consulte o arquivo pom.xml do conector Cloudera Impala em GitHub.com.

Para obter mais informações sobre esse conector, visite o site correspondente em GitHub.com.