Conector IBM Db2 AS/400 (Db2 iSeries) para Amazon Athena - Amazon Athena
Pré-requisitosLimitaçõesTermosParâmetrosSuporte ao tipo de dadosPartições e divisõesPerformanceConsultas de passagemInformações de licençaRecursos adicionais

Conector IBM Db2 AS/400 (Db2 iSeries) para Amazon Athena

O conector do Amazon Athena para Db2 AS/400 habilita o Amazon Athena a executar consultas SQL em seus bancos de dados IBM Db2 AS/400 (Db2 iSeries) usando o JDBC.

Pré-requisitos

Limitações

  • Não há suporte para operações de gravação de DDL.

  • Em uma configuração de multiplexador, o prefixo e o bucket de derramamento são compartilhados em todas as instâncias do banco de dados.

  • Quaisquer limites relevantes do Lambda. Para obter mais informações, consulte Cotas do Lambda no Guia do desenvolvedor do AWS Lambda.

  • Em condições de filtro, você deve converter os tipos de dados date e timestamp para os tipos de dados apropriados.

Termos

Os termos a seguir estão relacionados ao conector Db2 AS/400.

  • Instância do banco de dados: qualquer instância de um banco de dados implantado on-premises, no Amazon EC2 ou no Amazon RDS.

  • Manipulador: um manipulador Lambda que acessa sua instância de banco de dados. Um manipulador pode ser para metadados ou para registros de dados.

  • Manipulador de metadados: um manipulador Lambda que recupera metadados da sua instância de banco de dados.

  • Manipulador de registros: um manipulador Lambda que recupera registros de dados da sua instância de banco de dados.

  • Manipulador composto: um manipulador Lambda que recupera tanto metadados quanto registros de dados da sua instância de banco de dados.

  • Propriedade ou parâmetro: uma propriedade do banco de dados usada pelos manipuladores para extrair informações do banco de dados. Você configura essas propriedades como variáveis de ambiente do Lambda.

  • String de conexão: uma string de texto usada para estabelecer uma conexão com uma instância de banco de dados.

  • Catálogo: um catálogo não AWS Glue registrado no Athena que é um prefixo obrigatório para a propriedade connection_string.

  • Manipulador de multiplexação: um manipulador Lambda que pode aceitar e usar várias conexões de banco de dados.

Parâmetros

Use as variáveis de ambiente do Lambda apresentadas nesta seção para configurar o conector Db2 AS/400.

String de conexão

Use uma string de conexão JDBC no seguinte formato para se conectar a uma instância de banco de dados.

db2as400://${jdbc_connection_string}

Uso de um manipulador de multiplexação

É possível usar um multiplexador para se conectar a várias instâncias de banco de dados com uma única função do Lambda. As solicitações são encaminhadas por nome do catálogo. Use as seguintes classes no Lambda.

Manipulador Classe
Manipulador composto Db2MuxCompositeHandler
Manipulador de metadados Db2MuxMetadataHandler
Manipulador de registros Db2MuxRecordHandler

Parâmetros do manipulador de multiplexação

Parâmetro Descrição
$catalog_connection_string Obrigatório. Uma string de conexão de instância de banco de dados. Prefixe a variável de ambiente com o nome do catálogo usado no Athena. Por exemplo, se o catálogo registrado no Athena for mydb2as400catalog, então o nome da variável de ambiente será mydb2as400catalog_connection_string.
default Obrigatório. A string de conexão padrão. Essa string é usada quando o catálogo for lambda:${AWS_LAMBDA_FUNCTION_NAME}.

As propriedades exemplificadas a seguir são para uma função MUX do Lambda para o Db2 compatível com duas instâncias de banco de dados: db2as4001 (o padrão) e db2as4002.

Propriedade Valor
default db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret name>};
db2as400_catalog1_connection_string db2as400://jdbc:as400://db2as4001.hostname/:${secret1_name}
db2as400_catalog2_connection_string db2as400://jdbc:as400://db2as4002.hostname/:${secret2_name}
db2as400_catalog3_connection_string db2as400://jdbc:as400://<ip_address>;user=<username>;password=<password>;<properties>;

Fornecimento de credenciais

Para fornecer um nome de usuário e uma senha para seu banco de dados na string de conexão JDBC, é possível usar as propriedades da string de conexão ou o AWS Secrets Manager.

  • String de conexão: um nome de usuário e uma senha podem ser especificados como propriedades na string de conexão do JDBC.

    Importante

    Como prática recomendada de segurança, não use credenciais codificadas em suas variáveis de ambiente ou strings de conexão. Para obter informações sobre como mover seus segredos codificados para o AWS Secrets Manager, consulte Mover segredos codificados para o AWS Secrets Manager no Guia do usuário do AWS Secrets Manager.

  • AWS Secrets Manager: para usar o recurso Athena Federated Query com o AWS Secrets Manager, a VPC conectada à sua função do Lambda deve ter acesso à Internet ou um endpoint da VPC para se conectar ao Secrets Manager.

    É possível colocar o nome de um segredo no AWS Secrets Manager na sua string de conexão JDBC. O conector substitui o nome secreto pelos valores de username e password do Secrets Manager.

    Para instâncias de banco de dados do Amazon RDS, esse suporte é totalmente integrado. Se você usa o Amazon RDS, é altamente recomendável usar o AWS Secrets Manager e rotação de credenciais. Se seu banco de dados não usar o Amazon RDS, armazene as credenciais em JSON no seguinte formato:

    {"username": "${username}", "password": "${password}"}
Exemplo de string de conexão com nome secreto

A string a seguir tem o nome secreto ${secret_name}.

db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret_name>};

O conector usa o nome secreto para recuperar segredos e fornecer o nome de usuário e a senha, como no exemplo a seguir.

db2as400://jdbc:as400://<ip_address>;user=<username>;password=<password>;<properties>;

Uso de um único manipulador de conexão

É possível usar os metadados de conexão única e os manipuladores de registros a seguir para se conectar a uma única instância do Db2 AS/400.

Tipo de manipulador Classe
Manipulador composto Db2CompositeHandler
Manipulador de metadados Db2MetadataHandler
Manipulador de registros Db2RecordHandler

Parâmetros do manipulador de conexão única

Parâmetro Descrição
default Obrigatório. A string de conexão padrão.

Os manipuladores de conexão únicos oferecem suporte a uma instância de banco de dados e devem fornecer um parâmetro de string de conexão default. Todas as outras strings de conexão são ignoradas.

A propriedade exemplificada a seguir é para uma única instância do Db2 AS/400 compatível em uma função do Lambda.

Propriedade Valor
default db2as400://jdbc:as400://<ip_address>;<properties>;:${<secret_name>};

Parâmetros de derramamento

O SDK do Lambda pode derramar dados no Amazon S3. Todas as instâncias do banco de dados acessadas pela mesma função do Lambda derramam no mesmo local.

Parâmetro Descrição
spill_bucket Obrigatório. Nome do bucket de derramamento.
spill_prefix Obrigatório. Prefixo de chave do bucket de derramamento.
spill_put_request_headers (Opcional) Um mapa codificado em JSON de cabeçalhos e valores de solicitações para a solicitação putObject do Amazon S3 usada para o derramamento (por exemplo, {"x-amz-server-side-encryption" : "AES256"}). Para outros cabeçalhos possíveis, consulte PutObject na Referência da API do Amazon Simple Storage Service.

Suporte ao tipo de dados

A tabela a seguir mostra os correspondentes tipos de dados do JDBC e do Apache Arrow.

Db2 AS/400 Arrow
CHAR VARCHAR
VARCHAR VARCHAR
DATA DATEDAY
TIME VARCHAR
TIMESTAMP DATEMILLI
DATETIME DATEMILLI
BOOLEAN BOOL
SMALLINT SMALLINT
INTEGER INT
BIGINT BIGINT
DECIMAL DECIMAL
REAL FLOAT8
DOUBLE FLOAT8
DECFLOAT FLOAT8

Partições e divisões

Uma partição é representada por uma ou mais colunas de partição do tipo varchar. O conector Db2 AS/400 cria partições usando os esquemas de organização a seguir.

  • Distribuir por hash

  • Particionar por intervalo

  • Organizar por dimensões

O conector recupera detalhes da partição, como o número de partições e o nome da coluna, de uma ou mais tabelas de metadados do Db2 AS/400. As divisões são criadas com base no número de partições identificadas.

Performance

Para melhorar o desempenho, use o pushdown de predicados para consultar o Athena, como nos exemplos a seguir.

SELECT * FROM "lambda:<LAMBDA_NAME>"."<SCHEMA_NAME>"."<TABLE_NAME>" 
 WHERE integercol = 2147483647
SELECT * FROM "lambda: <LAMBDA_NAME>"."<SCHEMA_NAME>"."<TABLE_NAME>" 
 WHERE timestampcol >= TIMESTAMP '2018-03-25 07:30:58.878'

Consultas de passagem

O conector Db2 AS/400 é compatível com consultas de passagem. As consultas de passagem usam uma função de tabela para enviar sua consulta completa para execução na fonte de dados.

Para usar consultas de passagem com o Db2 AS/400, você pode empregar a seguinte sintaxe:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

O exemplo de consulta a seguir envia uma consulta para uma fonte de dados no Db2 AS/400. A consulta seleciona todas as colunas na tabela customer, limitando os resultados a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informações de licença

Ao usar esse conector, você reconhece a inclusão de componentes de terceiros, cuja lista pode ser encontrada no arquivo pom.xml desse conector, e concorda com os termos das respectivas licenças de terceiros fornecidas no arquivo LICENSE.txt em GitHub.com.

Recursos adicionais

Para obter as informações mais recentes sobre a versão do driver JDBC, consulte o arquivo pom.xml para o conector Db2 AS/400 em GitHub.com.

Para obter mais informações sobre esse conector, visite o site correspondente em GitHub.com.