Conexões do Snowflake

Você pode usar o AWS Glue para Spark para ler e gravar em tabelas no Snowflake no AWS Glue 4.0 e versões posteriores. Você pode ler no Snowflake com uma consulta SQL. Você pode se conectar ao Snowflake usando um usuário e uma senha. Você pode consultar as credenciais do Snowflake armazenadas no AWS Secrets Manager por meio do catálogo de dados do AWS Glue . As credenciais do Snowflake do catálogo de dados do AWS Glue para Spark são armazenadas separadamente das credenciais do Snowflake do catálogo de dados para crawlers. Você deve escolher um tipo de conexão do SNOWFLAKE e não um tipo de conexão JDBC configurada para se conectar ao Snowflake.

Para obter mais informações sobre o Snowflake, consulte o site do Snowflake. Para obter mais informações sobre o Snowflake na AWS, consulte Snowflake Data Warehouse na Amazon Web Services.

Configurar conexões do Snowflake

Não há pré-requisitos da AWS para se conectar aos fluxos do Snowflake disponíveis pela Internet.

Opcionalmente, você pode realizar a seguinte configuração para gerenciar suas credenciais de conexão com o AWS Glue.

Nas seguintes situações, você pode precisar do seguinte:

Ler das tabelas do Snowflake

Pré-requisitos: uma tabela do Snowflake que você gostaria de ler. Você precisará do nome da tabela Snowflake, tableName. Você precisará da URL do Snowflake, snowflakeUrl, do nome de usuário snowflakeUser e da senha snowflakePassword. Se o usuário do Snowflake não tiver um namespace padrão definido, você precisará do nome do banco de dados do Snowflake databaseName e do nome do esquema schemaName. Além disso, se o usuário do Snowflake não tiver um armazém padrão definido, você precisará de um nome de armazém warehouseName.

Por exemplo:

Pré-requisitos adicionais: conclua as etapas de Para gerenciar suas credenciais de conexão com o AWS Glue para configurar snowflakeURL, snowflakeUsername e snowflakePassword. Para revisar essas etapas, consulte Configurar conexões do Snowflake na seção anterior. Para selecionar com qual conexão de rede adicional se conectar, usaremos o parâmetro connectionName.

snowflake_read = glueContext.create_dynamic_frame.from_options(
  connection_type="snowflake",
  connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Além disso, você pode usar os parâmetros autopushdown e query para ler uma parte de uma tabela do Snowflake. Isso pode ser substancialmente mais eficiente do que filtrar os resultados depois de serem carregados no Spark. Considere um exemplo em que todas as vendas são armazenadas na mesma tabela, mas você só precisa analisar as vendas de uma determinada loja nos feriados. Se essas informações estiverem armazenadas na tabela, você poderá usar pushdown de predicado para recuperar os resultados da seguinte forma:

snowflake_node = glueContext.create_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "autopushdown": "on",
        "query": "select * from sales where store='1' and IsHoliday='TRUE'",
        "connectionName": "snowflake-glue-conn",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    }
)

Gravar em tabelas do Snowflake

Pré-requisitos: um banco de dados do Snowflake no qual você deseja gravar. Você precisará de um nome de tabela atual ou desejado, tableName. Você precisará da URL do Snowflake, snowflakeUrl, do nome de usuário snowflakeUser e da senha snowflakePassword. Se o usuário do Snowflake não tiver um namespace padrão definido, você precisará do nome do banco de dados do Snowflake databaseName e do nome do esquema schemaName. Além disso, se o usuário do Snowflake não tiver um armazém padrão definido, você precisará de um nome de armazém warehouseName.

Por exemplo:

Pré-requisitos adicionais: conclua as etapas de Para gerenciar suas credenciais de conexão com o AWS Glue para configurar snowflakeURL, snowflakeUsername e snowflakePassword. Para revisar essas etapas, consulte Configurar conexões do Snowflake na seção anterior. Para selecionar com qual conexão de rede adicional se conectar, usaremos o parâmetro connectionName.

glueContext.write_dynamic_frame.from_options(
    connection_type="snowflake",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableName",
        "sfDatabase": "databaseName",
        "sfSchema": "schemaName",
        "sfWarehouse": "warehouseName",
    },
)

Referência de opções de conexão do Snowflake

O tipo de conexão do Snowflake usa as seguintes opções de conexão:

Você pode recuperar alguns dos parâmetros desta seção de uma conexão do catálogo de dados (sfUrl, sfUser, sfPassword) e, nesse caso, não será necessário fornecê-los. É possível fazer isso fornecendo o parâmetro connectionName.

Você pode recuperar alguns dos parâmetros desta seção de um segredo dos AWS Secrets Manager (sfUser, sfPassword) e, nesse caso, não será necessário fornecê-los. O segredo deve fornecer o conteúdo protegido com as chaves sfUser e sfPassword. É possível fazer isso fornecendo o parâmetro secretId.

Os parâmetros a seguir geralmente são usados ao se conectar com o Snowflake.

As opções a seguir são usadas para configurar comportamentos específicos durante o processo de conexão com o Snowflake.

Além disso, algumas das opções disponíveis no conector do Snowflake Spark podem ser compatíveis com o AWS Glue. Para obter mais informações sobre as opções disponíveis no conector do Snowflake Spark, consulte Setting Configuration Options for the Connector no Snowflake.

Limitações do conector do Snowflake

A conexão com o Snowflake com o AWS Glue para Spark está sujeita às limitações a seguir.