O AWS Glue Studio permite que você parametrize trabalhos visuais. Como os nomes das tabelas de catálogo no ambiente de produção e desenvolvimento podem ser diferentes, você pode definir e selecionar parâmetros de runtime para bancos de dados e tabelas que serão executados quando seu trabalho for executado.
A parametrização de trabalhos permite parametrizar origens e destinos e salvar estes parâmetros no trabalho ao usar o nó do AWS Glue Data Catalog. Ao especificar origens e destinos como parâmetros, você está permitindo a reutilização de trabalhos, principalmente quando usa o mesmo trabalho em vários ambientes. Isso é útil para promover código em ambientes de implantação, economizando tempo e esforços no gerenciamento das suas origens e dos seus destinos. Além disso, os parâmetros personalizados que você especificar substituirão os argumentos padrão para execuções específicas de trabalhos do AWS Glue.
Para adicionar parâmetros de origem e destino
Se você estiver usando o nó do AWS Glue Data Catalog como origem ou destino, poderá definir parâmetros de runtime na seção Advanced properties (Propriedades avançadas) na guia Job details (Detalhes do trabalho).
-
Escolha o nó do AWS Glue Data Catalog como nó de origem ou nó de destino.
-
Escolha a guia Job details (Detalhes do trabalho).
-
Escolha Advanced properties (Propriedades avançadas).
-
Na seção Job parameters (Parâmetros do trabalho), insira um valor de chave. Por exemplo,
--db.source
seria o parâmetro para uma origem de banco de dados. Você pode inserir qualquer nome para a chave, desde que o nome da chave seja seguido pelo “traço traço”. -
Insira o valor. Por exemplo,
databasename
seria o valor para um banco de dados sendo parametrizado. -
Escolha Add new parameter (Adicionar novo parâmetro) se quiser adicionar parâmetros. O máximo de 50 parâmetros é permitido. Depois que o par de chave-valor tiver sido definido, você poderá usar o parâmetro no nó do AWS Glue Data Catalog.
Para selecionar um parâmetro de runtime
nota
O processo para selecionar parâmetros de runtime para bancos de dados e tabelas é o mesmo, não importando se o nó do AWS Glue Data Catalog é a origem ou o destino.
-
Escolha o nó do AWS Glue Data Catalog como nó de origem ou nó de destino.
-
Na guia Data source properties - Data Catalog (Propriedades da fonte de dados - Data Catalog) em Database (Banco de dados), escolha Use runtime parameters (Usar parâmetros de runtime).
-
No menu suspenso, escolha um parâmetro. Por exemplo, quando você selecionar um parâmetro definido para um banco de dados de origem, o banco de dados será preenchido automaticamente no menu suspenso de banco de dados quando você escolher Apply (Aplicar).
-
Na seção Table (Tabela), escolha um parâmetro que você já definiu como tabela de origem. Quando você escolhe Apply (Aplicar), a tabela é automaticamente preenchida como a tabela a ser usada.
-
Quando você salvar e executar o trabalho, o AWS Glue Studio fará referência aos parâmetros selecionados durante a execução do trabalho.