Acessar parâmetros usando getResolvedOptions - AWS Glue

Acessar parâmetros usando getResolvedOptions

A função do utilitário AWS Glue getResolvedOptions(args, options) concede a você acesso aos argumentos transmitidos ​​para o seu script quando você executa um trabalho. Para usar essa função, comece importando-a do módulo utils do AWS Glue junto com o sys:

import sys
from awsglue.utils import getResolvedOptions
getResolvedOptions(args, options)

  • args – A lista de argumentos contida em sys.argv.

  • options – Uma matriz Python dos nomes de argumentos que você quer recuperar.

exemplo Recuperar argumentos transmitidos para um JobRun

Suponha que você tenha criado um JobRun em um script, talvez dentro de uma função do Lambda:

response = client.start_job_run(
             JobName = 'my_test_Job',
             Arguments = {
               '--day_partition_key':   'partition_0',
               '--hour_partition_key':  'partition_1',
               '--day_partition_value':  day_partition_value,
               '--hour_partition_value': hour_partition_value } )

Para recuperar os argumentos transmitidos, você pode usar a função getResolvedOptions, da seguinte maneira:

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv,
                          ['JOB_NAME',
                           'day_partition_key',
                           'hour_partition_key',
                           'day_partition_value',
                           'hour_partition_value'])
print "The day-partition key is: ", args['day_partition_key']
print "and the day-partition value is: ", args['day_partition_value']

Observe que cada um dos argumentos são definidos como começando com dois hifens e, então, referenciados no script sem os hifens. Os argumentos usam apenas sublinhados, não hífens. Seus argumentos precisam seguir essa convenção para serem resolvidos.