Utilizzo dei sistemi di controllo delle versioni Git in AWS Glue

Integrazione con i sistemi di controllo delle versioni Git AWS CodeCommit, come, GitHub GitLab, e Bitbucket

Modifica i processi AWS Glue in AWS Glue Studio indipendentemente dal fatto che utilizzi processi visivi o processi di script e li sincronizzi con un repository

Parametrizza le origini e le destinazioni nei processi

Estrai i processi da un repository e modificali in AWS Glue Studio

Testa i processi estraendoli dai rami e/o inviandoli verso i rami utilizzando flussi di lavoro multiramo in AWS Glue Studio

Scarica file da un repository e carica processi in AWS Glue Studio per la creazione di processi tra account

Usa lo strumento di automazione che preferisci (ad esempio, Jenkins AWS CodeDeploy, ecc.)

AWSGlueServiceRole

AWSGlueConsoleFullAccess

glue:UpdateJobFromSourceControl — essere in grado di aggiornare AWS Glue con un processo presente in un sistema di controllo delle versioni

glue:UpdateSourceControlFromJob — essere in grado di aggiornare il sistema di controllo delle versioni con un processo archiviato in AWS Glue

s3:GetObject — essere in grado di recuperare lo script per il processo mentre si invia al sistema di controllo delle versioni

s3:PutObject — essere in grado di aggiornare lo script quando si estrae un processo da un sistema di controllo dell'origine

un repository che è già stato creato dall'amministratore

un ramo nel repository

un token di accesso personale (per Bitbucket, questo è il Repository Access Token)

il nome utente del proprietario del repository

impostare le autorizzazioni nel repository per consentire ad AWS Glue Studio la lettura e la scrittura nel repository

sono necessari una cartella e un file JSON della definizione del processo che corrisponda al nome del processo

Ad esempio, vedi la definizione del processo di seguito. Il ramo nel repository dovrebbe contenere un percorso my-visual-job/my-visual-job.json dove sia la cartella che il file JSON corrispondono al nome del processo

{
  "name" : "my-visual-job",
  "description" : "",
  "role" : "arn:aws:iam::aws_account_id:role/Rolename",
  "command" : {
    "name" : "glueetl",
    "scriptLocation" : "s3://foldername/scripts/my-visual-job.py",
    "pythonVersion" : "3"
  },
  "codeGenConfigurationNodes" : "{\"node-nodeID\":{\"S3CsvSource\":{\"AdditionalOptions\":{\"EnableSamplePath\":false,\"SamplePath\":\"s3://notebook-test-input/netflix_titles.csv\"},\"Escaper\":\"\",\"Exclusions\":[],\"Name\":\"Amazon S3\",\"OptimizePerformance\":false,\"OutputSchemas\":[{\"Columns\":[{\"Name\":\"show_id\",\"Type\":\"string\"},{\"Name\":\"type\",\"Type\":\"string\"},{\"Name\":\"title\",\"Type\":\"choice\"},{\"Name\":\"director\",\"Type\":\"string\"},{\"Name\":\"cast\",\"Type\":\"string\"},{\"Name\":\"country\",\"Type\":\"string\"},{\"Name\":\"date_added\",\"Type\":\"string\"},{\"Name\":\"release_year\",\"Type\":\"bigint\"},{\"Name\":\"rating\",\"Type\":\"string\"},{\"Name\":\"duration\",\"Type\":\"string\"},{\"Name\":\"listed_in\",\"Type\":\"string\"},{\"Name\":\"description\",\"Type\":\"string\"}]}],\"Paths\":[\"s3://dalamgir-notebook-test-input/netflix_titles.csv\"],\"QuoteChar\":\"quote\",\"Recurse\":true,\"Separator\":\"comma\",\"WithHeader\":true}}}"
}            
          

hai bisogno di una cartella, un file JSON con la definizione del processo e lo script

la cartella e il file JSON devono corrispondere al nome del processo. Il nome dello script deve corrispondere alla scriptLocation nella definizione del processo insieme all'estensione del file

Ad esempio, nella definizione del processo riportata di seguito, il ramo nel repository deve contenere un percorso my-script-job/my-script-job.json e my-script-job/my-script-job.py. Il nome dello script deve corrispondere al nome nella scriptLocation inclusa l'estensione dello script

{
  "name" : "my-script-job",
  "description" : "",
  "role" : "arn:aws:iam::aws_account_id:role/Rolename",
  "command" : {
    "name" : "glueetl",
    "scriptLocation" : "s3://foldername/scripts/my-script-job.py",
    "pythonVersion" : "3"
  }
}            
          

AWS Glueattualmente non supporta la pressione o l'estrazione da -Groups. GitLab