Rivedi IAM le autorizzazioni necessarie per i lavori ETL - AWS Glue
Autorizzazioni origine dati e destinazione datiAutorizzazioni necessarie per l'eliminazione dei processiAWS Key Management Service autorizzazioniAutorizzazioni richieste per l'utilizzo dei connettori

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Rivedi IAM le autorizzazioni necessarie per i lavori ETL

Quando crei un lavoro utilizzando AWS Glue Studio, il lavoro presuppone le autorizzazioni del IAM ruolo specificato al momento della creazione. Questo IAM ruolo deve disporre dell'autorizzazione per estrarre dati dall'origine dati, scrivere dati sulla destinazione e accedere alle AWS Glue risorse.

Il nome del ruolo creato per il lavoro deve iniziare con la stringa AWSGlueServiceRole affinché venga utilizzato correttamente da AWS Glue Studio. Ad esempio, potresti dare un nome al tuo ruoloAWSGlueServiceRole-FlightDataJob.

Autorizzazioni origine dati e destinazione dati

Un record AWS Glue Studio job deve avere accesso ad Amazon S3 per tutte le fonti, le destinazioni, gli script e le directory temporanee che utilizzi nel tuo lavoro. Puoi creare una policy per fornire un accesso granulare a risorse Amazon S3 specifiche.

  • Le origini dati richiedono le autorizzazioni s3:ListBucket e s3:GetObject.

  • Le destinazioni dati richiedono le autorizzazioni s3:ListBucket, s3:PutObject e s3:DeleteObject.

Nota

La tua IAM policy deve tenere conto dei bucket specifici utilizzati s3:GetObject per ospitare le trasformazioni. AWS Glue

I seguenti bucket sono di proprietà dell'account del AWS servizio e sono leggibili in tutto il mondo. Questi bucket fungono da archivio per il codice sorgente pertinente a un sottoinsieme di trasformazioni accessibili tramite l'editor visuale. AWS Glue Studio Le autorizzazioni sul bucket sono impostate per negare qualsiasi altra azione sul bucket. API Chiunque può leggere gli script che forniamo per le trasformazioni, ma nessuno al di fuori del nostro team di assistenza può «inserirvi» nulla. Quando il AWS Glue processo viene eseguito, il file viene importato in locale in modo che venga scaricato nel contenitore locale. Dopodiché, non ci sono ulteriori comunicazioni con quell'account.

Regione: nome del bucket

  • af-south-1: -762339736633- aws-glue-studio-transforms -1 prod-af-south

  • ap-east-1: -125979764932- aws-glue-studio-transforms -1 prod-ap-east

  • ap-northeast-2: -673535381443- -2 aws-glue-studio-transforms prod-ap-northeast

  • ap-northeast-3: -149976050262- -3 aws-glue-studio-transforms prod-ap-northeast

  • ap-south-1: -584702181950- aws-glue-studio-transforms -1 prod-ap-south

  • ap-south-2: -380279651983- aws-glue-studio-transforms -2 prod-ap-south

  • ap-southeast-1: -737106620487- -1 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-2: -234881715811- -2 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-3: -151265630221- -3 aws-glue-studio-transforms prod-ap-southeast

  • ap-southeast-4: -052235663858- -4 aws-glue-studio-transforms prod-ap-southeast

  • ca-central-1: -622716468547- -1 aws-glue-studio-transforms prod-ca-central

  • ca-west-1: -915795495192- aws-glue-studio-transforms -1 prod-ca-west

  • aws-glue-studio-transformseu-central-1: -560373232017- -1 prod-eu-central

  • aws-glue-studio-transformseu-central-2: -907358657121- -2 prod-eu-central

  • eu-north-1: -312557305497- -1 aws-glue-studio-transforms prod-eu-north

  • eu-south-1: -939684186351- -1 aws-glue-studio-transforms prod-eu-south

  • eu-south-2: -239737454084- -2 aws-glue-studio-transforms prod-eu-south

  • eu-west-1: -244479516193- -1 aws-glue-studio-transforms prod-eu-west

  • eu-west-2: -804222392271- -2 aws-glue-studio-transforms prod-eu-west

  • eu-west-3: -371299348807- -3 aws-glue-studio-transforms prod-eu-west

  • il-central-1: -806964611811- -1 aws-glue-studio-transforms prod-il-central

  • me-central-1: -733304270342- -1 aws-glue-studio-transforms prod-me-central

  • me-south-1: -112120182341- aws-glue-studio-transforms -1 prod-me-south

  • sa-east-1: -881619130292- aws-glue-studio-transforms -1 prod-sa-east

  • us-east-1: -510798373988- -1 aws-glue-studio-transforms prod-us-east

  • us-east-2: -251189692203- -2 aws-glue-studio-transforms prod-us-east

  • us-west-1: -593230150239- -1 aws-glue-studio-transforms prod-us-west

  • us-west-2: -818035625594- -2 aws-glue-studio-transforms prod-us-west

  • ap-northeast-1: -200493242866- -1 aws-glue-studio-transforms prod-ap-northeast

  • cn-nord-1: aws-glue-studio-transforms -071033555442- -1 prod-cn-north

  • cn-nord-ovest-1: aws-glue-studio-transforms -070947029561- -1 prod-cn-northwest

  • us-gov-west-1: aws-glue-studio-transforms -227493901923- -1-2604 prod-us-gov-west

Se scegli Amazon Redshift come origine dati, puoi assegnare un ruolo per le autorizzazioni del cluster. I lavori eseguiti su un Amazon Redshift cluster emettono comandi che accedono ad Amazon S3 per lo storage temporaneo utilizzando credenziali temporanee. Se il processo viene eseguito per più di un'ora, queste credenziali scadranno causando l'esito negativo del processo. Per evitare questo problema, puoi assegnare un ruolo al cluster Amazon Redshift stesso che concede le autorizzazioni necessarie ai processi utilizzando le credenziali temporanee. Per ulteriori informazioni, consulta Spostamento di dati da e verso Amazon Redshift nella Guida per gli sviluppatori di AWS Glue .

Se il job utilizza fonti o destinazioni di dati diverse da Amazon S3, devi assegnare le autorizzazioni necessarie al IAM ruolo utilizzato dal job per accedere a queste fonti e destinazioni di dati. Per ulteriori informazioni, consulta Impostazione dell'ambiente per accedere a archivio dati nella Guida per gli sviluppatori di AWS Glue .

Se si utilizzano connettori e connessioni per l'archivio dati, è necessario disporre di autorizzazioni aggiuntive, come descritto in Autorizzazioni richieste per l'utilizzo dei connettori.

Autorizzazioni necessarie per l'eliminazione dei processi

In AWS Glue Studio puoi selezionare più lavori nella console da eliminare. Per eseguire questa azione, è necessario disporre delle autorizzazioni glue:BatchDeleteJob. Questo è diverso dal AWS Glue console, che richiede l'glue:DeleteJobautorizzazione per l'eliminazione dei lavori.

AWS Key Management Service autorizzazioni

Se prevedi di accedere a sorgenti e destinazioni Amazon S3 che utilizzano la crittografia lato server con AWS Key Management Service (AWS KMS), allega una policy al AWS Glue Studio ruolo utilizzato dal job che consente al job di decrittografare i dati. Il ruolo del processo necessita delle autorizzazioni kms:ReEncrypt, kms:GenerateDataKey e kms:DescribeKey. Inoltre, il ruolo professionale richiede l'kms:Decryptautorizzazione per caricare o scaricare un oggetto Amazon S3 crittografato con una chiave master AWS KMS del cliente ()CMK.

Sono previsti costi aggiuntivi per l'utilizzo AWS KMS CMKs. Per ulteriori informazioni, consulta AWS Key Management Service Concepts - Customer Master Keys (CMKs) and AWS Key Management Service Pricing nella AWS Key Management Service Developer Guide.

Autorizzazioni richieste per l'utilizzo dei connettori

Se stai usando un AWS Glue Connettore personalizzato e connessione per accedere a un data store, il ruolo utilizzato per eseguire il AWS Glue ETLil lavoro richiede autorizzazioni aggiuntive allegate:

  • La politica AWS gestita AmazonEC2ContainerRegistryReadOnly per l'accesso ai connettori acquistati da Marketplace AWS.

  • Le autorizzazioni glue:GetJob e glue:GetJobs.

  • AWS Secrets Manager autorizzazioni per l'accesso ai segreti utilizzati con le connessioni. Fare riferimento a Esempio: autorizzazione a recuperare valori segreti, ad esempio IAM le politiche.

Se le ricette di AWS Glue ETLil job viene eseguito all'interno di un Amazon VPC in esecuzioneVPC, quindi VPC deve essere configurato come descritto inConfigurazione di un VPC per il tuo processo ETL.