Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configura EMR CloudFormation i modelli Amazon nel Service Catalog
Questo argomento presuppone che gli amministratori abbiano dimestichezza con AWS CloudFormationi portafogli e i prodotti in esso contenuti AWS Service Catalog, oltre ad Amazon. EMR
Per semplificare la creazione di EMR cluster Amazon da Studio, gli amministratori possono registrare un EMR CloudFormation modello Amazon come prodotto in un AWS Service Catalogportafoglio. Per rendere il modello disponibile ai data scientist, devono associare il portfolio al ruolo di SageMaker esecuzione utilizzato in Studio o Studio Classic. Infine, per consentire agli utenti di scoprire modelli, effettuare il provisioning dei cluster e connettersi ai EMR cluster Amazon da Studio o Studio Classic, gli amministratori devono impostare le autorizzazioni di accesso appropriate.
I EMR AWS CloudFormation modelli Amazon possono consentire agli utenti finali di personalizzare vari aspetti del cluster. Ad esempio, gli amministratori possono definire un elenco approvato di tipi di istanze tra cui gli utenti possono scegliere durante la creazione di un cluster.
Le seguenti istruzioni utilizzano end-to-end CloudFormation gli stack
Nota
Il GitHub repository aws-samples/ sagemaker-studio-emr
L'archivio sagemaker-studio-emr/cloudformation/emr_servicecatalog_templates
Connect a un EMR cluster Amazon da SageMaker Studio o Studio ClassicPer informazioni dettagliate sui metodi di autenticazione che puoi utilizzare per connetterti a un EMR cluster Amazon, consulta.
Per consentire ai data scientist di scoprire i EMR CloudFormation modelli Amazon e il provisioning dei cluster da Studio o Studio Classic, segui questi passaggi.
Passaggio 0: verifica la rete e prepara lo stack CloudFormation
Prima di iniziare:
-
Assicurati di aver esaminato i requisiti di rete e sicurezza inConfigura l'accesso alla rete per il tuo EMR cluster Amazon.
-
È necessario disporre di uno end-to-end CloudFormation stack esistente che supporti il metodo di autenticazione desiderato. Puoi trovare esempi di tali CloudFormation modelli nel repository sagemaker-studio-emr GitHub aws-samples/
. I passaggi seguenti evidenziano le configurazioni specifiche del tuo end-to-end stack per consentire l'uso dei EMR modelli Amazon all'interno di Studio o Studio Classic.
Fase 1: Associare il portafoglio Service Catalog a SageMaker
Nel tuo portafoglio Service Catalog, associa l'ID del tuo portafoglio al ruolo di SageMaker esecuzione che accede al cluster.
A tale scopo, aggiungi la sezione seguente (qui in YAML formato) al tuo stack. Ciò garantisce al ruolo di SageMaker esecuzione l'accesso al portafoglio Service Catalog specificato contenente prodotti come i EMR modelli Amazon. Consente ai ruoli assunti da SageMaker di lanciare tali prodotti.
Replace (Sostituisci) SageMakerExecutionRole.Arn
e SageMakerStudioEMRProductPortfolio.ID
con i loro valori effettivi.
SageMakerStudioEMRProductPortfolioPrincipalAssociation: Type: AWS::ServiceCatalog::PortfolioPrincipalAssociation Properties: PrincipalARN:
SageMakerExecutionRole.Arn
PortfolioId:SageMakerStudioEMRProductPortfolio.ID
PrincipalType: IAM
Per i dettagli sul set di IAM autorizzazioni richiesto, consulta la sezione autorizzazioni.
Fase 2: fare riferimento a un EMR modello Amazon in un prodotto Service Catalog
In un prodotto Service Catalog del tuo portafoglio, fai riferimento a una risorsa EMR modello Amazon e assicurane la visibilità in Studio o Studio Classic.
A tale scopo, fai riferimento alla risorsa EMR modello Amazon nella definizione del prodotto Service Catalog, quindi aggiungi la seguente chiave "sagemaker:studio-visibility:emr"
di tag al valore "true"
(vedi l'esempio in YAML formato).
Nella definizione del prodotto Service Catalog, si fa riferimento al AWS CloudFormation modello del cluster tramiteURL. Il tag aggiuntivo impostato su true garantisce la visibilità dei EMR modelli Amazon in Studio o Studio Classic.
Nota
Il EMR modello Amazon a cui si fa riferimento URL nell'esempio non impone alcun requisito di autenticazione al momento del lancio. Questa opzione è pensata per scopi dimostrativi e di apprendimento. Non è consigliata in un ambiente di produzione.
SMStudioEMRNoAuthProduct: Type: AWS::ServiceCatalog::CloudFormationProduct Properties: Owner: AWS Name: SageMaker Studio Domain No Auth EMR ProvisioningArtifactParameters: - Name: SageMaker Studio Domain No Auth EMR Description: Provisions a SageMaker domain and No Auth EMR Cluster Info: LoadTemplateFromURL:
Link to your CloudFormation template. For example, https://aws-blogs-artifacts-public.s3.amazonaws.com/artifacts/astra-m4-sagemaker/end-to-end/CFN-EMR-NoStudioNoAuthTemplate-v3.yaml
Tags: - Key: "sagemaker:studio-visibility:emr" Value: "true"
Passaggio 3: parametrizza il modello Amazon EMR CloudFormation
Il CloudFormation modello utilizzato per definire il EMR cluster Amazon all'interno del prodotto Service Catalog consente agli amministratori di specificare parametri configurabili. Gli amministratori possono definire Default
valori e AllowedValues
intervalli per questi parametri all'interno della sezione del modello. Parameters
Durante il processo di avvio del cluster, i data scientist possono fornire input personalizzati o effettuare selezioni tra quelle opzioni predefinite per personalizzare determinati aspetti del proprio cluster Amazon. EMR
L'esempio seguente illustra parametri di input aggiuntivi che gli amministratori possono impostare durante la creazione di un modello AmazonEMR.
"Parameters": { "EmrClusterName": { "Type": "String", "Description": "EMR cluster Name." }, "MasterInstanceType": { "Type": "String", "Description": "Instance type of the EMR master node.", "Default": "m5.xlarge", "AllowedValues": [ "m5.xlarge", "m5.2xlarge", "m5.4xlarge" ] }, "CoreInstanceType": { "Type": "String", "Description": "Instance type of the EMR core nodes.", "Default": "m5.xlarge", "AllowedValues": [ "m5.xlarge", "m5.2xlarge", "m5.4xlarge", "m3.medium", "m3.large", "m3.xlarge", "m3.2xlarge" ] }, "CoreInstanceCount": { "Type": "String", "Description": "Number of core instances in the EMR cluster.", "Default": "2", "AllowedValues": [ "2", "5", "10" ] }, "EmrReleaseVersion": { "Type": "String", "Description": "The release version of EMR to launch.", "Default": "emr-5.33.1", "AllowedValues": [ "emr-5.33.1", "emr-6.4.0" ] } }
Dopo che gli amministratori hanno reso disponibili i EMR CloudFormation modelli Amazon all'interno di Studio, i data scientist possono utilizzarli per il provisioning autonomo dei cluster AmazonEMR. La Parameters
sezione definita nel modello si traduce in campi di input nel modulo di creazione del cluster all'interno di Studio o Studio Classic. Per ogni parametro, i data scientist possono inserire un valore personalizzato nella casella di input o selezionare una delle opzioni predefinite elencate in un menu a discesa, che corrisponde a quello AllowedValues
specificato nel modello.
La seguente illustrazione mostra il modulo dinamico assemblato da un EMR modello CloudFormation Amazon per creare un EMR cluster Amazon in Studio o Studio Classic.
Visita Avvia un EMR cluster Amazon da Studio o Studio Classic questa pagina per scoprire come avviare un cluster da Studio o Studio Classic utilizzando questi EMR modelli Amazon.
Passaggio 4: configura le autorizzazioni per abilitare la pubblicazione e l'avvio di EMR cluster Amazon da Studio
Infine, allega le IAM autorizzazioni richieste per consentire la pubblicazione di EMR cluster Amazon esistenti in esecuzione e il provisioning automatico di nuovi cluster da Studio o Studio Classic.
I ruoli a cui devi aggiungere tali autorizzazioni dipendono dal fatto che Studio o Studio Classic e Amazon EMR siano distribuiti nello stesso account (scegli Account singolo) o in account diversi (scegli Cross account).
Importante
Puoi scoprire e connetterti ai EMR cluster Amazon solo per applicazioni Studio Classic JupyterLab e lanciate da spazi privati. Assicurati che EMR i cluster Amazon si trovino nella stessa AWS regione del tuo ambiente Studio.
Se i tuoi EMR cluster Amazon e Studio o Studio Classic sono distribuiti nello stesso AWS account, assegna le seguenti autorizzazioni al ruolo di SageMaker esecuzione che accede al cluster.
-
Passaggio 1: recupera il ruolo ARN di SageMaker esecuzione utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione in SageMaker, vedereComprendere lo spazio di dominio, le autorizzazioni e i ruoli di esecuzione..
Per ulteriori informazioni su come recuperare il ruolo ARN di esecuzione SageMaker di of, vedereAssumi il tuo ruolo di esecuzione.
-
Passaggio 2: assegna le seguenti autorizzazioni al ruolo di SageMaker esecuzione che accede ai tuoi EMR cluster Amazon.
-
Passare alla console IAM
. -
Scegli Ruoli, quindi cerca il tuo ruolo di esecuzione per nome nel campo Cerca. Il nome del ruolo è l'ultima parte diARN, dopo l'ultima barra (/).
-
Segui il link al tuo ruolo.
-
Scegli Aggiungi autorizzazioni e poi Crea politica in linea.
-
JSONNella scheda, aggiungi le EMR autorizzazioni Amazon che consentono l'EMRaccesso e le operazioni di Amazon. Per i dettagli sul documento relativo alla policy, consulta Elencare EMR le politiche di Amazon inPolitiche di riferimento. Sostituisci e
accountID
con i relativi valori effettivi prima di copiare l'elenco delle dichiarazioni nella politica in linea del tuo ruolo.region
-
Scegli Avanti e quindi fornisci un nome per la politica.
-
Scegli Create Policy (Crea policy).
-
Ripeti il passaggio Create inline policy per aggiungere un'altra policy che conceda al ruolo di esecuzione le autorizzazioni per effettuare il provisioning di nuovi EMR cluster Amazon utilizzando modelli. AWS CloudFormation Per i dettagli sul documento relativo alla policy, consulta Create Amazon EMRclusters policies inPolitiche di riferimento. Sostituisci
region
eaccountID
con i relativi valori effettivi prima di copiare l'elenco delle dichiarazioni nella politica in linea del tuo ruolo.
-
Nota
Gli utenti della connettività di controllo degli accessi basata sui ruoli (RBAC) ai EMR cluster Amazon devono fare riferimento anche a. Configura l'autenticazione del ruolo di runtime quando il EMR cluster Amazon e Studio si trovano nello stesso account
Prima di iniziare, recupera il ruolo ARN di SageMaker esecuzione utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione in SageMaker, consultaComprendere lo spazio di dominio, le autorizzazioni e i ruoli di esecuzione..
Per ulteriori informazioni su come recuperare il ruolo ARN di esecuzione SageMaker di of, vedereAssumi il tuo ruolo di esecuzione.
Se i tuoi EMR cluster Amazon e Studio o Studio Classic sono distribuiti in AWS account separati, configuri le autorizzazioni su entrambi gli account.
Nota
Gli utenti della connettività di controllo degli accessi basata sui ruoli (RBAC) ai EMR cluster Amazon devono fare riferimento anche a. Configura l'autenticazione del ruolo di runtime quando il cluster e Studio si trovano in account diversi
Sull'account EMR del cluster Amazon
Segui questi passaggi per creare i ruoli e le politiche necessari sull'account in cui EMR viene distribuito Amazon, noto anche come account di fiducia:
-
Passaggio 1: recupera il ruolo ARN di servizio del tuo EMR cluster Amazon.
Per ulteriori informazioni su come individuare il ruolo ARN di servizio di un cluster, consulta Configurare i ruoli di IAM servizio per EMR le autorizzazioni Amazon su AWS servizi e risorse.
-
Passaggio 2: crea un IAM ruolo personalizzato denominato
AssumableRole
con la seguente configurazione:-
Autorizzazioni: concedi le autorizzazioni necessarie per consentire l'accesso
AssumableRole
alle risorse AmazonEMR. Questo ruolo è noto anche come ruolo di accesso in scenari che prevedono l'accesso tra più account. -
Relazione di fiducia: configura la politica di fiducia
AssumableRole
per consentire l'assunzione del ruolo di esecuzione (indicatoSageMakerExecutionRole
nel diagramma tra account diversi) dall'account Studio che richiede l'accesso.
Assumendo il ruolo, Studio o Studio Classic possono ottenere l'accesso temporaneo alle autorizzazioni necessarie in Amazon. EMR
Per istruzioni dettagliate su come crearne uno nuovo
AssumableRole
nel tuo EMR AWS account Amazon, segui questi passaggi:-
Passare alla console IAM
. -
Nel riquadro di navigazione a sinistra, scegli Policy, quindi Crea policy.
-
JSONNella scheda, aggiungi le EMR autorizzazioni Amazon che consentono l'EMRaccesso e le operazioni di Amazon. Per i dettagli sul documento relativo alla policy, consulta Elencare EMR le politiche di Amazon inPolitiche di riferimento. Sostituisci e
accountID
con i relativi valori effettivi prima di copiare l'elenco delle dichiarazioni nella politica in linea del tuo ruolo.region
-
Scegli Avanti e quindi fornisci un nome per la politica.
-
Scegli Create Policy (Crea policy).
-
Nel riquadro di navigazione a sinistra, scegli Ruoli, quindi Crea ruolo.
-
Nella pagina Crea ruolo, scegli Criteri di fiducia personalizzati come entità attendibile.
-
Incolla il seguente JSON documento nella sezione Politica di fiducia personalizzata, quindi scegli Avanti.
-
Nella pagina Aggiungi autorizzazioni, aggiungi l'autorizzazione appena creata, quindi scegli Avanti.
-
Nella pagina Revisione, inserisci un nome per il ruolo, ad
AssumableRole
esempio una descrizione opzionale. -
Verifica i dettagli del ruolo e scegli Create role (Crea ruolo).
Per ulteriori informazioni sulla creazione di un ruolo su un AWS account, vedere Creazione di un IAM ruolo (console).
-
Sull'account Studio
Sull'account in cui è distribuito Studio, noto anche come account affidabile, aggiorna il ruolo di SageMaker esecuzione che accede ai cluster con le autorizzazioni necessarie per accedere alle risorse dell'account affidabile.
-
Passaggio 1: recupera il ruolo ARN di SageMaker esecuzione utilizzato dal tuo spazio privato.
Per informazioni sugli spazi e sui ruoli di esecuzione in SageMaker, vedereComprendere lo spazio di dominio, le autorizzazioni e i ruoli di esecuzione..
Per ulteriori informazioni su come recuperare il ruolo ARN di esecuzione SageMaker di of, vedereAssumi il tuo ruolo di esecuzione.
-
Passaggio 2: assegna le seguenti autorizzazioni al ruolo di SageMaker esecuzione che accede ai tuoi EMR cluster Amazon.
-
Passare alla console IAM
. -
Scegli Ruoli, quindi cerca il tuo ruolo di esecuzione per nome nel campo Cerca. Il nome del ruolo è l'ultima parte diARN, dopo l'ultima barra (/).
-
Segui il link al tuo ruolo.
-
Scegli Aggiungi autorizzazioni e poi Crea politica in linea.
-
JSONNella scheda, aggiungi la politica in linea che concede al ruolo le autorizzazioni per aggiornare i domini, i profili utente e gli spazi. Per i dettagli sul documento di policy, consulta la policy relativa alle azioni di aggiornamento del dominio, del profilo utente e dello spazio in. Politiche di riferimento Sostituisci
region
andaccountID
con i relativi valori effettivi prima di copiare l'elenco delle istruzioni nella politica in linea del tuo ruolo. -
Scegli Avanti e quindi fornisci un nome per la politica.
-
Scegli Create Policy (Crea policy).
-
Ripeti il passaggio Crea politica in linea per aggiungere un'altra politica che conceda al ruolo di esecuzione le autorizzazioni necessarie per assumere
AssumableRole
e quindi eseguire le azioni consentite dalla politica di accesso del ruolo. Sostituisciemr-account
con l'ID EMR dell'account Amazon eAssumableRole
con il nome del ruolo ipotizzabile creato nell'EMRaccount Amazon.{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowRoleAssumptionForCrossAccountDiscovery", "Effect": "Allow", "Action": "sts:AssumeRole", "Resource": ["arn:aws:iam::
emr-account
:role/AssumableRole
" ] }] } -
Ripeti il passaggio Create inline policy per aggiungere un'altra policy che conceda al ruolo di esecuzione le autorizzazioni per effettuare il provisioning di nuovi EMR cluster Amazon utilizzando modelli. AWS CloudFormation Per i dettagli sul documento relativo alla policy, consulta Create Amazon EMRclusters policies inPolitiche di riferimento. Sostituisci
region
eaccountID
con i relativi valori effettivi prima di copiare l'elenco delle dichiarazioni nella politica in linea del tuo ruolo. -
(Facoltativo) Per consentire l'elenco EMR dei cluster Amazon distribuiti nello stesso account di Studio, aggiungi una politica in linea aggiuntiva al tuo ruolo di esecuzione di Studio, come definito in Elenca le politiche Amazon EMR in. Politiche di riferimento
-
-
Fase 3: Associa i tuoi ruoli assumibili (ruolo di accesso) al tuo dominio o profilo utente. JupyterLab gli utenti di Studio possono utilizzare la SageMaker console o lo script fornito.
Scegli la scheda corrispondente al tuo caso d'uso.