Connect a un EMR cluster Amazon da SageMaker Studio o Studio Classic - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connect a un EMR cluster Amazon da SageMaker Studio o Studio Classic

Gli utenti di Studio possono connettersi ai propri EMR cluster Amazon in esecuzione da un JupyterLab notebook utilizzando le impostazioni predefiniteSageMaker Immagini di distribuzione. Gli utenti di Studio Classic possono connettersi ai propri cluster da un notebook Studio Classic utilizzando uno qualsiasi dei kernel supportati.

Connettiti a un EMR cluster Amazon utilizzando l'interfaccia utente di Studio

Per connetterti al cluster utilizzando l'interfaccia utente Studio o Studio Classic, puoi avviare una connessione dall'elenco dei cluster a cui si accede in Elenca EMR i cluster Amazon da Studio o Studio Classic o da un notebook in SageMaker Studio o Studio Classic.

Per connetterti a un particolare cluster dall'elenco dei cluster
  1. Seleziona il nome del cluster nell'elenco. Si attiva il pulsante Collega a nuovo notebook.

  2. Scegli Collega a nuovo notebook. Si apre la casella di selezione delle immagini e dei kernel.

  3. Seleziona l'immagine e il kernel, quindi scegli Seleziona. Per un elenco delle immagini supportate, consulta Immagini e kernel supportati per la connessione a un EMR cluster Amazon da Studio o Studio Classic o fai riferimento a Portare la propria immagine.

  4. Se il cluster selezionato non utilizza Kerberos o l'autenticazione con ruolo di runtimeLDAP, Studio o Studio Classic richiede di selezionare il tipo di credenziale. Scegli tra Autenticazione di base HTTP o Nessuna credenziale, quindi, se del caso, inserisci le tue credenziali. Un comando di connessione popola la prima cella del notebook e avvia la connessione con il cluster AmazonEMR.

    Una volta completata la connessione, un messaggio conferma la connessione e l'avvio dell'applicazione Spark.

In alternativa, è possibile connettersi a un cluster da un notebook.
  1. Scegli Cluster nella parte superiore del notebook.

    Il cluster è visibile solo quando si utilizza un kernel da Immagini e kernel supportati per la connessione a un EMR cluster Amazon da Studio o Studio Classic o Portare la propria immagine. Se non riesci a visualizzare Cluster nella parte superiore del notebook, assicurati che l'amministratore abbia configurato la rilevabilità dei cluster e passa a un kernel supportato.

    Questo apre un elenco di cluster disponibili in uno stato. Running

  2. Seleziona il cluster a cui connetterti, quindi scegli Connessione.

  3. Se hai configurato i tuoi EMR cluster Amazon per supportare i IAM ruoli di runtime e l'amministratore ha preimpostato i ruoli in una configurazione di ruolo di esecuzioneJSON, puoi selezionare il tuo ruolo di Amazon EMR Access dal menu a discesa del ruolo di EMR esecuzione di Amazon. Se i tuoi ruoli non sono precaricati, Studio o Studio Classic utilizzano il tuo ruolo di esecuzione Studio o Studio Classic per impostazione predefinita. Per informazioni sull'utilizzo dei ruoli di runtime con AmazonEMR, consultaConnettiti a un EMR cluster Amazon da Studio Classic utilizzando IAM i ruoli di runtime. Quando ti connetti a un cluster, Studio o Studio Classic aggiungono un blocco di codice a una cella attiva per stabilire la connessione.

    Altrimenti, se il cluster scelto non utilizza Kerberos o l'autenticazione con ruolo di runtimeLDAP, Studio o Studio Classic richiede di selezionare il tipo di credenziale. Puoi scegliere l'autenticazione di HTTPbase o Nessuna credenziale.

  4. Una cella attiva viene popolata ed eseguita. Questa cella contiene il comando di connessione per connetterti al tuo EMR cluster Amazon.

    Una volta completata la connessione, un messaggio conferma la connessione e l'avvio dell'applicazione Spark.

Connettiti a un EMR cluster Amazon utilizzando un comando di connessione

Per stabilire una connessione a un EMR cluster Amazon, puoi eseguire comandi di connessione all'interno di una cella notebook.

Quando stabilisci la connessione, puoi autenticarti utilizzando Kerberos, Lightweight Directory Access Protocol (LDAP) o l'autenticazione con ruolo di runtime IAM. Il metodo di autenticazione scelto dipende dalla configurazione del cluster.

Puoi fare riferimento a questo esempio Access Apache Livy utilizzando un Network Load Balancer su un EMR cluster Amazon abilitato per Kerberos per configurare un cluster Amazon che utilizza l'autenticazione Kerberos. EMR In alternativa, puoi esplorare i modelli di CloudFormation esempio che utilizzano Kerberos o l'autenticazione nel repository aws-samples/. LDAP sagemaker-studio-emr GitHub

Se l'amministratore ha abilitato l'accesso tra account diversi, puoi connetterti al tuo EMR cluster Amazon da un notebook Studio Classic, indipendentemente dal fatto che l'applicazione Studio Classic e il cluster risiedano nello stesso AWS account o in account diversi.

Per ciascuno dei seguenti tipi di autenticazione, utilizza il comando specificato per connetterti al cluster dal tuo notebook Studio o Studio Classic.

  • Kerberos

    Aggiungi l'--assumable-role-arnargomento se hai bisogno di un accesso Amazon EMR su più account. Aggiungi l'--verify-certificateargomento se ti connetti al tuo cluster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Kerberos --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • LDAP

    Aggiungi l'--assumable-role-arnargomento se hai bisogno di un accesso Amazon EMR su più account. Aggiungi l'--verify-certificateargomento se ti connetti al tuo cluster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Basic_Access --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • NoAuth

    Aggiungi l'--assumable-role-arnargomento se hai bisogno di un accesso Amazon EMR su più account. Aggiungi l'--verify-certificateargomento se ti connetti al tuo cluster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type None --language python [--assumable-role-arn EMR_access_role_ARN ] [--verify-certificate /home/user/certificateKey.pem]
  • Ruoli di runtime IAM

    Aggiungi l'--assumable-role-arnargomento se hai bisogno di un accesso Amazon EMR su più account. Aggiungi l'--verify-certificateargomento se ti connetti al tuo cluster con. HTTPS

    Per ulteriori informazioni sulla connessione a un EMR cluster Amazon utilizzando IAM i ruoli di runtime, consultaConnettiti a un EMR cluster Amazon da Studio Classic utilizzando IAM i ruoli di runtime.

    %load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --cluster-id cluster_id \ --auth-type Basic_Access \ --emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name [--assumable-role-arn EMR_access_role_ARN] [--verify-certificate /home/user/certificateKey.pem]

Connect a un EMR cluster Amazon tramite HTTPS

Se hai configurato il tuo EMR cluster Amazon con la crittografia di transito abilitata e il server Apache Livy per HTTPS e desideri che Studio o Studio Classic comunichino EMR con Amazon utilizzandoHTTPS, devi configurare Studio o Studio Classic per accedere alla chiave del certificato.

Per i certificati autofirmati o firmati dall'autorità di certificazione (CA) locale, puoi farlo in due fasi:

  1. Scarica il PEM file del certificato sul tuo file system locale utilizzando una delle seguenti opzioni:

  2. Abilita la convalida del certificato fornendo il percorso al certificato nell'argomento --verify-certificate del comando di connessione.

    %sm_analytics emr connect --cluster-id cluster_id \ --verify-certificate /home/user/certificateKey.pem ...

Per i certificati pubblici emessi da CA, imposta la convalida del certificato configurando il parametro --verify-certificate su true.

In alternativa, è possibile disabilitare la convalida del certificato impostando il parametro --verify-certificate su false.

Puoi trovare l'elenco dei comandi di connessione disponibili a un EMR cluster Amazon inConnettiti a un EMR cluster Amazon utilizzando un comando di connessione.