Monitora, aggiorna ed elimina le risorse di Amazon EMR Studio - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Monitora, aggiorna ed elimina le risorse di Amazon EMR Studio

Questa sezione include istruzioni per aiutarti a monitorare, aggiornare o eliminare una EMR risorsa di Studio. Per informazioni su come assegnare utenti o aggiornare le autorizzazioni utente, consulta Assegna e gestisci gli utenti di EMR Studio.

Visualizzazione dei dettagli dello Studio

Console
Per visualizzare i dettagli su uno EMR Studio con la nuova console
  1. Apri la EMR console Amazon in https://console.aws.amazon.com/emr.

  2. In EMRStudio sulla barra di navigazione a sinistra, scegli Studios.

  3. Seleziona lo Studio dall'elenco Studio per aprire la pagina dei suoi dettagli. La pagina dei dettagli di Studio include informazioni sulle impostazioni di Studio, come la descrizione dello studio e VPCle sottoreti.

CLI

Per recuperare i dettagli di uno EMR Studio by Studio ID utilizzando il AWS CLI

Utilizzate il describe-studio AWS CLI comando seguente per recuperare informazioni dettagliate su un particolare EMR Studio. Per ulteriori informazioni, consulta la sezione relativa alle informazioni di riferimento ai comandi di AWS CLI .

aws emr describe-studio \ --studio-id <id-of-studio-to-describe> \

Per recuperare un elenco di EMR studi utilizzando il AWS CLI

Utilizza il seguente comando list-studios AWS CLI . Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI .

aws emr list-studios

Di seguito è riportato un esempio di valore restituito dal list-studios comando in JSON formato.

{ "Studios": [ { "AuthMode": "IAM", "VpcId": "vpc-b21XXXXX", "Name": "example-studio-name", "Url": "https://es-7HWP74SNGDXXXXXXXXXXXXXXX.emrstudio-prod.us-east-1.amazonaws.com", "CreationTime": 1605672582.781, "StudioId": "es-7HWP74SNGDXXXXXXXXXXXXXXX", "Description": "example studio description" } ] }

Monitora le azioni di Amazon EMR Studio

Visualizza EMR Studio e API attività

EMRStudio è integrato con AWS CloudTrail, un servizio che fornisce una registrazione delle azioni intraprese da un utente, da un IAM ruolo o da un altro AWS servizio in EMR Studio. CloudTrail acquisisce le API chiamate per EMR Studio come eventi. È possibile visualizzare gli eventi utilizzando la CloudTrail console all'indirizzo https://console.aws.amazon.com/cloudtrail/.

EMRGli eventi di Studio forniscono informazioni come lo Studio o IAM l'utente che effettua una richiesta e di che tipo di richiesta si tratta.

Nota

Le operazioni on-cluster come l'esecuzione di processi notebook non emetto AWS CloudTrail.

Puoi anche creare un percorso per la distribuzione continua di CloudTrail eventi di EMR Studio in un bucket Amazon S3. Per ulteriori informazioni, consulta la Guida per l'utente AWS CloudTrail.

CloudTrail Evento di esempio: un utente chiama il DescribeStudio API

Di seguito è riportato un AWS CloudTrail evento di esempio che viene creato quando un utente,admin, chiama il DescribeStudioAPI. CloudTrail registra il nome utente comeadmin.

Nota

Per proteggere i dettagli di Studio, l'APIevento EMR Studio for DescribeStudio esclude un valore perresponseElements.

{ "eventVersion":"1.08", "userIdentity":{ "type":"IAMUser", "principalId":"AIDXXXXXXXXXXXXXXXXXX", "arn":"arn:aws:iam::653XXXXXXXXX:user/admin", "accountId":"653XXXXXXXXX", "accessKeyId":"AKIAIOSFODNN7EXAMPLE", "userName":"admin" }, "eventTime":"2021-01-07T19:13:58Z", "eventSource":"elasticmapreduce.amazonaws.com", "eventName":"DescribeStudio", "awsRegion":"us-east-1", "sourceIPAddress":"72.XX.XXX.XX", "userAgent":"aws-cli/1.18.188 Python/3.8.5 Darwin/18.7.0 botocore/1.19.28", "requestParameters":{ "studioId":"es-9O5XXXXXXXXXXXXXXXXXXXXXX" }, "responseElements":null, "requestID":"0fxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "eventID":"b0xxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx", "readOnly":true, "eventType":"AwsApiCall", "managementEvent":true, "eventCategory":"Management", "recipientAccountId":"653XXXXXXXXX" }

Visualizzazione dell'attività degli utenti e dei processi Spark

Per visualizzare le attività lavorative di Spark da parte degli utenti di Amazon EMR Studio, puoi configurare l'impersonificazione degli utenti su un cluster. Con la rappresentazione utente, ogni processo Spark inviato da un Workspace è associato all'utente Studio che ha eseguito il codice.

Quando l'impersonificazione degli utenti è abilitata, Amazon EMR crea una directory HDFS utente sul nodo primario del cluster per ogni utente che esegue codice nel Workspace. Ad esempio, se l'utente studio-user-1@example.com esegue il codice, puoi collegarti al nodo primario per riscontrare che hadoop fs -ls /user ha una directory per studio-user-1@example.com.

Per impostare la rappresentazione utente di Spark, imposta le seguenti proprietà nelle classificazioni di configurazione:

  • core-site

  • livy-conf

[ { "Classification": "core-site", "Properties": { "hadoop.proxyuser.livy.groups": "*", "hadoop.proxyuser.livy.hosts": "*" } }, { "Classification": "livy-conf", "Properties": { "livy.impersonation.enabled": "true" } } ]

Per visualizzare le pagine del server della cronologia, consulta Esegui il debug di applicazioni e lavori con Studio EMR. Puoi anche connetterti al nodo primario del cluster utilizzando SSH per visualizzare le interfacce web dell'applicazione. Per ulteriori informazioni, consulta Visualizza le interfacce Web ospitate su cluster Amazon EMR.

Aggiorna un Amazon EMR Studio

Dopo aver creato uno EMR Studio, puoi aggiornare i seguenti attributi utilizzando AWS CLI:

  • Nome

  • Descrizione

  • Percorso S3 predefinito

  • Sottoreti

Per aggiornare uno EMR Studio utilizzando AWS CLI

Utilizzate il update-studio AWS CLI comando per aggiornare uno EMR Studio. Per ulteriori informazioni, consulta la sezione relativa alle informazioni di riferimento ai comandi della AWS CLI .

Nota

Puoi associare uno Studio a un massimo di 5 sottoreti. Queste sottoreti devono appartenere allo stesso livello di VPC Studio. L'elenco di IDs sottoreti inviato al update-studio comando può includere una nuova sottoreteIDs, ma deve includere anche tutte le IDs sottoreti già associate a Studio. Non è possibile rimuovere le sottoreti da uno Studio.

aws emr update-studio \ --studio-id <example-studio-id-to-update> \ --name <example-new-studio-name> \ --subnet-ids <old-subnet-id-1 old-subnet-id-2 old-subnet-id-3 new-subnet-id> \

Per verificare le modifiche, utilizzate il describe-studio AWS CLI comando e specificate il vostro ID Studio. Per ulteriori informazioni, consulta la Guida di riferimento ai comandi della AWS CLI .

aws emr describe-studio \ --studio-id <id-of-updated-studio> \

Eliminare Amazon EMR Studio e Workspaces

Quando elimini uno Studio, EMR Studio elimina tutte le assegnazioni di utenti e gruppi di IAM Identity Center associate allo Studio.

Nota

Quando elimini uno Studio, Amazon EMR non elimina le aree di lavoro associate a tale Studio. È necessario eliminare separatamente i Workspace nello Studio.

Eliminazione dei Workspace

Console

Poiché ogni EMR Studio Workspace è un'istanza EMR notebook, puoi utilizzare la console di EMR gestione Amazon per eliminare Workspaces. Puoi eliminare Workspace utilizzando la EMR console Amazon prima o dopo aver eliminato Studio.

Per eliminare un Workspace utilizzando la console Amazon EMR
  1. Passa alla nuova EMR console Amazon e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

  2. Seleziona Notebook.

  3. Seleziona i Workspace che intendi eliminare.

  4. Seleziona Elimina e quindi nuovamente Elimina per confermare.

  5. Segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service per rimuovere i file notebook associati al Workspace eliminato da Amazon S3.

EMR Studio UI
From the Workspace UIFrom the Workspaces list
From the Workspace UI
Elimina un'area di lavoro e i file di backup associati da Studio EMR
  1. Accedi a EMR Studio con l'accesso a Studio URL e scegli Workspaces dalla barra di navigazione a sinistra.

  2. Individua il Workspace nell'elenco, quindi seleziona la casella di spunta accanto al relativo nome. È possibile selezionare più Workspace da eliminare contemporaneamente.

  3. Dall'elenco Workspace, seleziona Elimina in alto a destra per confermare che desideri eliminare i Workspace selezionati. Seleziona Elimina per confermare.

  4. Se desideri rimuovere i file notebook associati al WorkSpace eliminato da Amazon S3, segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il Workspace eliminato.

From the Workspaces list
Eliminazione di un WorkSpace e dei file di backup associati dall'elenco dei WorkSpace
  1. Vai all'elenco dei Workspace nella console.

  2. Seleziona il WorkSpace che desideri eliminare dall'elenco, quindi scegli Azioni.

  3. Scegli Elimina.

  4. Se desideri rimuovere i file notebook associati al WorkSpace eliminato da Amazon S3, segui le istruzioni per l'Eliminazione di oggetti nella Guida per l'utente della console Amazon Simple Storage Service. Se non hai creato lo Studio, contatta l'amministratore dello Studio per determinare la posizione del backup di Amazon S3 per il Workspace eliminato.

Elimina uno studio EMR

Console
Per eliminare uno EMR Studio con la nuova console
  1. Apri la EMR console Amazon in https://console.aws.amazon.com/emr.

  2. In EMRStudio sulla barra di navigazione a sinistra, scegli Studios.

  3. Seleziona lo Studio dall'elenco degli Studios (Studio) tramite l'interruttore a sinistra del nome dello Studio. Scegli Elimina.

Old console
Per eliminare uno EMR Studio con la vecchia console
  1. Apri la EMR console Amazon a https://console.aws.amazon.com/elasticmapreduce/casa.

  2. Scegli EMRStudio dalla barra di navigazione a sinistra.

  3. Seleziona lo Studio dall'elenco Studio e scegli Elimina.

CLI

Per eliminare uno EMR Studio con AWS CLI

Utilizzate il delete-studio AWS CLI comando per eliminare uno EMR Studio. Per ulteriori informazioni, consulta la sezione relativa alle informazioni di riferimento ai comandi di AWS CLI .

aws emr delete-studio --studio-id <id-of-studio-to-delete>