Quickstart: crea un dominio SageMaker sandbox per avviare i EMR cluster Amazon in Studio

Segui questi passaggi per configurare un SageMaker dominio per l'avvio di EMR cluster Amazon da Studio.

1. Scarica il file raw di questo AWS CloudFormation modello dal repository. sagemaker-studio-emr GitHub

2. Vai alla AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

3. Scegli Crea stack e seleziona Con nuove risorse (standard) dal menu a discesa.

4. Nella fase 1:

   1. Nella sezione Prepara modello, seleziona Scegli un modello esistente.

   2. Nella sezione Specify template(Specifica il modello) scegliere Upload a template file (Carica un file modello).

   3. Carica il AWS CloudFormation modello scaricato e scegli Avanti.

5. Nel passaggio 2, inserisci un nome per lo stack, SageMakerDomainNamequindi scegli Avanti.

6. Nel passaggio 3, mantieni tutti i valori predefiniti e scegli Avanti.

7. Nel passaggio 4, seleziona la casella per confermare la creazione della risorsa e scegli Crea pila. Questo crea un dominio Studio nel tuo account e nella tua regione.

1. Vai alla SageMaker console all'indirizzo https://console.aws.amazon.com/sagemaker/e scegli Domini nel menu a sinistra.

2. Fai clic sul tuo nome di dominio G enerativeAIDomain per aprire la pagina dei dettagli del dominio.

3. Avvia Studio dal profilo utentegenai-user.

4. Nel riquadro di navigazione a sinistra, vai a Data, quindi Amazon EMR Clusters.

5. Nella pagina dei EMR cluster Amazon, scegli Crea. Seleziona il modello SageMaker Studio Domain No Auth EMR creato dallo AWS CloudFormation stack, quindi scegli Avanti.

6. Inserisci un nome per il nuovo EMR cluster Amazon. Aggiorna facoltativamente altri parametri come il tipo di istanza dei nodi principali e master, il timeout di inattività o il numero di nodi principali.

7. Scegli Crea risorsa per avviare il nuovo EMR cluster Amazon.

   Dopo aver creato il EMR cluster Amazon, segui lo stato nella pagina EMRClusters. Quando lo stato cambia inRunning/Waiting, il tuo EMR cluster Amazon è pronto per l'uso in Studio.

1. Avvia JupyterLab

   Da Studio, avvia l' JupyterLab applicazione.

2. Crea uno spazio privato

   Se non hai creato uno spazio per l' JupyterLab applicazione, scegli Crea uno JupyterLab spazio. Immettete un nome per lo spazio e mantenete lo spazio come privato. Lascia tutte le altre impostazioni ai valori predefiniti, quindi scegli Crea spazio.

   Altrimenti, esegui il tuo JupyterLab spazio per avviare un' JupyterLabapplicazione.

3. Implementa LLM e incorpora modelli per l'inferenza

   • Dal menu in alto, scegli File, Nuovo e poi Terminale.

   • Nel terminale, esegui il seguente comando.

     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf

     In questo modo il Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb notebook viene recuperato nella directory locale e vengono scaricati tre PDF file in una AWSGuides cartella locale.

   • Aprilab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb, mantieni il Python 3 (ipykernel) kernel ed esegui ogni cella.

     avvertimento

     Nella sezione Contratto di licenza di Llama 2, assicurati di accettare Llama2 prima di continuareEULA.

     Il notebook implementa due modelli Llama 2 ed è attivo per l'all-MiniLM-L6-v2 Modelsinferenza. ml.g5.2xlarge

     L'implementazione dei modelli e la creazione degli endpoint possono richiedere del tempo.

4. Apri il tuo notebook principale

   In JupyterLab, apri il terminale ed esegui il seguente comando.

   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   

   Dovresti vedere il Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb taccuino aggiuntivo nel pannello sinistro di JupyterLab.

5. Scegli un PySpark kernel

   Apri il Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb notebook e assicurati di utilizzare il SparkMagic PySpark kernel. Puoi cambiare kernel in alto a destra del tuo notebook. Scegliete il nome corrente del kernel per aprire un modulo di selezione del kernel, quindi scegliete. SparkMagic PySpark

6. Connect il notebook al cluster

   1. In alto a destra del notebook, scegli Cluster. Questa azione apre una finestra modale che elenca tutti i cluster in esecuzione a cui sei autorizzato ad accedere.

   2. Seleziona il tuo cluster, quindi scegli Connect. Si apre una nuova finestra modale di selezione del tipo di credenziale.

   3. Scegli Nessuna credenziale, quindi Connetti.

      

   4. Una cella del notebook viene compilata e avviata automaticamente. La cella del notebook carica l'sagemaker_studio_analytics_extension.magicsestensione, che fornisce funzionalità per la connessione al EMR cluster Amazon. Quindi utilizza il comando %sm_analytics magico per avviare la connessione al EMR cluster Amazon e all'applicazione Spark.

      Nota

      Assicurati che la stringa di connessione al tuo EMR cluster Amazon abbia un tipo di autenticazione impostato suNone. Ciò è illustrato dal valore riportato --auth-type None nell'esempio seguente. È possibile modificare il campo se necessario.

      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python 

   5. Una volta stabilita con successo la connessione, il messaggio di output della cella di connessione dovrebbe mostrare i SparkSession dettagli, tra cui l'ID del cluster, YARN l'ID dell'applicazione e un collegamento all'Sparkinterfaccia utente per monitorare i Spark lavori.

Per eliminare lo AWS CloudFormation stack quando lo hai finito

1. Vai alla AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

2. Seleziona lo stack che desideri eliminare. Puoi cercarlo per nome o trovarlo nell'elenco degli stack.

3. Fai clic sul pulsante Elimina per completare l'eliminazione dello stack, quindi di nuovo su Elimina per confermare che ciò comporterà l'eliminazione di tutte le risorse create dallo stack.

   Attendi il completamento dell'eliminazione dello stack. Questa operazione può richiedere alcuni minuti. AWS CloudFormation pulisce automaticamente tutte le risorse definite nel modello di stack.

4. Verifica che tutte le risorse create dallo stack siano state eliminate. Ad esempio, verifica la presenza di eventuali cluster Amazon EMR rimanenti.

Per rimuovere gli API endpoint per un modello

1. Vai alla SageMaker console: https://console.aws.amazon.com/sagemaker/.

2. Nel riquadro di navigazione a sinistra, scegli Inferenza e poi Endpoints.

3. Seleziona l'endpoint, hf-allminil6v2-embedding-ep quindi scegli Elimina nell'elenco a discesa Azioni. Ripeti il passaggio per l'endpointmeta-llama2-7b-chat-tg-ep.