Guida rapida: crea un dominio sandbox SageMaker AI per avviare i cluster Amazon EMR in Studio

Segui questi passaggi per configurare un dominio SageMaker AI per l'avvio di cluster Amazon EMR da Studio.

1. Scarica il file raw di questo AWS CloudFormation modello dal repository. sagemaker-studio-emr GitHub

2. Vai alla AWS CloudFormation console: https://console.aws.amazon.com /cloudformation

3. Scegli Crea stack e seleziona Con nuove risorse (standard) dal menu a discesa.

4. Nella fase 1:

   1. Nella sezione Prepara modello, seleziona Scegli un modello esistente.

   2. Nella sezione Specify template(Specifica il modello) scegliere Upload a template file (Carica un file modello).

   3. Carica il AWS CloudFormation modello scaricato e scegli Avanti.

5. Nel passaggio 2, inserisci un nome per lo stack, SageMakerDomainNamequindi scegli Avanti.

6. Nel passaggio 3, mantieni tutti i valori predefiniti e scegli Avanti.

7. Nel passaggio 4, seleziona la casella per confermare la creazione della risorsa e scegli Crea pila. Questo crea un dominio Studio nel tuo account e nella tua regione.

1. Vai alla console SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/e scegli Domini nel menu a sinistra.

2. Fai clic sul tuo nome di dominio Generative AIDomain per aprire la pagina dei dettagli del dominio.

3. Avvia Studio dal profilo genai-user utente.

4. Nel riquadro di navigazione a sinistra, vai a Data, quindi Amazon EMR Clusters.

5. Nella pagina dei cluster Amazon EMR, scegli Crea. Seleziona il modello SageMaker Studio Domain No Auth EMR creato dallo AWS CloudFormation stack, quindi scegli Avanti.

6. Inserisci un nome per il nuovo cluster Amazon EMR. Aggiorna facoltativamente altri parametri come il tipo di istanza dei nodi principali e master, il timeout di inattività o il numero di nodi principali.

7. Scegli Crea risorsa per lanciare il nuovo cluster Amazon EMR.

   Dopo aver creato il cluster Amazon EMR, segui lo stato nella pagina dei cluster EMR. Quando lo stato cambia inRunning/Waiting, il cluster Amazon EMR è pronto per l'uso in Studio.

1. Avvia JupyterLab

   Da Studio, avvia l' JupyterLab applicazione.

2. Crea uno spazio privato

   Se non hai creato uno spazio per l' JupyterLab applicazione, scegli Crea uno JupyterLab spazio. Inserisci un nome per lo spazio e mantieni lo spazio come privato. Lascia tutte le altre impostazioni ai valori predefiniti, quindi scegli Crea spazio.

   Altrimenti, esegui il tuo JupyterLab spazio per avviare un' JupyterLabapplicazione.

3. Implementa il tuo LLM e incorpora modelli per l'inferenza

   • Dal menu in alto, scegli File, Nuovo e poi Terminale.

   • Nel terminale, esegui il seguente comando.

     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf

     In questo modo il Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb notebook viene ripristinato nella directory locale e vengono scaricati tre file PDF in una AWSGuides cartella locale.

   • Aprilab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb, mantieni il Python 3 (ipykernel) kernel ed esegui ogni cella.

     avvertimento

     Nella sezione Contratto di licenza di Llama 2, assicurati di accettare l'EULA di Llama2 prima di continuare.

     Il notebook implementa due modelli ed è attivo per l'Llama 2inferenzaall-MiniLM-L6-v2 Models. ml.g5.2xlarge

     L'implementazione dei modelli e la creazione degli endpoint possono richiedere del tempo.

4. Apri il tuo notebook principale

   In JupyterLab, apri il terminale ed esegui il seguente comando.

   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   

   Dovresti vedere il Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb taccuino aggiuntivo nel pannello sinistro di JupyterLab.

5. Scegli un PySpark kernel

   Apri il Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb notebook e assicurati di usare il SparkMagic PySpark kernel. Puoi cambiare kernel in alto a destra del tuo notebook. Scegliete il nome corrente del kernel per aprire un modulo di selezione del kernel, quindi scegliete. SparkMagic PySpark

6. Connect il notebook al cluster

   1. In alto a destra del notebook, scegli Cluster. Questa azione apre una finestra modale che elenca tutti i cluster in esecuzione a cui sei autorizzato ad accedere.

   2. Seleziona il tuo cluster, quindi scegli Connect. Si apre una nuova finestra modale di selezione del tipo di credenziale.

   3. Scegli Nessuna credenziale, quindi Connetti.

      

   4. Una cella del notebook si popola e viene eseguita automaticamente. La cella del notebook carica l'sagemaker_studio_analytics_extension.magicsestensione, che fornisce funzionalità per la connessione al cluster Amazon EMR. Quindi utilizza il comando %sm_analytics magico per avviare la connessione al cluster Amazon EMR e all'applicazione Spark.

      Nota

      Assicurati che la stringa di connessione al tuo cluster Amazon EMR abbia un tipo di autenticazione impostato su. None Ciò è illustrato dal valore riportato --auth-type None nell'esempio seguente. È possibile modificare il campo se necessario.

      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python 

   5. Una volta stabilita correttamente la connessione, il messaggio di output della cella di connessione dovrebbe mostrare i SparkSession dettagli, tra cui l'ID del cluster, YARN l'ID dell'applicazione e un collegamento al Spark Interfaccia utente per monitorare il tuo Spark lavori.

Per eliminare lo AWS CloudFormation stack quando lo hai finito

1. Vai alla AWS CloudFormation console: https://console.aws.amazon.com /cloudformation

2. Seleziona lo stack che desideri eliminare. Puoi cercarlo per nome o trovarlo nell'elenco degli stack.

3. Fai clic sul pulsante Elimina per completare l'eliminazione dello stack, quindi di nuovo su Elimina per confermare che ciò comporterà l'eliminazione di tutte le risorse create dallo stack.

   Attendi il completamento dell'eliminazione dello stack. Questa operazione può richiedere alcuni minuti. AWS CloudFormation pulisce automaticamente tutte le risorse definite nel modello di stack.

4. Verifica che tutte le risorse create dallo stack siano state eliminate. Ad esempio, verifica la presenza di eventuali cluster Amazon EMR rimanenti.

Per rimuovere gli endpoint API per un modello

1. Vai alla console SageMaker AI: https://console.aws.amazon.com/sagemaker/.

2. Nel riquadro di navigazione a sinistra, scegli Inferenza e poi Endpoints.

3. Seleziona l'endpoint, hf-allminil6v2-embedding-ep quindi scegli Elimina nell'elenco a discesa Azioni. Ripeti il passaggio per l'endpointmeta-llama2-7b-chat-tg-ep.