Início rápido: Crie um domínio SageMaker sandbox para iniciar EMR clusters da Amazon no Studio

Siga estas etapas para configurar um SageMaker domínio para iniciar EMR clusters da Amazon a partir do Studio.

1. Baixe o arquivo bruto desse AWS CloudFormation modelo do sagemaker-studio-emr GitHub repositório.

2. Acesse o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

3. Escolha Criar pilha e selecione Com novos recursos (padrão) no menu suspenso.

4. Na Etapa 1:

   1. Na seção Preparar modelo, selecione Escolher um modelo existente.

   2. Na seção Specify template (Especificar modelo) escolha Upload a template file (Fazer upload de um arquivo de modelo).

   3. Faça o upload do AWS CloudFormation modelo baixado e escolha Avançar.

5. Na Etapa 2, insira o nome da pilha e escolha SageMakerDomainNameAvançar.

6. Na Etapa 3, mantenha todos os valores padrão e escolha Avançar.

7. Na Etapa 4, marque a caixa para confirmar a criação do recurso e escolha Criar pilha. Isso cria um domínio do Studio em sua conta e região.

1. Acesse o SageMaker console em https://console.aws.amazon.com/sagemaker/e escolha Domínios no menu à esquerda.

2. Clique no nome do seu domínio G enerativeAIDomain para abrir a página de detalhes do domínio.

3. Inicie o Studio a partir do perfil do usuáriogenai-user.

4. No painel de navegação esquerdo, acesse Data e depois Amazon EMR Clusters.

5. Na página de EMR clusters da Amazon, escolha Create. Selecione o modelo SageMaker Studio Domain No Auth EMR criado pela AWS CloudFormation pilha e escolha Avançar.

6. Insira um nome para o novo EMR cluster da Amazon. Opcionalmente, atualize outros parâmetros, como o tipo de instância dos nós principais e principais, o tempo limite de inatividade ou o número de nós principais.

7. Escolha Criar recurso para iniciar o novo EMR cluster da Amazon.

   Depois de criar o EMR cluster da Amazon, siga o status na página EMRClusters. Quando o status muda paraRunning/Waiting, seu EMR cluster da Amazon está pronto para uso no Studio.

1. Lançamento JupyterLab

   No Studio, inicie o JupyterLab aplicativo.

2. Crie um espaço privado

   Se você não criou um espaço para seu JupyterLab aplicativo, escolha Criar um JupyterLab espaço. Insira um nome para o espaço e mantenha-o como Privado. Deixe todas as outras configurações com seus valores padrão e escolha Criar espaço.

   Caso contrário, execute seu JupyterLab espaço para iniciar um JupyterLab aplicativo.

3. Implemente seus modelos LLM e incorpore para inferência

   • No menu superior, escolha Arquivo, Novo e, em seguida, Terminal.

   • No terminal, execute o comando a seguir.

     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf

     Isso recupera o Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb notebook para seu diretório local e baixa três PDF arquivos em uma AWSGuides pasta local.

   • Abralab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb, mantenha o Python 3 (ipykernel) kernel e execute cada célula.

     Atenção

     Na seção Contrato de Licença do Llama 2, certifique-se de aceitar o Llama2 EULA antes de continuar.

     O notebook implanta dois modelos Llama 2 eall-MiniLM-L6-v2 Models, ml.g5.2xlarge para inferência.

     A implantação dos modelos e a criação dos endpoints podem levar algum tempo.

4. Abra seu caderno principal

   Em JupyterLab, abra seu terminal e execute o seguinte comando.

   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   

   Você deve ver o Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb caderno adicional no painel esquerdo do JupyterLab.

5. Escolha um PySpark kernel

   Abra seu Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb notebook e verifique se você está usando o SparkMagic PySpark kernel. Você pode alternar o kernel no canto superior direito do seu notebook. Escolha o nome atual do kernel para abrir um modal de seleção do kernel e, em seguida, escolha. SparkMagic PySpark

6. Conecte seu notebook ao cluster

   1. No canto superior direito do seu notebook, escolha Cluster. Essa ação abre uma janela modal que lista todos os clusters em execução que você tem permissão para acessar.

   2. Selecione seu cluster e escolha Connect. Uma nova janela modal de seleção de tipo de credencial é aberta.

   3. Escolha Sem credencial e, em seguida, Conectar.

      

   4. Uma célula do notebook é preenchida e executada automaticamente. A célula do notebook carrega a sagemaker_studio_analytics_extension.magics extensão, que fornece funcionalidade para se conectar ao EMR cluster da Amazon. Em seguida, ele usa o comando %sm_analytics mágico para iniciar a conexão com seu EMR cluster Amazon e com o aplicativo Spark.

      nota

      Certifique-se de que a cadeia de conexão com seu EMR cluster da Amazon tenha um tipo de autenticação definido comoNone. Isso é ilustrado pelo valor --auth-type None no exemplo a seguir. Você pode modificar o campo, se necessário.

      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python 

   5. Depois de estabelecer a conexão com sucesso, a mensagem de saída da célula de conexão deve exibir seus SparkSession detalhes, incluindo o ID do cluster, o ID do YARN aplicativo e um link para a Spark interface do usuário para monitorar seus Spark trabalhos.

Para excluir sua AWS CloudFormation pilha quando você terminar de usá-la

1. Acesse o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation

2. Selecione a pilha que você deseja excluir. Você pode procurá-lo pelo nome ou encontrá-lo na lista de pilhas.

3. Clique no botão Excluir para finalizar a exclusão da pilha e depois em Excluir novamente para reconhecer que isso excluirá todos os recursos criados pela pilha.

   Aguarde a conclusão da exclusão da pilha. Isso pode levar alguns minutos. AWS CloudFormation limpa automaticamente todos os recursos definidos no modelo de pilha.

4. Verifique se todos os recursos criados pela pilha foram excluídos. Por exemplo, verifique se há algum cluster restante da AmazonEMR.

Para remover os API endpoints de um modelo

1. Vá para o SageMaker console: https://console.aws.amazon.com/sagemaker/.

2. No painel de navegação esquerdo, escolha Inferência e, em seguida, Endpoints.

3. Selecione o endpoint hf-allminil6v2-embedding-ep e escolha Excluir na lista suspensa Ações. Repita a etapa para o endpointmeta-llama2-7b-chat-tg-ep.