As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Início rápido: Crie um domínio SageMaker sandbox para iniciar EMR clusters da Amazon no Studio
Esta seção mostra a configuração rápida de um ambiente de teste completo no Amazon SageMaker Studio. Você criará um novo domínio do Studio que permite que os usuários iniciem novos EMR clusters da Amazon diretamente do Studio. As etapas fornecem um exemplo de notebook que você pode conectar a um EMR cluster da Amazon para começar a executar Spark cargas de trabalho. Usando esse notebook, você criará um Sistema de Geração Aumentada de Recuperação (RAG) usando o processamento distribuído e OpenSearch o banco de dados vetoriais do Amazon EMR Spark.
nota
Para começar, faça login no AWS Management Console usando uma conta de usuário AWS Identity and Access Management (IAM) com permissões de administrador. Para obter informações sobre como se inscrever em uma AWS conta e criar um usuário com acesso administrativo, consulte SageMaker Pré-requisitos da Amazon.
Para configurar seu ambiente de teste do Studio e começar a executar Spark trabalhos:
Etapa 1: criar um SageMaker domínio para lançar EMR clusters da Amazon no Studio
Nas etapas a seguir, você aplica uma AWS CloudFormation pilha para criar automaticamente um novo SageMaker domínio. A pilha também cria um perfil de usuário e configura o ambiente e as permissões necessários. O SageMaker domínio está configurado para permitir que você inicie diretamente EMR clusters da Amazon a partir do Studio. Neste exemplo, os EMR clusters da Amazon são criados na mesma AWS
conta SageMaker sem autenticação. Você pode encontrar AWS CloudFormation pilhas adicionais que suportam vários métodos de autenticação, como Kerberos, no repositório getting_started.
nota
SageMaker permite 5 domínios do Studio por AWS conta e Região da AWS por padrão. Certifique-se de que sua conta não tenha mais do que 4 domínios em sua região antes de criar sua pilha.
Siga estas etapas para configurar um SageMaker domínio para iniciar EMR clusters da Amazon a partir do Studio.
-
Baixe o arquivo bruto desse AWS CloudFormation modelo
do sagemaker-studio-emr
GitHub repositório. -
Acesse o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation
-
Escolha Criar pilha e selecione Com novos recursos (padrão) no menu suspenso.
-
Na Etapa 1:
-
Na seção Preparar modelo, selecione Escolher um modelo existente.
-
Na seção Specify template (Especificar modelo) escolha Upload a template file (Fazer upload de um arquivo de modelo).
-
Faça o upload do AWS CloudFormation modelo baixado e escolha Avançar.
-
-
Na Etapa 2, insira o nome da pilha e escolha SageMakerDomainNameAvançar.
-
Na Etapa 3, mantenha todos os valores padrão e escolha Avançar.
-
Na Etapa 4, marque a caixa para confirmar a criação do recurso e escolha Criar pilha. Isso cria um domínio do Studio em sua conta e região.
Etapa 2: Inicie um novo EMR cluster da Amazon a partir da interface do usuário do Studio
Nas etapas a seguir, você cria um novo EMR cluster da Amazon a partir da interface do usuário do Studio.
-
Acesse o SageMaker console em https://console.aws.amazon.com/sagemaker/
e escolha Domínios no menu à esquerda. -
Clique no nome do seu domínio G enerativeAIDomain para abrir a página de detalhes do domínio.
-
Inicie o Studio a partir do perfil do usuário
genai-user
. -
No painel de navegação esquerdo, acesse Data e depois Amazon EMR Clusters.
-
Na página de EMR clusters da Amazon, escolha Create. Selecione o modelo SageMaker Studio Domain No Auth EMR criado pela AWS CloudFormation pilha e escolha Avançar.
-
Insira um nome para o novo EMR cluster da Amazon. Opcionalmente, atualize outros parâmetros, como o tipo de instância dos nós principais e principais, o tempo limite de inatividade ou o número de nós principais.
-
Escolha Criar recurso para iniciar o novo EMR cluster da Amazon.
Depois de criar o EMR cluster da Amazon, siga o status na página EMRClusters. Quando o status muda para
Running/Waiting
, seu EMR cluster da Amazon está pronto para uso no Studio.
Etapa 3: Conectar um JupyterLab notebook ao EMR cluster da Amazon
Nas etapas a seguir, você conecta um notebook JupyterLab ao seu EMR cluster Amazon em execução. Neste exemplo, você importa um notebook que permite criar um sistema Retrieval Augmented Generation (RAG) usando processamento distribuído e OpenSearch banco de dados vetoriais do Amazon EMR Spark.
-
Lançamento JupyterLab
No Studio, inicie o JupyterLab aplicativo.
-
Crie um espaço privado
Se você não criou um espaço para seu JupyterLab aplicativo, escolha Criar um JupyterLab espaço. Insira um nome para o espaço e mantenha-o como Privado. Deixe todas as outras configurações com seus valores padrão e escolha Criar espaço.
Caso contrário, execute seu JupyterLab espaço para iniciar um JupyterLab aplicativo.
-
Implemente seus modelos LLM e incorpore para inferência
-
No menu superior, escolha Arquivo, Novo e, em seguida, Terminal.
-
No terminal, execute o comando a seguir.
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb mkdir AWSGuides cd AWSGuides wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
Isso recupera o
Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
notebook para seu diretório local e baixa três PDF arquivos em umaAWSGuides
pasta local. -
Abra
lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
, mantenha oPython 3 (ipykernel)
kernel e execute cada célula.Atenção
Na seção Contrato de Licença do Llama 2, certifique-se de aceitar o Llama2 EULA antes de continuar.
O notebook implanta dois modelos
Llama 2
eall-MiniLM-L6-v2 Models
,ml.g5.2xlarge
para inferência.A implantação dos modelos e a criação dos endpoints podem levar algum tempo.
-
-
Abra seu caderno principal
Em JupyterLab, abra seu terminal e execute o seguinte comando.
cd .. wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
Você deve ver o
Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
caderno adicional no painel esquerdo do JupyterLab. -
Escolha um
PySpark
kernelAbra seu
Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
notebook e verifique se você está usando oSparkMagic PySpark
kernel. Você pode alternar o kernel no canto superior direito do seu notebook. Escolha o nome atual do kernel para abrir um modal de seleção do kernel e, em seguida, escolha.SparkMagic PySpark
-
Conecte seu notebook ao cluster
-
No canto superior direito do seu notebook, escolha Cluster. Essa ação abre uma janela modal que lista todos os clusters em execução que você tem permissão para acessar.
-
Selecione seu cluster e escolha Connect. Uma nova janela modal de seleção de tipo de credencial é aberta.
-
Escolha Sem credencial e, em seguida, Conectar.
-
Uma célula do notebook é preenchida e executada automaticamente. A célula do notebook carrega a
sagemaker_studio_analytics_extension.magics
extensão, que fornece funcionalidade para se conectar ao EMR cluster da Amazon. Em seguida, ele usa o comando%sm_analytics
mágico para iniciar a conexão com seu EMR cluster Amazon e com o aplicativo Spark.nota
Certifique-se de que a cadeia de conexão com seu EMR cluster da Amazon tenha um tipo de autenticação definido como
None
. Isso é ilustrado pelo valor--auth-type None
no exemplo a seguir. Você pode modificar o campo, se necessário.%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --verify-certificate False --cluster-id
your-cluster-id
--auth-typeNone
--language python -
Depois de estabelecer a conexão com sucesso, a mensagem de saída da célula de conexão deve exibir seus
SparkSession
detalhes, incluindo o ID do cluster, o ID doYARN
aplicativo e um link para a Spark interface do usuário para monitorar seus Spark trabalhos.
-
Você está pronto para usar o Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
notebook. Este exemplo de notebook executa PySpark cargas de trabalho distribuídas para criar um RAG sistema usando LangChain e. OpenSearch
Etapa 4: limpe sua AWS CloudFormation pilha
Depois de terminar, certifique-se de encerrar seus dois endpoints e excluir sua AWS CloudFormation pilha para evitar cobranças contínuas. A exclusão da pilha limpa todos os recursos que foram provisionados pela pilha.
Para excluir sua AWS CloudFormation pilha quando você terminar de usá-la
-
Acesse o AWS CloudFormation console: https://console.aws.amazon.com/cloudformation
-
Selecione a pilha que você deseja excluir. Você pode procurá-lo pelo nome ou encontrá-lo na lista de pilhas.
-
Clique no botão Excluir para finalizar a exclusão da pilha e depois em Excluir novamente para reconhecer que isso excluirá todos os recursos criados pela pilha.
Aguarde a conclusão da exclusão da pilha. Isso pode levar alguns minutos. AWS CloudFormation limpa automaticamente todos os recursos definidos no modelo de pilha.
-
Verifique se todos os recursos criados pela pilha foram excluídos. Por exemplo, verifique se há algum cluster restante da AmazonEMR.
Para remover os API endpoints de um modelo
-
Vá para o SageMaker console: https://console.aws.amazon.com/sagemaker/
. -
No painel de navegação esquerdo, escolha Inferência e, em seguida, Endpoints.
-
Selecione o endpoint
hf-allminil6v2-embedding-ep
e escolha Excluir na lista suspensa Ações. Repita a etapa para o endpointmeta-llama2-7b-chat-tg-ep
.