Inicio rápido: crea un dominio SageMaker sandbox para lanzar EMR clústeres de Amazon en Studio

Sigue estos pasos para configurar un SageMaker dominio para lanzar EMR clústeres de Amazon desde Studio.

1. Descarga el archivo sin procesar de esta AWS CloudFormation plantilla desde el sagemaker-studio-emr GitHub repositorio.

2. Ve a la AWS CloudFormation consola: https://console.aws.amazon.com/cloudformation

3. Selecciona Crear pila y selecciona Con nuevos recursos (estándar) en el menú desplegable.

4. En el paso 1:

   1. En la sección Preparar plantilla, selecciona Elegir una plantilla existente.

   2. En la sección Especificar plantilla, elija Cargar un archivo de plantilla.

   3. Carga la AWS CloudFormation plantilla descargada y selecciona Siguiente.

5. En el paso 2, introduce un nombre para la pila y SageMakerDomainName, a continuación, selecciona Siguiente.

6. En el paso 3, mantenga todos los valores predeterminados y elija Siguiente.

7. En el paso 4, marca la casilla para confirmar la creación del recurso y selecciona Crear pila. De este modo, se crea un dominio de Studio en tu cuenta y región.

1. Ve a la SageMaker consola https://console.aws.amazon.com/sagemaker/y selecciona Dominios en el menú de la izquierda.

2. Haz clic en tu nombre de dominio G enerativeAIDomain para abrir la página de detalles del dominio.

3. Abre Studio desde el perfil de usuariogenai-user.

4. En el panel de navegación izquierdo, ve a Datos y luego a Amazon EMR Clusters.

5. En la página de EMR clústeres de Amazon, selecciona Crear. Selecciona la plantilla SageMaker Studio Domain No Auth EMR creada por la AWS CloudFormation pila y, a continuación, selecciona Siguiente.

6. Introduce un nombre para el nuevo EMR clúster de Amazon. Si lo desea, actualice otros parámetros, como el tipo de instancia de los nodos principales y maestros, el tiempo de espera de inactividad o el número de nodos principales.

7. Selecciona Crear recurso para lanzar el nuevo EMR clúster de Amazon.

   Tras crear el EMR clúster de Amazon, sigue el estado de la página EMRClústeres. Cuando el estado cambie aRunning/Waiting, tu EMR clúster de Amazon estará listo para usarse en Studio.

1. Lanza JupyterLab

   Desde Studio, inicia la JupyterLab aplicación.

2. Crea un espacio privado

   Si no ha creado un espacio para su JupyterLab aplicación, elija Crear un JupyterLab espacio. Introduzca un nombre para el espacio y manténgalo como privado. Deje todas las demás configuraciones con sus valores predeterminados y, a continuación, elija Crear espacio.

   De lo contrario, ejecuta tu JupyterLab espacio para iniciar una JupyterLab aplicación.

3. Implemente sus modelos LLM y los de incrustación para realizar inferencias

   • En el menú superior, selecciona Archivo, Nuevo y, a continuación, Terminal.

   • En la terminal, ejecuta el siguiente comando.

     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
     mkdir AWSGuides
     cd AWSGuides
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
     wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf

     Esto recupera el Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb cuaderno en su directorio local y descarga tres PDF archivos en una AWSGuides carpeta local.

   • Abrelab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb, conserva el Python 3 (ipykernel) núcleo y ejecuta cada celda.

     aviso

     En la sección del acuerdo de licencia de Llama 2, asegúrese de aceptar el Llama2 EULA antes de continuar.

     El cuaderno utiliza dos modelos Llama 2 y uno a modo de all-MiniLM-L6-v2 Models inferenciaml.g5.2xlarge.

     El despliegue de los modelos y la creación de los puntos finales pueden llevar algún tiempo.

4. Abre tu bloc de notas principal

   En JupyterLab, abre tu terminal y ejecuta el siguiente comando.

   cd ..
   wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
   

   Deberías ver el Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb cuaderno adicional en el panel izquierdo de JupyterLab.

5. Elija un PySpark núcleo

   Abra su Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb bloc de notas y asegúrese de que está utilizando el SparkMagic PySpark núcleo. Puede cambiar de núcleo en la parte superior derecha de su ordenador portátil. Elija el nombre del núcleo actual para abrir un modal de selección del núcleo y, a continuación, elijaSparkMagic PySpark.

6. Conecta tu portátil al clúster

   1. En la parte superior derecha del portátil, selecciona Clúster. Esta acción abre una ventana modal en la que se muestran todos los clústeres en ejecución a los que tiene permiso de acceso.

   2. Seleccione su clúster y, a continuación, elija Connect. Se abre una nueva ventana modal de selección del tipo de credencial.

   3. Elija Sin credencial y, a continuación, Conectar.

      

   4. Una celda de cuaderno se rellena y se ejecuta automáticamente. La celda del portátil carga la sagemaker_studio_analytics_extension.magics extensión, que proporciona la funcionalidad para conectarse al EMR clúster de Amazon. A continuación, utiliza el comando %sm_analytics mágico para iniciar la conexión con tu EMR clúster de Amazon y la aplicación Spark.

      nota

      Asegúrese de que la cadena de conexión a su EMR clúster de Amazon tenga un tipo de autenticación establecido enNone. Esto se ilustra con --auth-type None el valor del siguiente ejemplo. Si es necesario, puede modificar el campo.

      %load_ext sagemaker_studio_analytics_extension.magics
      %sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python 

   5. Una vez que haya establecido correctamente la conexión, el mensaje de salida de la celda de conexión debería mostrar sus SparkSession detalles, incluidos el ID del clúster, el ID de la YARN aplicación y un enlace a la Spark interfaz de usuario para supervisar sus Spark trabajos.

Para eliminar tu AWS CloudFormation pila cuando termines de utilizarla

1. Ve a la AWS CloudFormation consola: https://console.aws.amazon.com/cloudformation

2. Selecciona la pila que deseas eliminar. Puedes buscarla por su nombre o encontrarla en la lista de pilas.

3. Haga clic en el botón Eliminar para finalizar la eliminación de la pila y, a continuación, en Eliminar de nuevo para confirmar que se eliminarán todos los recursos creados por la pila.

   Espera a que se complete la eliminación de la pila. Esto puede tardar unos minutos. AWS CloudFormation limpia automáticamente todos los recursos definidos en la plantilla de pila.

4. Compruebe que se hayan eliminado todos los recursos creados por la pila. Por ejemplo, comprueba si hay algún clúster de Amazon EMR sobrante.

Para eliminar los API puntos finales de un modelo

1. Ve a la SageMaker consola: https://console.aws.amazon.com/sagemaker/.

2. En el panel de navegación izquierdo, elija Inferencia y, a continuación, Puntos finales.

3. Seleccione el punto final hf-allminil6v2-embedding-ep y, a continuación, elija Eliminar en la lista desplegable Acciones. Repita el paso para el punto finalmeta-llama2-7b-chat-tg-ep.