Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Inicio rápido: crea un dominio SageMaker sandbox para lanzar EMR clústeres de Amazon en Studio
En esta sección, se explica la configuración rápida de un entorno de pruebas completo en Amazon SageMaker Studio. Crearás un nuevo dominio de Studio que permitirá a los usuarios lanzar nuevos EMR clústeres de Amazon directamente desde Studio. Los pasos proporcionan un ejemplo de bloc de notas que puedes conectar a un EMR clúster de Amazon para empezar a ejecutar Spark cargas de trabajo. Con este cuaderno, creará un sistema de generación aumentada de recuperación (RAG) utilizando el procesamiento distribuido y la base de datos OpenSearch vectoriales de Amazon EMR Spark.
nota
Para empezar, inicie sesión en la consola AWS de administración con una cuenta de usuario AWS Identity and Access Management (IAM) con permisos de administrador. Para obtener información sobre cómo registrar una AWS cuenta y crear un usuario con acceso administrativo, consulte SageMaker Requisitos previos de Amazon.
Para configurar el entorno de pruebas de Studio y empezar a ejecutar Spark tareas:
Paso 1: Crear un SageMaker dominio para lanzar EMR clústeres de Amazon en Studio
En los siguientes pasos, aplicas una AWS CloudFormation pila para crear automáticamente un SageMaker dominio nuevo. La pila también crea un perfil de usuario y configura el entorno y los permisos necesarios. El SageMaker dominio está configurado para que puedas lanzar EMR clústeres de Amazon directamente desde Studio. En este ejemplo, los EMR clústeres de Amazon se crean en la misma AWS
cuenta que SageMaker sin autenticación. Puede encontrar AWS CloudFormation pilas adicionales que admiten varios métodos de autenticación, como Kerberos, en el repositorio GitHub getting_started
nota
SageMaker permite 5 dominios de Studio por AWS cuenta y de forma predeterminada. Región de AWS Asegúrese de que su cuenta no tenga más de 4 dominios en su región antes de crear su pila.
Sigue estos pasos para configurar un SageMaker dominio para lanzar EMR clústeres de Amazon desde Studio.
-
Descarga el archivo sin procesar de esta AWS CloudFormation plantilla
desde el sagemaker-studio-emr
GitHub repositorio. -
Ve a la AWS CloudFormation consola: https://console.aws.amazon.com/cloudformation
-
Selecciona Crear pila y selecciona Con nuevos recursos (estándar) en el menú desplegable.
-
En el paso 1:
-
En la sección Preparar plantilla, selecciona Elegir una plantilla existente.
-
En la sección Especificar plantilla, elija Cargar un archivo de plantilla.
-
Carga la AWS CloudFormation plantilla descargada y selecciona Siguiente.
-
-
En el paso 2, introduce un nombre para la pila y SageMakerDomainName, a continuación, selecciona Siguiente.
-
En el paso 3, mantenga todos los valores predeterminados y elija Siguiente.
-
En el paso 4, marca la casilla para confirmar la creación del recurso y selecciona Crear pila. De este modo, se crea un dominio de Studio en tu cuenta y región.
Paso 2: lanza un nuevo EMR clúster de Amazon desde la interfaz de usuario de Studio
En los siguientes pasos, crearás un nuevo EMR clúster de Amazon desde la interfaz de usuario de Studio.
-
Ve a la SageMaker consola https://console.aws.amazon.com/sagemaker/
y selecciona Dominios en el menú de la izquierda. -
Haz clic en tu nombre de dominio G enerativeAIDomain para abrir la página de detalles del dominio.
-
Abre Studio desde el perfil de usuario
genai-user
. -
En el panel de navegación izquierdo, ve a Datos y luego a Amazon EMR Clusters.
-
En la página de EMR clústeres de Amazon, selecciona Crear. Selecciona la plantilla SageMaker Studio Domain No Auth EMR creada por la AWS CloudFormation pila y, a continuación, selecciona Siguiente.
-
Introduce un nombre para el nuevo EMR clúster de Amazon. Si lo desea, actualice otros parámetros, como el tipo de instancia de los nodos principales y maestros, el tiempo de espera de inactividad o el número de nodos principales.
-
Selecciona Crear recurso para lanzar el nuevo EMR clúster de Amazon.
Tras crear el EMR clúster de Amazon, sigue el estado de la página EMRClústeres. Cuando el estado cambie a
Running/Waiting
, tu EMR clúster de Amazon estará listo para usarse en Studio.
Paso 3: Conectar un JupyterLab portátil al EMR clúster de Amazon
En los siguientes pasos, conectas un bloc de notas JupyterLab al EMR clúster de Amazon en ejecución. Para este ejemplo, importa una libreta que le permite crear un sistema de generación aumentada de recuperación (RAG) utilizando el procesamiento distribuido y la base de datos OpenSearch vectoriales de Amazon EMR Spark.
-
Lanza JupyterLab
Desde Studio, inicia la JupyterLab aplicación.
-
Crea un espacio privado
Si no ha creado un espacio para su JupyterLab aplicación, elija Crear un JupyterLab espacio. Introduzca un nombre para el espacio y manténgalo como privado. Deje todas las demás configuraciones con sus valores predeterminados y, a continuación, elija Crear espacio.
De lo contrario, ejecuta tu JupyterLab espacio para iniciar una JupyterLab aplicación.
-
Implemente sus modelos LLM y los de incrustación para realizar inferencias
-
En el menú superior, selecciona Archivo, Nuevo y, a continuación, Terminal.
-
En la terminal, ejecuta el siguiente comando.
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb mkdir AWSGuides cd AWSGuides wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
Esto recupera el
Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
cuaderno en su directorio local y descarga tres PDF archivos en unaAWSGuides
carpeta local. -
Abre
lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
, conserva elPython 3 (ipykernel)
núcleo y ejecuta cada celda.aviso
En la sección del acuerdo de licencia de Llama 2, asegúrese de aceptar el Llama2 EULA antes de continuar.
El cuaderno utiliza dos modelos
Llama 2
y uno a modo deall-MiniLM-L6-v2 Models
inferenciaml.g5.2xlarge
.El despliegue de los modelos y la creación de los puntos finales pueden llevar algún tiempo.
-
-
Abre tu bloc de notas principal
En JupyterLab, abre tu terminal y ejecuta el siguiente comando.
cd .. wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
Deberías ver el
Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
cuaderno adicional en el panel izquierdo de JupyterLab. -
Elija un
PySpark
núcleoAbra su
Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
bloc de notas y asegúrese de que está utilizando elSparkMagic PySpark
núcleo. Puede cambiar de núcleo en la parte superior derecha de su ordenador portátil. Elija el nombre del núcleo actual para abrir un modal de selección del núcleo y, a continuación, elijaSparkMagic PySpark
. -
Conecta tu portátil al clúster
-
En la parte superior derecha del portátil, selecciona Clúster. Esta acción abre una ventana modal en la que se muestran todos los clústeres en ejecución a los que tiene permiso de acceso.
-
Seleccione su clúster y, a continuación, elija Connect. Se abre una nueva ventana modal de selección del tipo de credencial.
-
Elija Sin credencial y, a continuación, Conectar.
-
Una celda de cuaderno se rellena y se ejecuta automáticamente. La celda del portátil carga la
sagemaker_studio_analytics_extension.magics
extensión, que proporciona la funcionalidad para conectarse al EMR clúster de Amazon. A continuación, utiliza el comando%sm_analytics
mágico para iniciar la conexión con tu EMR clúster de Amazon y la aplicación Spark.nota
Asegúrese de que la cadena de conexión a su EMR clúster de Amazon tenga un tipo de autenticación establecido en
None
. Esto se ilustra con--auth-type None
el valor del siguiente ejemplo. Si es necesario, puede modificar el campo.%load_ext sagemaker_studio_analytics_extension.magics %sm_analytics emr connect --verify-certificate False --cluster-id
your-cluster-id
--auth-typeNone
--language python -
Una vez que haya establecido correctamente la conexión, el mensaje de salida de la celda de conexión debería mostrar sus
SparkSession
detalles, incluidos el ID del clúster, el ID de laYARN
aplicación y un enlace a la Spark interfaz de usuario para supervisar sus Spark trabajos.
-
Ya está listo para usar el Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
cuaderno. Este ejemplo de portátil ejecuta PySpark cargas de trabajo distribuidas para crear un RAG sistema mediante LangChain y OpenSearch.
Paso 4: Limpia tu pila AWS CloudFormation
Cuando termines, asegúrate de eliminar tus dos puntos finales y de eliminar tu AWS CloudFormation pila para evitar que se sigan cobrando. Al eliminar la pila, se limpian todos los recursos aprovisionados por la pila.
Para eliminar tu AWS CloudFormation pila cuando termines de utilizarla
-
Ve a la AWS CloudFormation consola: https://console.aws.amazon.com/cloudformation
-
Selecciona la pila que deseas eliminar. Puedes buscarla por su nombre o encontrarla en la lista de pilas.
-
Haga clic en el botón Eliminar para finalizar la eliminación de la pila y, a continuación, en Eliminar de nuevo para confirmar que se eliminarán todos los recursos creados por la pila.
Espera a que se complete la eliminación de la pila. Esto puede tardar unos minutos. AWS CloudFormation limpia automáticamente todos los recursos definidos en la plantilla de pila.
-
Compruebe que se hayan eliminado todos los recursos creados por la pila. Por ejemplo, comprueba si hay algún clúster de Amazon EMR sobrante.
Para eliminar los API puntos finales de un modelo
-
Ve a la SageMaker consola: https://console.aws.amazon.com/sagemaker/
. -
En el panel de navegación izquierdo, elija Inferencia y, a continuación, Puntos finales.
-
Seleccione el punto final
hf-allminil6v2-embedding-ep
y, a continuación, elija Eliminar en la lista desplegable Acciones. Repita el paso para el punto finalmeta-llama2-7b-chat-tg-ep
.