Conéctate a un EMR clúster de Amazon desde SageMaker Studio o Studio Classic - Amazon SageMaker
Conéctate mediante la interfaz de usuario de StudioConectarse mediante un comando de conexiónConéctese a través de HTTPS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conéctate a un EMR clúster de Amazon desde SageMaker Studio o Studio Classic

Los usuarios de Studio pueden conectarse a sus EMR clústeres de Amazon en ejecución desde un JupyterLab bloc de notas utilizando sus clústeres predeterminadosSageMaker Imágenes de distribución. Los usuarios de Studio Classic pueden conectarse a sus clústeres desde un bloc de notas de Studio Classic mediante cualquiera de los núcleos compatibles.

Conéctate a un EMR clúster de Amazon mediante la interfaz de usuario de Studio

Para conectarte a tu clúster mediante la interfaz de usuario de Studio o Studio Classic, puedes iniciar una conexión desde la lista de clústeres a los que se accede o desde una libreta de SageMaker Studio o Studio Classic. Listar EMR los clústeres de Amazon de Studio o Studio Classic

Para conectarse a un clúster concreto de su lista de clústeres

  1. Elija el nombre del clúster en la lista. Esto activa el botón Adjuntar a una nueva libreta.

  2. Seleccione Attach to new notebook )Asociar a un nuevo cuaderno). Esto abre el cuadro de selección de imágenes y kernels.

  3. Selecciona la imagen y el kernel y, a continuación, elija Señlect (Seleccionar). Para obtener una lista de imágenes compatibles, consulte Imágenes y núcleos compatibles para conectarse a un EMR clúster de Amazon desde Studio o Studio Classic o Lleve su propia imagen.

  4. Si el clúster que selecciona no utiliza Kerberos o la autenticación de roles en tiempo de ejecución, Studio o Studio Classic le pedirán que seleccione el tipo de credencial. LDAP Elija entre Http basic authentication (Autenticación básica HTTP) o No credentials (Sin credenciales) e introduzca sus credenciales, si corresponde. Un comando de conexión rellena la primera celda del bloc de notas e inicia la conexión con el clúster de AmazonEMR.

    Cuando la conexión se realice correctamente, un mensaje confirmará la conexión y el inicio de la aplicación Spark.

Como alternativa, puede conectarse a un clúster desde un ordenador portátil.

  1. Seleccione Cluster (Clúster) en la parte superior del cuaderno.

    Cluster (Clúster) solo está visible cuando se utiliza un kernel desde Imágenes y núcleos compatibles para conectarse a un EMR clúster de Amazon desde Studio o Studio Classic o desde Lleve su propia imagen. Si no puede ver el clúster en la parte superior de su bloc de notas, asegúrese de que el administrador haya configurado la capacidad de detección de los clústeres y cambie a un núcleo compatible.

    Esto abre una lista de los clústeres disponibles en un Running estado.

  2. Seleccione el clúster al que desea conectarse y, a continuación, elija Connect (Conectar).

  3. Si has configurado tus EMR clústeres de Amazon para que admitan IAM funciones en tiempo de ejecución y el administrador ha precargado las funciones en una configuración de funciones de ejecuciónJSON, puedes seleccionar tu función de EMR acceso a Amazon en el menú desplegable de funciones de EMRejecución de Amazon. Si sus funciones no están precargadas, Studio o Studio Classic utilizan su función de ejecución de Studio o Studio Classic de forma predeterminada. Para obtener información sobre el uso de roles de tiempo de ejecución con AmazonEMR, consulteConéctate a un EMR clúster de Amazon desde Studio Classic mediante IAM roles de tiempo de ejecución. Cuando te conectas a un clúster, Studio o Studio Classic añaden un bloque de código a una celda activa para establecer la conexión.

    De lo contrario, si el clúster que elija no utiliza Kerberos o la autenticación de roles en tiempo de ejecución, Studio o Studio Classic le solicitarán que seleccione el tipo de credencial. LDAP Puede elegir entre autenticación HTTP básica o Sin credenciales.

  4. Se llena y se ejecuta una celda activa. Esta celda contiene el comando de conexión para conectarse a tu EMR clúster de Amazon.

    Cuando la conexión se realice correctamente, aparecerá un mensaje confirmando la conexión y el inicio de la aplicación Spark.

Conéctate a un EMR clúster de Amazon mediante un comando de conexión

Para establecer una conexión con un EMR clúster de Amazon, puede ejecutar comandos de conexión dentro de una celda de bloc de notas.

Al establecer la conexión, puede autenticarse mediante Kerberos, el Protocolo ligero de acceso a directorios (LDAP) o la autenticación de IAMroles en tiempo de ejecución. El método de autenticación que elija depende de la configuración del clúster.

Puede consultar este ejemplo: Acceda a Apache Livy mediante un Network Load Balancer en un clúster de Amazon habilitado para Kerberos para configurar un clúster de EMR Amazon que utilice la autenticación de KerberosEMR. Como alternativa, puede explorar las plantillas de CloudFormation ejemplo mediante Kerberos o la autenticación en el repositorio aws-samples/. LDAP sagemaker-studio-emr GitHub

Si tu administrador ha activado el acceso entre cuentas, puedes conectarte a tu EMR clúster de Amazon desde una libreta de Studio Classic, independientemente de si la aplicación y el clúster de Studio Classic residen en la misma AWS cuenta o en cuentas diferentes.

Para cada uno de los siguientes tipos de autenticación, usa el comando especificado para conectarte al clúster desde tu bloc de notas Studio o Studio Classic.

  • Kerberos

    Añade el --assumable-role-arn argumento si necesitas acceso multicuenta a AmazonEMR. Añade el --verify-certificate argumento si te conectas a tu clúster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Kerberos --language python 
[--assumable-role-arn EMR_access_role_ARN ] 
[--verify-certificate /home/user/certificateKey.pem]

  • LDAP

    Añade el --assumable-role-arn argumento si necesitas acceso multicuenta a AmazonEMR. Añade el --verify-certificate argumento si te conectas a tu clúster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access --language python 
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • NoAuth

    Añade el --assumable-role-arn argumento si necesitas acceso multicuenta a AmazonEMR. Añade el --verify-certificate argumento si te conectas a tu clúster con. HTTPS

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type None --language python
[--assumable-role-arn EMR_access_role_ARN ]
[--verify-certificate /home/user/certificateKey.pem]

  • Funciones de tiempo de ejecución IAM

    Añade el --assumable-role-arn argumento si necesitas acceso multicuenta a AmazonEMR. Añade el --verify-certificate argumento si te conectas a tu clúster con. HTTPS

    Para obtener más información sobre cómo conectarse a un EMR clúster de Amazon mediante IAM roles de tiempo de ejecución, consulteConéctate a un EMR clúster de Amazon desde Studio Classic mediante IAM roles de tiempo de ejecución.

    %load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --cluster-id cluster_id \
--auth-type Basic_Access \
--emr-execution-role-arn arn:aws:iam::studio_account_id:role/emr-execution-role-name
[--assumable-role-arn EMR_access_role_ARN]
[--verify-certificate /home/user/certificateKey.pem]

Conéctate a un EMR clúster de Amazon a través de HTTPS

Si ha configurado su EMR clúster de Amazon con el cifrado de tránsito habilitado y el servidor Apache HTTPS Livy y desea que Studio o Studio Classic se comuniquen con Amazon EMR medianteHTTPS, debe configurar Studio o Studio Classic para acceder a su clave de certificado.

En el caso de los certificados autofirmados o firmados por una autoridad de certificación (CA) local, puede hacerlo en dos pasos:

  1. Descarga el PEM archivo de tu certificado a tu sistema de archivos local mediante una de las siguientes opciones:

  2. Habilite la validación del certificado proporcionando la ruta al certificado en el argumento --verify-certificate del comando de conexión.

    %sm_analytics emr connect --cluster-id cluster_id \
--verify-certificate /home/user/certificateKey.pem ...

Para los certificados públicos emitidos por una CA, defina la validación del certificado configurando el parámetro --verify-certificate como true.

Como alternativa, puede deshabilitar la validación del certificado configurando el parámetro --verify-certificate como false.

Puedes encontrar la lista de comandos de conexión disponibles a un EMR clúster de Amazon enConéctate a un EMR clúster de Amazon mediante un comando de conexión.