Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Habilitar la suplantación de usuario para supervisar la actividad del usuario y del trabajo de Spark

EMRNotebooks te permite configurar la suplantación de usuarios en un clúster de Spark. Esta característica le ayuda a realizar un seguimiento de la actividad de los trabajos iniciados desde el propio editor de blocs de notas. Además, EMR Notebooks tiene un widget integrado de Jupyter Notebook para ver los detalles de los trabajos de Spark junto con los resultados de las consultas en el editor de cuadernos. El widget está disponible de forma predeterminada y no requiere ninguna configuración especial. Sin embargo, para ver los servidores de historial, su cliente debe estar configurado para ver las interfaces EMR web de Amazon que están alojadas en el nodo principal.

Configuración de la suplantación de usuarios de Spark

De forma predeterminada, los trabajos de Spark que los usuarios envían mediante el editor de blocs de notas parecen proceder de una identidad de usuario de livy indefinida. Es posible configurar la suplantación de usuarios para dicho clúster para que estos trabajos se asocien a la identidad del usuario que ejecutó el código. HDFSLos directorios de usuarios del nodo principal se crean para cada identidad de usuario que ejecuta código en el bloc de notas. Por ejemplo, si el usuario NbUser1 ejecuta código desde el editor de cuadernos, puede conectarse con el nodo principal y comprobar que hadoop fs -ls /user muestra el directorio /user/user_NbUser1.

Para habilitar esta característica, establezca las propiedades de las clasificaciones de configuración core-site y livy-conf. Esta función no está disponible de forma predeterminada cuando haces que Amazon EMR cree un clúster junto con un bloc de notas. Para obtener más información sobre el uso de las clasificaciones de configuración para personalizar las aplicaciones, consulte Configuración de aplicaciones en la Amazon EMR Release Guide.

Utilice las siguientes clasificaciones y valores de configuración para permitir la suplantación de la identidad de los usuarios en los portátiles: EMR

[
    {
        "Classification": "core-site",
        "Properties": {
          "hadoop.proxyuser.livy.groups": "*",
          "hadoop.proxyuser.livy.hosts": "*"
        }
    },
    {
        "Classification": "livy-conf",
        "Properties": {
          "livy.impersonation.enabled": "true"
        }
    }
]

Uso del widget de supervisión de trabajos de Spark

Cuando ejecutas código en el editor de cuadernos que ejecuta tareas de Spark en el EMR clúster, el resultado incluye un widget de Jupyter Notebook para monitorizar las tareas de Spark. El widget proporciona detalles del trabajo y enlaces útiles a la página del servidor de historial de Spark y a la página del historial de trabajos de Hadoop, junto con los enlaces correspondientes a registros de trabajos en Amazon S3 para los trabajos con errores.

Para ver el historial de las páginas del servidor en el nodo principal del clúster, debes configurar un SSH cliente y un proxy según corresponda. Para obtener más información, consulte Ver las interfaces web alojadas en los EMR clústeres de Amazon. Para ver los registros en Amazon S3, el registro de clúster debe estar habilitado, que es la opción predeterminada para los clústeres nuevos. Para obtener más información, consulte Ver los archivos de registro archivados en Amazon S3.

A continuación, se muestra un ejemplo de supervisión de trabajos de Spark.