Mejore los núcleos con magic comandos en EMR Studio

Descripción general

Soporte para EMR Studio y EMR Notebooks magic comandos. Comando mágico comandos, o magics, son mejoras que el IPython núcleo proporciona para ayudarle a ejecutar y analizar datos. IPythones un entorno de shell interactivo creado con Python.

Amazon EMR también admite Sparkmagic, un paquete que proporciona núcleos relacionados con Spark (núcleos de PySpark SparkR y Scala) con especificaciones magic comandos y que usa Livy en el clúster para enviar los trabajos de Spark.

Puede usar… magic comandos siempre que tenga un núcleo de Python en su cuaderno EMR. Del mismo modo, cualquier núcleo relacionado con Spark admite Sparkmagic comandos.

Magic comandos, también llamados magics, vienen en dos variedades:

Para todos los disponibles magicAsí que, miraEnumeración magic y Sparkmagic Comandos de la de .

Consideraciones y limitaciones

Enumeración magic y Sparkmagic Comandos de la de

Utilice los siguientes comandos para enumerar los disponibles magic comandos:

Usar %%configure para configurar Spark

Uno de los más útiles Sparkmagic comandos es el %%configure comando que configura los parámetros de creación de la sesión. En cuanto a los ajustes de conf, puede establecer cualquier configuración de Spark que se mencione en la documentación de configuración de Apache Spark.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

Usar %%sh para ejecutar spark-submit

la %%sh, magic ejecuta comandos de shell en un subproceso de una instancia del clúster adjunto. Normalmente, utilizaría uno de los kernels relacionados con Spark para ejecutar las aplicaciones de Spark en su clúster asociado. Sin embargo, si quieres usar un kernel de Python para enviar una aplicación de Spark, puedes usar lo siguiente magic, sustituyendo el nombre del bucket por el nombre del tuyo en minúsculas.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

En este ejemplo, el clúster tiene que acceder a la ubicación de s3://amzn-s3-demo-bucket/test.py o se producirá un error en el comando.

Puede usar cualquier comando de Linux con el %%sh magic. Si quieres ejecutar algún comando de Spark o YARN, usa una de las siguientes opciones para crear un usuario de emr-notebook Hadoop y concederle permisos para ejecutar los comandos:

Usar %%display para visualizar los marcos de datos de Spark

Puedes usar el %%display magic para visualizar un marco de datos de Spark. Para usar esto magic, ejecute el siguiente comando.

%%display df

Elija ver los resultados en formato de tabla, como se muestra en la siguiente imagen.

También puede optar por visualizar sus datos con cinco tipos de gráficos. Las opciones son gráficos circulares, de dispersión, de líneas, de áreas y de barras.

Utilice EMR Notebooks magics

Amazon EMR proporciona los siguientes cuadernos EMR: magics que puede utilizar con los núcleos basados en Python3 y Spark:

Requisitos previos

Antes de instalar EMR Notebooks magicPor lo tanto, complete las siguientes tareas:

Instale EMR Notebooks magics

Complete los siguientes pasos para instalar EMR Notebooks magic.

Montar un directorio del espacio de trabajo con %mount_workspace_dir

la %mount_workspace_dir, magic le permite montar el directorio de Workspace en el clúster de EMR para que pueda importar y ejecutar otros archivos, módulos o paquetes almacenados en el directorio.

En el siguiente ejemplo, se monta todo el directorio del espacio de trabajo en un clúster y se especifica el argumento opcional <--fuse-type> para usar goofys para montar el directorio.

%mount_workspace_dir . <--fuse-type goofys>

Para comprobar que el directorio del espacio de trabajo esté montado, utilice el siguiente ejemplo para mostrar el directorio de trabajo actual con el comando ls. La salida debe mostrar todos los archivos del espacio de trabajo.

%%sh
ls

Cuando termine de realizar cambios en su espacio de trabajo, puede desmontar el directorio del espacio de trabajo con el siguiente comando:

%umount_workspace_dir

Descargar un objeto de Amazon S3 con %generate_s3_download_url

El comando generate_s3_download_url, crea una URL prefirmada para un objeto almacenado en Amazon S3. Puede usar la URL prefirmada para descargar el objeto a su máquina local. Por ejemplo, puede ejecutar generate_s3_download_url para descargar el resultado de una consulta SQL que su código escribe en Amazon S3.

De forma predeterminada, la URL prefirmada es válida durante 60 minutos. Puede cambiar el tiempo de caducidad especificando un número de segundos para la marca --expires-in. Por ejemplo, --expires-in 1800 crea una URL que es válida durante 30 minutos.

El siguiente ejemplo genera un enlace de descarga para un objeto especificando la ruta completa de Amazon S3: s3://EXAMPLE-DOC-BUCKET/path/to/my/object.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

Para obtener más información sobre el uso de generate_s3_download_url, ejecute el siguiente comando para mostrar el texto de ayuda.

%generate_s3_download_url?

Ejecución de un cuaderno en el modo sin encabezado con %execute_notebook

Con %execute_notebook magic, puede ejecutar otro bloc de notas en modo headless y ver el resultado de cada celda que haya ejecutado. Este magic requiere permisos adicionales para el rol de instancia que Amazon EMR y Amazon EC2 comparten. Para obtener más información sobre cómo conceder permisos adicionales, ejecute el comando %execute_notebook?.

Durante un trabajo de larga duración, es posible que el sistema entre en modo de suspensión debido a la inactividad o que pierda temporalmente la conectividad a internet. Esto podría interrumpir la conexión entre su navegador y el servidor de Jupyter. En este caso, podría perder la salida de las celdas que ha ejecutado y enviado desde el servidor de Jupyter.

Si ejecuta el portátil en modo headless con %execute_notebook magic, EMR Notebooks captura la salida de las células en funcionamiento, incluso si la red local sufre una interrupción. Cuadernos de EMR guarda la salida de forma incremental en un nuevo cuaderno con el mismo nombre que el cuaderno que ha utilizado. A continuación, Cuadernos de EMR coloca el cuaderno en una nueva carpeta dentro del espacio de trabajo. Las ejecuciones sin encabezado se realizan en el mismo clúster y utilizan el rol de servicio EMR_Notebook_DefaultRole, pero los argumentos adicionales pueden alterar los valores predeterminados.

Para ejecutar un cuaderno en el modo sin encabezado, utilice el siguiente comando:

%execute_notebook <relative-file-path>

Para especificar un ID de clúster y un rol de servicio para una ejecución sin encabezado, use el siguiente comando:

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Cuando Amazon EMR y Amazon EC2 comparten un rol de instancia, el rol requiere los siguientes permisos adicionales:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}