Introducción a EMR sin servidor con la consola

Para ejecutar un trabajo de Spark

1. Cargue el script de ejemplo wordcount.py en su nuevo bucket con el siguiente comando.

   aws s3 cp s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py s3://amzn-s3-demo-bucket/scripts/

2. Al completar Paso 1: cree una aplicación de EMR sin servidor, accederá a la página de los Detalles de la aplicación en EMR Studio. Allí, elija la opción Enviar trabajo.

3. En la página Enviar trabajo, complete lo siguiente.

   • En el campo Nombre, escriba el nombre con el que desee llamar a la ejecución de trabajo.

   • En el campo Rol de tiempo de ejecución, escriba el nombre del rol que ha creado en Crear un rol de tiempo de ejecución del trabajo.

   • En el campo Ubicación del script, escriba s3://amzn-s3-demo-bucket/scripts/wordcount.py como el URI de S3.

   • En el campo Argumentos del script, escriba ["s3://amzn-s3-demo-bucket/emr-serverless-spark/output"].

   • En la sección Propiedades de Spark, seleccione Editar como texto e introduzca las siguientes configuraciones.

     --conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1

4. Para iniciar la ejecución de trabajo, elija Enviar trabajo .

5. En la pestaña Ejecuciones de trabajos, debería ver el nuevo trabajo ejecutándose con el estado En ejecución.

Para ejecutar un trabajo de Hive

1. Cree un archivo llamado hive-query.ql que contenga todas las consultas que desee ejecutar en su trabajo de Hive.

   create database if not exists emrserverless;
   use emrserverless;
   create table if not exists test_table(id int);
   drop table if exists Values__Tmp__Table__1;
   insert into test_table values (1),(2),(2),(3),(3),(3);
   select id, count(id) from test_table group by id order by id desc;

2. Cargue hive-query.ql en el bucket de S3 con el comando siguiente.

   aws s3 cp hive-query.ql s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql

3. Al completar Paso 1: cree una aplicación de EMR sin servidor, accederá a la página de los Detalles de la aplicación en EMR Studio. Allí, elija la opción Enviar trabajo.

4. En la página Enviar trabajo, complete lo siguiente.

   • En el campo Nombre, escriba el nombre con el que desee llamar a la ejecución de trabajo.

   • En el campo Rol de tiempo de ejecución, escriba el nombre del rol que ha creado en Crear un rol de tiempo de ejecución del trabajo.

   • En el campo Ubicación del script, escriba s3://amzn-s3-demo-bucket/emr-serverless-hive/query/hive-query.ql como el URI de S3.

   • En la sección Propiedades de Hive, elija Editar como texto e introduzca las siguientes configuraciones.

     --hiveconf hive.log.explain.output=false

   • En la sección Configuración del trabajo, elija Editar como JSON e introduzca el siguiente JSON.

     {
        "applicationConfiguration": 
        [{
            "classification": "hive-site",
               "properties": {
                   "hive.exec.scratchdir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/scratch",
                   "hive.metastore.warehouse.dir": "s3://amzn-s3-demo-bucket/emr-serverless-hive/hive/warehouse",
                   "hive.driver.cores": "2",
                   "hive.driver.memory": "4g",
                   "hive.tez.container.size": "4096",
                   "hive.tez.cpu.vcores": "1"
                }
         }]
     }

5. Para iniciar la ejecución de trabajo, elija Enviar trabajo.

6. En la pestaña Ejecuciones de trabajos, debería ver el nuevo trabajo ejecutándose con el estado En ejecución.

1. Vaya a la pestaña Espacios de trabajo en EMR Studio. Si aún necesita configurar una ubicación de almacenamiento de Amazon S3 y un Rol de servicio de EMR Studio, seleccione el botón Configurar estudio en el banner de la parte superior de la pantalla.

2. Para acceder a un cuaderno, seleccione un espacio de trabajo o cree un nuevo espacio de trabajo. Use el Inicio rápido para abrir tu espacio de trabajo en una pestaña nueva.

3. Vaya a la pestaña recién abierta. Seleccione el icono Computar en el panel de navegación izquierdo. Seleccione EMR sin servidor como el Tipo de computación.

4. Seleccione la aplicación con capacidad interactiva que ha creado en la sección anterior.

5. En el campo Rol de ejecución, introduzca el nombre del rol de IAM que la aplicación EMR sin servidor puede asumir para la ejecución del trabajo. Para obtener más información sobre los roles de tiempo de ejecución, consulte Roles de tiempo de ejecución de trabajos en la Guía del usuario de Amazon EMR sin servidor.

6. Seleccione Adjuntar. Esto puede llevar un minuto en completarse. La página se actualizará cuando se adjunte.

7. Escoja un kernel e inicie un cuaderno. También puede buscar cuadernos de ejemplo en EMR sin servidor y copiarlos en su espacio de trabajo. Para acceder a los cuadernos de ejemplo, vaya hasta el {...} menú de navegación de la izquierda y explore los cuadernos que tengan serverless en el nombre del archivo del cuaderno.

8. En el cuaderno, puede acceder al enlace del registro de controladores y a un enlace a la IU de Apache Spark, una interfaz en tiempo real que proporciona métricas para monitorizar tu trabajo. Para obtener más información, consulte Monitorización de aplicaciones y trabajos de EMR sin servidor en la Guía del usuario de Amazon EMR sin servidor.