Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conectores y utilidades

Amazon EMR proporciona una serie de conectores y utilidades para acceder a otros AWS servicios como fuentes de datos. Normalmente, es posible acceder a los datos de estos servicios dentro de un programa. Por ejemplo, puede especificar una transmisión de Kinesis en una consulta de Hive, un script de Pig o una MapReduce aplicación y, a continuación, operar con esos datos.

Limpiar después de un S3DistCp trabajo fallido

Si S3DistCp no se pueden copiar algunos o todos los archivos especificados, se produce un error en el comando o en el paso del clúster y se devuelve un código de error distinto de cero. Si esto ocurre, S3DistCp no limpia los archivos parcialmente copiados. Deben eliminarse manualmente.

Los archivos parcialmente copiados se guardan en el tmp directorio HDFS en subdirectorios con el identificador único del S3DistCp trabajo. Encontrará este ID en la salida estándar del trabajo.

Por ejemplo, en el caso de un S3DistCp trabajo con el ID4b1c37bb-91af-4391-aaf8-46a6067085a6, puede conectarse al nodo principal del clúster y ejecutar el siguiente comando para ver los archivos de salida asociados al trabajo.

hdfs dfs -ls /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output

El comando devuelve una lista de archivos similar a la siguiente:

Found 8 items
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/_SUCCESS
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00000
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00001
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:02 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00002
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00003
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00004
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00005
-rw-r--r--   1 hadoop hadoop          0 2018-12-10 06:03 /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6/output/part-r-00006

A continuación, puede ejecutar el siguiente comando para eliminar el directorio y todo el contenido.

hdfs dfs -rm -rf /tmp/4b1c37bb-91af-4391-aaf8-46a6067085a6