TensorFlow - Amazon EMR
TensorFlow compilaciones por tipo de EC2 instancia de AmazonSeguridadUsando TensorBoard

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

TensorFlow

TensorFlow es una biblioteca matemática simbólica de código abierto para aplicaciones de inteligencia artificial y aprendizaje profundo. Para obtener más información, consulte el TensorFlow sitio web. TensorFlow está disponible con la versión 5.17.0 y posteriores de Amazon EMR.

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 7.x, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes que se incluyen TensorFlow en esta versión, consulte Versiones de componentes de la versión 7.6.0.

TensorFlow información sobre la versión de emr-7.6.0
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-7.6.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 6.x, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes que se incluyen TensorFlow en esta versión, consulte Versiones de componentes de la versión 6.15.0.

TensorFlow información sobre la versión de emr-6.15.0
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 5.x, junto con los componentes con los que se instala Amazon EMR. TensorFlow

Para ver la versión de los componentes que se incluyen TensorFlow en esta versión, consulte Versiones de componentes de la versión 5.36.2.

TensorFlow información sobre la versión de emr-5.36.2
Etiqueta de versión de Amazon EMR TensorFlow Versión Componentes instalados con TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilaciones por tipo de EC2 instancia de Amazon

Amazon EMR utiliza diferentes compilaciones de la TensorFlow biblioteca en función de los tipos de instancias que elija para el clúster. Amazon EMR admite clústeres con tipos de instancia aarch64 (Graviton) TensorFlow para EMR-7.5.0 y versiones posteriores. En la siguiente tabla, se muestran las compilaciones por tipo de instancia.

EC2 tipos de instancias TensorFlow construir

M5 y C5

Tensorflow 2.16.1 con optimización MKL de Intel

P2, P4D, P5, G4DN, G5, G6 y GR6

Tensorflow 2.16.1 con CUDA 12.3, cuDNN 8.9.7.29

P3, P3DN, G3 y G3S

Tensorflow 2.16.1 con CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1

Nvidia NCCL solo está disponible en las instancias P3. Contrato de licencia para el usuario final (CLUF): al utilizar componentes Nvidia en Amazon EMR, acepta los términos y condiciones que se detallan en el CLUF del producto.

Todas las demás, excepto las instancias de Graviton

Tensorflow 2.16.1

Seguridad

Además de seguir las instrucciones de Uso TensorFlow seguro, le recomendamos que lance el clúster en una subred privada para limitar el acceso a fuentes confiables. Para más información, consulte Opciones de Amazon VPC en la Guía de administración de Amazon EMR.

Usando TensorBoard

TensorBoard es un conjunto de herramientas de visualización para TensorFlow programas. Para obtener más información, consulta TensorBoard: Aprendizaje visualizado en el sitio web de Tensorflow.

Para usarlo TensorBoard con Amazon EMR, debe comenzar TensorBoard en el nodo principal del clúster.

Para utilizar TensorBoard con TensorFlow en Amazon EMR

  1. Conecte al nodo principal del clúster utilizando SSH. Para obtener más información, consulte Conexión al nodo maestro mediante SSH en la Guía de administración de Amazon EMR.

  2. Escriba el comando siguiente para iniciar Tensorboard en el nodo principal. Sustituya /my/log/directory por un directorio del nodo principal donde haya generado y almacenado datos de resumen utilizando un generador de resúmenes.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    De forma predeterminada, el nodo maestro aloja TensorBoard mediante el puerto 6006 y el nombre de DNS público maestro. Tras empezar TensorBoard, el resultado de la línea de comandos presenta la URL a la que se puede utilizar para conectarse TensorBoard, como se muestra en el siguiente ejemplo:

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)

  3. Configure el acceso a las interfaces web en el nodo principal desde los clientes de confianza. Para más información, consulte Ver interfaces web alojadas en los clústeres de Amazon EMR en la Guía de administración de Amazon EMR.

  4. Abrir TensorBoard enhttp://master-public-dns-name:6006.