TensorFlow - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

TensorFlow

TensorFlow es una biblioteca matemática simbólica de código abierto para aplicaciones de inteligencia artificial y aprendizaje profundo. Para obtener más información, consulte el TensorFlow sitio web. TensorFlow está disponible con la EMR versión 5.17.0 y posteriores de Amazon.

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 7.x, junto con los componentes con los que Amazon realiza la EMR instalación. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte Versiones de componentes de la versión 7.3.0.

TensorFlow información sobre la versión de emr-7.3.0
Etiqueta de EMR lanzamiento de Amazon TensorFlow Versión Componentes instalados con TensorFlow

emr-7.3.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 6.x, junto con los componentes con los que Amazon realiza la EMR instalación. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte Versiones de componentes de la versión 6.15.0.

TensorFlow información sobre la versión de emr-6.15.0
Etiqueta de EMR lanzamiento de Amazon TensorFlow Versión Componentes instalados con TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

En la siguiente tabla se muestra la versión TensorFlow incluida en la última versión de la serie Amazon EMR 5.x, junto con los componentes con los que Amazon realiza la EMR instalación. TensorFlow

Para ver la versión de los componentes instalados TensorFlow en esta versión, consulte Versiones de componentes de la versión 5.36.2.

TensorFlow información sobre la versión de emr-5.36.2
Etiqueta de EMR lanzamiento de Amazon TensorFlow Versión Componentes instalados con TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow compilaciones por tipo de EC2 instancia de Amazon

Amazon EMR usa diferentes compilaciones de la TensorFlow biblioteca en función de los tipos de instancias que elijas para tu clúster. Amazon EMR no admite clústeres con TensorFlow tipos de instancia aarch64 (Graviton). En la siguiente tabla, se muestran las compilaciones por tipo de instancia.

EC2tipos de instancias TensorFlow construir

M5 y C5

Tensorflow 2.16.1 con optimización de Intel MKL

P2, P4D, P5, G4DN, G5, G6 y GR6

Tensorflow 2.16.1 con 12.3, cu 8.9.7.29 CUDA DNN

P3, P3DN, G3 y G3S

Tensorflow 2.16.1 con 12.3, cu 8.9.7.29, 2.20.3-1 CUDA DNN NCCL

NCCLNvidia solo está disponible en instancias P3. Contrato de licencia de usuario final (EULA): Al utilizar componentes de Nvidia en AmazonEMR, aceptas los términos y condiciones descritos en el producto EULA.

Todos los demás, excepto las instancias Graviton

Tensorflow 2.16.1

Seguridad

Además de seguir las instrucciones de Uso TensorFlow seguro, te recomendamos que lances tu clúster en una subred privada para ayudarte a limitar el acceso a fuentes confiables. Para obtener más información, consulta VPClas opciones de Amazon en la Guía EMR de administración de Amazon.

Usando TensorBoard

TensorBoard es un conjunto de herramientas de visualización para TensorFlow programas. Para obtener más información, consulta TensorBoard: Aprendizaje visualizado en el sitio web de Tensorflow.

Para usarlo TensorBoard con AmazonEMR, debes empezar TensorBoard por el nodo principal del clúster.

Para usar tensorboard con Tensorflow en Amazon EMR
  1. Conéctese al nodo principal del clúster medianteSSH. Para obtener más información, consulte Conectarse al nodo principal mediante SSH la Guía EMR de administración de Amazon.

  2. Escriba el comando siguiente para iniciar Tensorboard en el nodo principal. Sustituya /my/log/directory por un directorio del nodo principal donde haya generado y almacenado datos de resumen utilizando un generador de resúmenes.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    De forma predeterminada, el nodo maestro se aloja TensorBoard mediante el puerto 6006 y el DNS nombre público maestro. Tras empezar TensorBoard, el resultado de la línea de comandos muestra el URL que se puede utilizar para conectarse TensorBoard, como se muestra en el siguiente ejemplo:

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. Configure el acceso a las interfaces web en el nodo principal desde los clientes de confianza. Para obtener más información, consulte Ver las interfaces web alojadas en EMR los clústeres de Amazon en la Amazon EMR Management Guide.

  4. Abre TensorBoard enhttp://master-public-dns-name:6006.