TensorFlow - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

TensorFlow

TensorFlow は、マシンインテリジェンスと深層学習アプリケーション用のオープンソースのシンボリック数学ライブラリです。詳細については、TensorFlow ウェブサイト「」を参照してください。 TensorFlow Amazon EMRリリースバージョン 5.17.0 以降で利用できます。

次の表に、Amazon 7.x シリーズの最新リリース TensorFlow に含まれる EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します TensorFlow。

このリリース TensorFlow で にインストールされているコンポーネントのバージョンについては、「リリース 7.3.0 コンポーネントバージョン」を参照してください。

TensorFlow emr-7.3.0 のバージョン情報
Amazon EMR リリースラベル TensorFlow バージョン でインストールされるコンポーネント TensorFlow

emr-7.3.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

次の表に、Amazon 6.x シリーズの最新リリース TensorFlow に含まれる EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します TensorFlow。

このリリース TensorFlow で にインストールされているコンポーネントのバージョンについては、「リリース 6.15.0 コンポーネントバージョン」を参照してください。

TensorFlow emr-6.15.0 のバージョン情報
Amazon EMR リリースラベル TensorFlow バージョン でインストールされるコンポーネント TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

次の表に、Amazon 5.x シリーズの最新リリース TensorFlow に含まれる EMR のバージョンと、Amazon が と共にEMRインストールするコンポーネントを示します TensorFlow。

このリリース TensorFlow で にインストールされているコンポーネントのバージョンについては、「リリース 5.36.2 コンポーネントバージョン」を参照してください。

TensorFlow emr-5.36.2 のバージョン情報
Amazon EMR リリースラベル TensorFlow バージョン でインストールされるコンポーネント TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Amazon EC2インスタンスタイプによるビルド

Amazon EMRは、クラスター用に選択したインスタンスタイプに応じて、 TensorFlow ライブラリのさまざまなビルドを使用します。Amazon EMRは、aarch64 (Graviton) インスタンスタイプのクラスター TensorFlow をサポートしていません。次の表にインスタンスタイプ別のビルドを示します。

EC2 インスタンスタイプ TensorFlow ビルド

M5 および C5

Intel MKL 最適化を使用した Tensorflow 2.16.1

P2, P4D, P5, G4DN, G5, G6および GR6

Tensorflow 2.16.1 と CUDA 12.3、cuDNN 8.9.7.29

P3, P3DN, G3、G3S

Tensorflow 2.16.1 と CUDA 12.3、cuDNN 8.9.7.29、NCCL2.20.3-1

Nvidia NCCL は P3 インスタンスでのみ使用できます。エンドユーザーライセンス契約 (EULA): Amazon で Nvidia コンポーネントを使用することによりEMR、製品 EULAに概説されている利用規約に同意したものとみなされます。

Graviton インスタンスを除くその他すべてのインスタンス

Tensorflow 2.16.1

セキュリティ

TensorFlow 「 を安全に使用する」のガイダンスに従うことに加えて、信頼されたソースへのアクセスを制限するために、プライベートサブネットでクラスターを起動することをお勧めします。詳細については、「Amazon 管理ガイド」の「Amazon VPCオプション」を参照してください。 EMR

の使用 TensorBoard

TensorBoard は、 TensorFlow プログラム用の視覚化ツールのスイートです。詳細については、「Tensorflow ウェブサイト」のTensorBoard「ビジュアル化された学習」を参照してください。

Amazon TensorBoard で を使用するにはEMR、クラスターマスターノード TensorBoard で を起動する必要があります。

Amazon で Tensorflow でテンソルボードを使用するには EMR
  1. を使用してクラスターのマスターノードに接続しますSSH。詳細については、「Amazon 管理ガイド」の「 を使用してマスターノードに接続するSSH」を参照してください。 EMR

  2. マスターノードで TensorBoard を起動するには、次のコマンドを入力します。サマリーライターを使用して概略データの生成と格納を行ったマスターノードのディレクトリで /my/log/directory を置き換えます。

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    デフォルトでは、マスターノードはポート 6006 とマスターパブリックDNS名 TensorBoard を使用してホストします。を起動すると TensorBoard、次の例に示すように TensorBoard、コマンドライン出力URLは への接続に使用できる を表示します。

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 信頼できるクライアントからマスターノードのウェブインターフェイスへのアクセスを設定します。詳細については、「Amazon 管理ガイド」の「Amazon EMRクラスターでホストされているウェブインターフェイスを表示する」を参照してください。 EMR

  4. TensorBoard で を開きますhttp://master-public-dns-name:6006