TensorFlow - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

TensorFlow

TensorFlow 머신 인텔리전스 및 딥 러닝 애플리케이션을 위한 오픈 소스 기호 수학 라이브러리입니다. 자세한 내용은 웹 사이트를 참조하십시오. TensorFlow TensorFlow Amazon EMR 릴리스 버전 5.17.0 이상에서 사용할 수 있습니다.

다음 표에는 Amazon EMR 7.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전 및 Amazon이 EMR 설치와 함께 사용하는 구성 요소가 나열되어 있습니다. TensorFlow

이번 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 7.2.0 구성 요소 버전을 참조하십시오.

TensorFlow emr-7.2.0의 버전 정보
아마존 EMR 출시 라벨 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-7.2.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR 6.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 Amazon이 EMR 설치하는 데 함께 사용되는 구성 요소가 나열되어 있습니다. TensorFlow

이 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 6.15.0 구성 요소 버전을 참조하십시오.

TensorFlow emr-6.15.0의 버전 정보
아마존 EMR 출시 라벨 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR 5.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 Amazon이 EMR 설치하는 데 함께 사용되는 구성 요소가 나열되어 있습니다. TensorFlow

이 TensorFlow 릴리스에 설치된 구성 요소 버전은 릴리스 5.36.2 구성 요소 버전을 참조하십시오.

TensorFlow emr-5.36.2의 버전 정보
아마존 EMR 출시 라벨 TensorFlow 버전 다음과 함께 설치된 구성 요소 TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Amazon EC2 인스턴스 유형별 빌드

EMRAmazon은 클러스터에 대해 선택한 인스턴스 유형에 따라 다양한 TensorFlow 라이브러리 빌드를 사용합니다. 다음 표에는 인스턴스 유형별 빌드가 나와 있습니다.

EC2인스턴스 유형 TensorFlow 빌드

M5 및 C5

텐서플로우 1.9.0 (인텔 최적화 포함) MKL

P2

텐서플로우 1.9.0, 9.2, cu 7.1 CUDA DNN

P3

텐서플로우 1.9.0, 9.2, cu 7.1, 2.2.13 CUDA DNN NCCL

Nvidia는 P3 인스턴스에서만 사용할 수 있습니다. NCCL 최종 사용자 라이선스 계약 (EULA): EMR Amazon에서 Nvidia 구성 요소를 사용하면 제품에 설명된 사용 약관에 동의하는 것으로 간주됩니다. EULA

기타 모두

Tensorflow 1.9.0

보안

TensorFlow 안전한 사용의 지침을 따르는 것 외에도 신뢰할 수 있는 소스에 대한 액세스를 제한하는 데 도움이 되도록 프라이빗 서브넷에서 클러스터를 시작하는 것이 좋습니다. 자세한 내용은 Amazon EMR관리 가이드의 Amazon VPC 옵션을 참조하십시오.

사용 TensorBoard

TensorBoard TensorFlow 프로그램을 위한 시각화 도구 모음입니다. 자세한 내용은 Tensorflow 웹 사이트의 시각화 학습을 TensorBoard 참조하십시오.

EMRAmazon에서 사용하려면 TensorBoard 클러스터 마스터 TensorBoard 노드에서 시작해야 합니다.

Amazon에서 텐서플로우와 함께 텐서보드를 사용하려면 EMR
  1. 를 사용하여 클러스터의 마스터 노드에 연결합니다SSH. 자세한 내용은 Amazon EMR 관리 안내서를 사용하여 SSH 마스터 노드에 연결을 참조하십시오.

  2. 다음 명령을 입력하여 마스터 노드에서 Tensorboard를 시작합니다. 요약 쓰기를 사용하여 요약 데이터를 생성하고 저장한 마스터 노드의 디렉터리로 /my/log/directory를 바꿉니다.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    기본적으로 마스터 노드는 포트 6006과 마스터 퍼블릭 DNS 이름을 TensorBoard 사용하여 호스팅합니다. 시작한 TensorBoard 후 명령줄 출력에는 다음 예와 같이 연결에 TensorBoard 사용할 수 URL 있는 항목이 표시됩니다.

    TensorBoard 1.9.0 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 신뢰할 수 있는 클라이언트의 마스터 노드에서 웹 인터페이스에 액세스하도록 설정합니다. 자세한 내용은 Amazon EMR관리 안내서의 Amazon EMR 클러스터에서 호스팅되는 웹 인터페이스 보기를 참조하십시오.

  4. TensorBoard 에서 엽니다http://master-public-dns-name:6006.