TensorFlow - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

TensorFlow

TensorFlow 는 기계 인텔리전스 및 딥 러닝 애플리케이션을 위한 오픈 소스 심볼릭 수학 라이브러리입니다. 자세한 내용은 Amazon EMR 릴리스 버전 TensorFlow 5.17.0 이상에서 사용할 수 있는 웹 사이트 . TensorFlow 를 참조하세요.

다음 표에는 Amazon EMR7.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 함께 Amazon이 에 EMR 설치하는 구성 요소가 나열되어 있습니다 TensorFlow.

이 릴리스 TensorFlow 에서 와 함께 설치된 구성 요소의 버전은 릴리스 7.3.0 구성 요소 버전 을 참조하세요.

TensorFlow emr-7.3.0 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 에 설치된 구성 요소 TensorFlow

emr-7.3.0

TensorFlow 2.16.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR6.x 시리즈의 최신 릴리스에 TensorFlow 포함된 의 버전과 Amazon이 와 함께 EMR 설치하는 구성 요소가 나열되어 있습니다 TensorFlow.

이 릴리스 TensorFlow 에서 와 함께 설치된 구성 요소의 버전은 릴리스 6.15.0 구성 요소 버전 을 참조하세요.

TensorFlow emr-6.15.0 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 에 설치된 구성 요소 TensorFlow

emr-6.15.0

TensorFlow 2.11.0

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

다음 표에는 Amazon EMR5.x 시리즈의 최신 릴리스에 TensorFlow 포함된 버전과 함께 Amazon이 와 함께 EMR 설치하는 구성 요소가 나열되어 있습니다 TensorFlow.

이 릴리스 TensorFlow 에서 에 설치된 구성 요소의 버전은 릴리스 5.36.2 구성 요소 버전 을 참조하세요.

TensorFlow emr-5.36.2 버전 정보
Amazon EMR 릴리스 레이블 TensorFlow 버전 에 설치된 구성 요소 TensorFlow

emr-5.36.2

TensorFlow 2.4.1

emrfs, emr-goodies, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, tensorflow

TensorFlow Amazon EC2 인스턴스 유형별 빌드

AmazonEMR은 클러스터에 대해 선택한 인스턴스 유형에 따라 TensorFlow 라이브러리의 다양한 빌드를 사용합니다. AmazonEMR은 aarch64(Graviton) 인스턴스 유형이 있는 클러스터 TensorFlow 를 지원하지 않습니다. 다음 표에는 인스턴스 유형별 빌드가 나와 있습니다.

EC2 인스턴스 유형 TensorFlow 빌드

M5 및 C5

Intel MKL 최적화를 통한 Tensorflow 2.16.1

P2, P4D, P5, G4DN, G5, G6 및 GR6

Tensorflow 2.16.1과 CUDA 12.3, cuDNN 8.9.7.29

P3, P3DN, G3 및 G3S

Tensorflow 2.16.1과 CUDA 12.3, cuDNN 8.9.7.29, NCCL 2.20.3-1

NvidiaNCCL는 P3 인스턴스에서만 사용할 수 있습니다. 최종 사용자 라이선스 계약(EULA): Amazon 에서 Nvidia 구성 요소를 사용하면 제품 EULA에 설명된 약관에 EMR동의하는 것입니다.

Graviton 인스턴스를 제외한 기타 모든 항목

Tensorflow 2.16.1

보안

TensorFlow 안전한 사용의 지침을 따르는 것 외에도 신뢰할 수 있는 소스에 대한 액세스를 제한하는 데 도움이 되도록 프라이빗 서브넷에서 클러스터를 시작하는 것이 좋습니다. 자세한 내용은 Amazon 관리 안내서의 Amazon VPC 옵션을 참조하세요. EMR

사용 TensorBoard

TensorBoard 는 TensorFlow 프로그램을 위한 시각화 도구 모음입니다. 자세한 내용은 Tensorflow 웹 사이트의 TensorBoard: 시각화된 학습을 참조하세요.

Amazon TensorBoard 에서 를 사용하려면 클러스터 마스터 노드 TensorBoard 에서 시작해야 EMR합니다.

Amazon에서 Tensorflow와 함께 텐서보드를 사용하려면 EMR
  1. 를 사용하여 클러스터의 마스터 노드에 연결합니다SSH. 자세한 내용은 Amazon EMR 관리 안내서의 를 사용하여 마스터 노드에 연결을 SSH 참조하세요.

  2. 다음 명령을 입력하여 마스터 노드에서 Tensorboard를 시작합니다. 요약 쓰기를 사용하여 요약 데이터를 생성하고 저장한 마스터 노드의 디렉터리로 /my/log/directory를 바꿉니다.

    Amazon EMR 5.19.0 and later
    python3 -m tensorboard.main --logdir=/home/hadoop/tensor --bind_all
    Amazon EMR 5.18.1 and earlier
    python3 -m tensorboard.main --logdir=/my/log/dir

    기본적으로 마스터 노드는 포트 6006과 마스터 퍼블릭 DNS 이름을 TensorBoard 사용하여 호스팅합니다. TensorBoard를 시작한 후 다음 예제와 TensorBoard같이 명령줄 출력은 에 연결하는 데 사용할 수 URL 있는 를 표시합니다.

    TensorBoard 2.16.1 at http://master-public-dns-name:6006 (Press CTRL+C to quit)
  3. 신뢰할 수 있는 클라이언트의 마스터 노드에서 웹 인터페이스에 액세스하도록 설정합니다. 자세한 내용은 Amazon 관리 안내서의 Amazon EMR 클러스터에서 호스팅되는 웹 인터페이스 보기를 참조하세요. EMR

  4. TensorBoard 에서 를 엽니다http://master-public-dns-name:6006.