HBaseGanglia로 모니터링하세요 - 아마존 EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HBaseGanglia로 모니터링하세요

Ganglia 오픈 소스 프로젝트는 성능에 미치는 영향을 최소화하면서 클러스터 및 그리드를 모니터링하도록 설계된 확장 가능한 분산 시스템입니다. 클러스터에서 Ganglia를 활성화하면 보고서를 생성하고 전체 클러스터의 성능을 볼 수 있으며 개별 노드 인스턴스의 성능을 검사할 수 있습니다. Ganglia 오픈 소스 프로젝트에 대한 자세한 내용은 http://ganglia.info/를 참조하십시오. Amazon EMR 클러스터에서 Ganglia를 사용하는 방법에 대한 자세한 내용은 을 참조하십시오Ganglia.

Ganglia가 구성된 상태로 클러스터를 시작한 후에는 기본 노드에서 실행되는 그래픽 인터페이스를 사용하여 Ganglia 그래프와 보고서에 액세스할 수 있습니다.

Ganglia는 디렉토리의 기본 노드에 로그 파일을 저장합니다. /mnt/var/lib/ganglia/rrds/ Amazon의 이전 릴리스 버전은 /var/log/ganglia/rrds/ 디렉터리에 로그 파일을 저장할 EMR 수 있습니다.

Ganglia용 클러스터를 구성하고 다음을 HBase 사용하려면 AWS CLI

  • 다음과 유사한 create-cluster 명령을 사용합니다.

    aws emr create-cluster --name "Test cluster" --release-label emr-7.2.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    참고

    기본 Amazon EMR 서비스 역할 및 Amazon EC2 인스턴스 프로필이 없는 경우 오류가 발생합니다. aws emr create-default-roles 명령을 사용하여 해당 역할 및 프로파일을 생성한 다음 다시 시도하십시오.

    자세한 내용은 의 Amazon EMR 명령을 참조하십시오 AWS CLI.

Ganglia 웹 인터페이스에서 HBase 지표를 보려면

  1. 기본 노드로 터널링하고 보안 연결을 생성하는 SSH 데 사용합니다. 자세한 내용은 Amazon EMR Management Guide의 옵션 2, 1부: 동적 포트 전달을 사용하여 기본 노드에 대한 SSH 터널 설정을 참조하십시오.

  2. Firefox용 FoxyProxy 플러그인과 같은 프록시 도구를 사용하여 웹 브라우저를 설치하여 도메인용 SOCKS 프록시를 생성하십시오. AWS 자세한 내용은 Amazon EMR Management Guide의 옵션 2, 2부: 기본 노드에 호스팅된 웹 사이트를 볼 수 있도록 프록시 설정 구성을 참조하십시오.

  3. 프록시 세트와 SSH 연결이 열린 상태에서 http://를 사용하여 브라우저 창을 열어 Ganglia 지표를 볼 수 있습니다.master-public-dns-name/ganglia/, 여기서 master-public-dns-name 클러스터에 있는 마스터 서버의 공개 DNS 주소입니다. HBase

기본 노드의 Ganglia 로그 파일을 보려면

  • 클러스터가 아직 실행 중인 경우 를 사용하여 SSH 기본 노드에 연결하고 디렉토리로 이동하여 로그 파일에 액세스할 수 있습니다. /mnt/var/lib/ganglia/rrds/ EMR3.x의 경우 해당 디렉토리로 이동합니다. /var/log/ganglia/rrds 자세한 내용은 Amazon EMR 관리 안내서를 사용하여 SSH 기본 노드에 연결을 참조하십시오.

Amazon S3에서 Ganglia 로그 파일을 보는 방법

  • Ganglia 로그 파일은 클러스터에 대해 로깅을 활성화하더라도 Amazon S3에 자동으로 기록되지 않습니다. Amazon S3에서 Ganglia 로그 파일을 보려면 수동으로 /mnt/var/lib/ganglia/rrds/에서 S3 버킷으로 로그를 푸시해야 합니다.