기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

HBase Amazon 이전 AMI 버전에 대한 애플리케이션 세부 정보 EMR

지원되는 HBase 버전

HBase 클러스터 사전 조건

Amazon EMR AMI 버전 2.x 및 3.x를 사용하여 생성된 클러스터는 에 대한 다음 요구 사항을 충족해야 합니다HBase.

HBase로 클러스터 생성

다음 표에는 콘솔을 사용하여 Amazon EMR AMI 릴리스 버전을 HBase 사용하여 클러스터를 생성할 때 사용할 수 있는 옵션이 나열되어 있습니다.

다음 예제 AWS CLI 명령은 HBase 및 기타 애플리케이션이 있는 클러스터를 시작합니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
               --applications Name=Hue Name=Hive Name=Pig Name=HBase \
               --use-default-roles --ec2-attributes KeyName=myKey \
               --instance-type c1.xlarge --instance-count 3 --termination-protected

Hive와 HBase 클러스터 간의 연결이 이루어진 후(이전 절차 참조) Hive에서 외부 테이블을 생성하여 HBase 클러스터에 저장된 데이터에 액세스할 수 있습니다.

다음 예제에서는 Hive 프롬프트에서 를 실행할 때 라는 테이블에 저장된 데이터를 참조하는 외부 HBase 테이블을 생성합니다inputTable. 그런 다음 Hive 문inputTable에서 를 참조하여 HBase 클러스터에 저장된 데이터를 쿼리하고 수정할 수 있습니다.

add jar lib/emr-metrics-1.0.jar ;
               add jar lib/protobuf-java-2.4.0a.jar ;
               
               set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com ;
               
               create external table inputTable (key string, value string)
                    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
                     with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
                     tblproperties ("hbase.table.name" = "t1");
               
               select count(*) from inputTable ;		

HBase 구성 사용자 지정

기본 설정은 대부분의 애플리케이션에서 작동해야 하지만 HBase 구성 설정을 유연하게 수정할 수 있습니다. 이렇게 하려면 다음 두 개의 부트스트랩 작업 스크립트 중 하나를 실행합니다.

configure-hbase 또는 configure-hbase-daemons 부트스트랩 작업을 실행하면 지정한 값이 기본값을 재정의합니다. 명시적으로 설정하지 않은 값은 기본값을 받습니다.

이러한 부트스트랩 작업을 HBase 사용하여 를 구성하는 것은 Amazon에서 부트스트랩 작업을 사용하여 Hadoop 설정 및 Hadoop 데몬 속성을 구성하는 EMR 것과 유사합니다. 차이점은 에 프로세스별 메모리 옵션이 없다는 HBase 것입니다. 대신 --daemon-opts 인수를 사용하여 메모리 옵션을 설정합니다. 여기서 daemon 는 구성할 데몬의 이름으로 대체됩니다.

HBase 데몬 구성

Amazon은 HBase 데몬의 구성을 변경하는 데 사용할 수 s3://region.elasticmapreduce/bootstrap-actions/configure-hbase-daemons있는 부트스트랩 작업인 를 EMR 제공합니다.region 는 HBase 클러스터를 시작하는 리전입니다.

를 사용하여 HBase 데몬을 구성하려면 클러스터를 시작할 때 configure-hbase-daemons 부트스트랩 작업을 AWS CLI추가하여 하나 이상의 HBase 데몬을 구성합니다. 다음 속성을 설정할 수 있습니다.

이러한 옵션에 대한 자세한 내용은 HBase 설명서의 hbase-env.sh 참조하세요.

zookeeper-opts 및 hbase-master-opts에 대한 값을 구성하기 위한 부트스트랩 작업은 다음 예에 표시되어 있습니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-daemons,\
Args=["--hbase-zookeeper-opts=-Xmx1024m -XX:GCTimeRatio=19","--hbase-master-opts=-Xmx2048m","--hbase-regionserver-opts=-Xmx4096m"]

HBase 사이트 설정 구성

Amazon은 의 구성을 변경하는 데 사용할 수 s3://elasticmapreduce/bootstrap-actions/configure-hbase있는 부트스트랩 작업 를 EMR 제공합니다HBase. 부트스트랩 작업에서 구성 값 를 인수 one-by-one로 설정하거나 Amazon S3에서 XML 구성 파일의 위치를 지정할 수 있습니다. 구성 값 설정은 몇 가지 구성 설정만 설정하면 되는 경우에 one-by-one 유용합니다. XML 파일을 사용하여 설정을 지정하는 것은 변경 사항이 많거나 구성 설정을 저장하여 재사용하려는 경우에 유용합니다.

이 부트스트랩 작업은 HBase 클러스터의 /home/hadoop/conf/hbase-site.xml 구성 파일을 수정합니다. 부트스트랩 작업은 HBase 클러스터가 시작된 경우에만 실행할 수 있습니다.

구성할 수 있는 HBase 사이트 설정에 대한 자세한 내용은 HBase 설명서의 기본 구성을 참조하세요.

HBase 클러스터를 시작할 때 configure-hbase 부트스트랩 작업을 설정하고 hbase-site.xml 변경할 값을 지정합니다.

프록시 세트와 SSH 연결이 열려 있는 상태에서 HBase http://가 포함된 브라우저 창을 열어 UI를 볼 수 있습니다.master-public-dns-name:60010/master-status, 여기서 master-public-dns-name 는 HBase 클러스터에 있는 마스터 노드의 퍼블릭 DNS 주소입니다.

를 사용하여 마스터 노드SSH에 연결하고 mnt/var/log/hbase 디렉터리로 이동하여 현재 HBase 로그를 볼 수 있습니다. 클러스터가 시작될 때 Amazon S3에 대한 로깅이 활성화되지 않은 경우 이 로그는 클러스터가 종료된 후 사용할 수 없습니다.

백업 및 복원 HBase

AmazonEMR은 수동으로 또는 자동화된 일정에 따라 HBase 데이터를 Amazon S3에 백업할 수 있는 기능을 제공합니다. 전체 및 증분 백업을 모두 수행할 수 있습니다. 백업된 버전의 HBase 데이터가 있으면 해당 버전을 HBase 클러스터로 복원할 수 있습니다. 현재 실행 중인 HBase 클러스터로 복원하거나 백업된 데이터가 미리 채워진 새 클러스터를 시작할 수 있습니다.

백업 프로세스 중에 는 쓰기 명령을 HBase 계속 실행합니다. 이렇게 하면 백업 중에 클러스터를 계속 사용할 수 있지만 백업 중인 데이터와 모든 쓰기 작업을 동시에 실행하는 데 불일치가 발생할 수 있습니다. 발생할 수 있는 불일치를 이해하려면 가 클러스터의 노드에 쓰기 작업을 HBase 분산하는 것을 고려해야 합니다. 특정 노드가 폴링된 후 쓰기 작업이 발생하면 해당 데이터는 백업 아카이브에 포함되지 않습니다. HBase 클러스터에 대한 이전 쓰기(이미 폴링된 노드로 전송됨)는 백업 아카이브에 없을 수 있지만 이후 쓰기(폴링되기 전에 노드로 전송됨)는 포함됩니다.

일관된 백업이 필요한 경우 백업 프로세스의 초기 부분인 노드 간 동기화 HBase 중에 에 대한 쓰기를 일시 중지해야 합니다. 백업을 요청할 때 --consistent 파라미터를 지정하여 이 작업을 수행할 수 있습니다. 이 파라미터를 사용하면 이 기간 동안의 쓰기가 대기 상태가 되고 동기화가 완료되는 즉시 실행됩니다. 하나의 백업 단계에서 누락된 데이터가 다음 단계에서 백업되므로 시간 경과에 따른 불일치를 해결하는 반복 백업을 예약할 수도 있습니다.

HBase 데이터를 백업할 때는 각 클러스터에 대해 다른 백업 디렉터리를 지정해야 합니다. 이를 수행하는 쉬운 방법은 클러스터 식별자를 백업 디렉터리에 지정된 경로의 일부로 사용하는 것입니다. 예: s3://amzn-s3-demo-bucket/backups/j-3AEXXXXXX16F2. 이렇게 하면 향후 증분 백업이 올바른 HBase 클러스터를 참조할 수 있습니다.

더 이상 필요하지 않은 이전 백업 파일을 삭제할 준비가 되면 먼저 HBase 데이터의 전체 백업을 수행하는 것이 좋습니다. 이렇게 하면 모든 데이터가 보존되고 향후 증분 백업에 대한 기준이 제공됩니다. 전체 백업이 완료되면 백업 위치로 이동하여 수동으로 이전 백업 파일을 삭제할 수 있습니다.

HBase 백업 프로세스는 임시 파일 스토리지 공간에 대한 특정 제한 사항이 있는 복사 작업에 S3DistCp 를 사용합니다.

콘솔을 HBase 사용하여 백업 및 복원

콘솔은 새 클러스터를 시작하고 이전 HBase 백업의 데이터로 채우는 기능을 제공합니다. 또한 HBase 데이터의 주기적 증분 백업을 예약할 수 있습니다. 를 사용하여 이미 실행 중인 클러스터로 데이터를 복원하고, 수동 백업을 수행하고, 자동 전체 백업을 예약하는 기능과 같은 추가 백업 및 복원 기능을 사용할 수 있습니다CLI.

HBase 를 사용하여 모니터링 CloudWatch

Amazon은 HBase 백업을 모니터링하는 데 사용할 수 CloudWatch 있는 세 가지 지표를 EMR 보고합니다. 이러한 지표는 CloudWatch 5분 간격으로 푸시되며 무료로 제공됩니다.

에 대한 Ganglia 구성 HBase

configure-hbase-for-ganglia 부트스트랩 작업을 HBase 사용하도록 Ganglia를 구성합니다. 이 부트스트랩 작업은 GangliaHBase에 지표를 게시하도록 구성합니다.

클러스터를 시작할 때 HBase 및 Ganglia를 구성해야 합니다. 실행 중인 클러스터에 Ganglia 보고를 추가할 수 없습니다.

또한 Ganglia는 /mnt/var/log/ganglia/rrds에서 서버에 로그 파일을 저장합니다. 로그 파일을 Amazon S3 버킷에 보관하도록 클러스터를 구성한 경우, Ganglia 로그 파일도 여기에 보관됩니다.

용 Ganglia로 클러스터를 시작하려면 다음 예제와 같이 configure-hbase-for-ganglia 부트스트랩 작업을 HBase사용합니다.

aws emr create-cluster --name "Test cluster" --ami-version 3.3 \
--applications Name=Hue Name=Hive Name=Pig Name=HBase Name=Ganglia \
--use-default-roles --ec2-attributes KeyName=myKey \
--instance-type c1.xlarge --instance-count 3 --termination-protected \
--bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hbase-for-ganglia

Ganglia가 구성된 클러스터가 시작되면 마스터 노드에서 실행중인 그래픽 인터페이스를 사용하여 Ganglia 그래프와 보고서에 액세스할 수 있습니다.