本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用 Ganglia 監控 HBase
注意
包含 Ganglia 的 Amazon EMR 的最新版本為 Amazon EMR 6.15.0。若要監控您的叢集,高於 6.15.0 的版本需包含 Amazon CloudWatch 代理程式。
Ganglia 開放原始碼專案是一種可擴展的分散式系統,設計來監控叢集和網格,同時將對效能的影響降至最低。當您在叢集上啟用 Ganglia 時,您可以產生報告並查看整個叢集的效能,並檢查個別節點執行個體的效能。如需 Ganglia 開放原始碼專案的詳細資訊,請參閱 http://ganglia.info/
叢集啟動並設定 Ganglia 之後,您可以使用在主節點上執行的圖形界面來存取 Ganglia 圖形和報告。
Ganglia 將日誌檔案存放在 /mnt/var/lib/ganglia/rrds/
目錄中的主要節點上。較早版本的 Amazon EMR 可能會將日誌檔案儲存在 /var/log/ganglia/rrds/
目錄中。
使用 設定 Ganglia 和 HBase 的叢集 AWS CLI
-
使用類似於以下的
create-cluster
命令:aws emr create-cluster --name "
Test cluster
" --release-labelemr-7.8.0
\ --applications Name=HBase
Name=Ganglia
--use-default-roles \ --ec2-attributes KeyName=myKey
--instance-typem5.xlarge
\ --instance-count3
注意
如果預設 Amazon EMR 服務角色和 Amazon EC2 執行個體設定檔不存在,即會發生錯誤。使用
aws emr create-default-roles
命令來建立它們,然後再試一次。如需詳細資訊,請參閱 AWS CLI中的 Amazon EMR 命令。
在 Ganglia Web 介面中檢視 HBase 指標
-
使用 SSH 通道進入主節點並建立安全連線。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的選項 2 第 1 部分:使用動態連接埠轉送設定主節點的 SSH 通道。
-
使用代理工具安裝 Web 瀏覽器,例如適用於 Firefox 的 FoxyProxy 外掛程式,以建立 AWS 網域的 SOCKS 代理。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的選項 2 第 2 部分:設定代理設定以檢視託管在主節點上的網站。
-
設定好代理並開啟 SSH 連接後,請開啟瀏覽器視窗,然後輸入 http://
master-public-dns-name
/ganglia/ 以檢視 Ganglia 指標。其中master-public-dns-name
即為 HBase 叢集中主伺服器的公有 DNS 地址。
在主節點上檢視 Ganglia 日誌檔案
-
如果叢集仍在執行中,您可以使用 SSH 連線到主節點並導覽至
/mnt/var/lib/ganglia/rrds/
目錄,以存取日誌檔案。若為 EMR 3.x,導覽至/var/log/ganglia/rrds
目錄。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的使用 SSH 連接至主節點。
在 Amazon S3 上檢視 Ganglia 日誌檔案
-
Ganglia 日誌檔絕對不會自動寫入至 Amazon S3,即使您的叢集已啟用記錄日誌。若要檢視 Amazon S3 上的 Ganglia 日誌檔案,您必須以手動方式將日誌從
/mnt/var/lib/ganglia/rrds/
推送至 S3 儲存貯體。