使用 Ganglia 監控 HBase - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 Ganglia 監控 HBase

Ganglia 開放原始碼專案是一種可擴展的分散式系統，設計來監控叢集和網格，同時將對效能的影響降至最低。當您在叢集上啟用 Ganglia 時，您可以產生報告並查看整個叢集的效能，並檢查個別節點執行個體的效能。如需 Ganglia 開放原始碼專案的詳細資訊，請參閱 http://ganglia.info/。如需有關將 Ganglia 與 Amazon EMR 叢集搭配使用的詳細資訊，請參閱 Ganglia。

在配置了 Ganglia 的情況下啟動叢集之後，您可以使用在主節點上執行的圖形介面存取神經節圖形和報告。

神經節存儲在/mnt/var/lib/ganglia/rrds/目錄中的主節點上的日誌文件。較早版本的 Amazon EMR 可能會將日誌檔案儲存在 /var/log/ganglia/rrds/ 目錄中。

若要設定神經節和 HBase 的叢集，請使用 AWS CLI

  • 使用類似於以下的 create-cluster 命令：

    aws emr create-cluster --name "Test cluster" --release-label emr-7.1.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    注意

    如果預設 Amazon EMR 服務角色和 Amazon EC2 執行個體設定檔不存在，即會發生錯誤。使用 aws emr create-default-roles 命令來建立它們，然後再試一次。

    如需詳細資訊，請參閱 AWS CLI中的 Amazon EMR 命令。

在 Ganglia Web 介面中檢視 HBase 指標

  1. 使用 SSH 通道進入主節點並建立安全連線。如需詳細資訊，請參閱 Amazon EMR 管理指南中的選項 2，第 1 部分：使用動態連接埠轉送設定到主節點的 SSH 通道。

  2. 使用代理工具 (例如 Firefox 的 FoxyProxy 外掛程式) 安裝網頁瀏覽器，以建立網 AWS 域的 SOCKS 代理伺服器。如需詳細資訊，請參閱《Amazon EMR 管理指南》中的選項 2，第 2 部分：設定 Proxy 設定以檢視主要節點上託管的網站。

  3. 在代理伺服器設定並開啟 SSH 連線的情況下，您可以使用 http://master-public-dns-name/ganglia/ 開啟瀏覽器視窗來檢視神經節指標，其中master-public-dns-name是 HBase 叢集中主要伺服器的公開 DNS 位址。

檢視主節點上的神經節日誌檔

  • 如果叢集仍在執行中，您可以使用 SSH 連線至主要節點並瀏覽至目錄來存取記/mnt/var/lib/ganglia/rrds/錄檔。若為 EMR 3.x，導覽至 /var/log/ganglia/rrds 目錄。如需詳細資訊，請參閱《Amazon EMR 管理指南》中的使用 SSH 連接至主節點。

在 Amazon S3 上檢視 Ganglia 日誌檔案

  • Ganglia 日誌檔絕對不會自動寫入至 Amazon S3，即使您的叢集已啟用記錄日誌。若要檢視 Amazon S3 上的 Ganglia 日誌檔案，您必須以手動方式將日誌從 /mnt/var/lib/ganglia/rrds/ 推送至 S3 儲存貯體。