啟用 Amazon EMR WAL - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

啟用 Amazon EMR WAL

使用以下步驟在建立叢集EMRWAL時啟用對 Amazon 的寫入 AWS Command Line Interface.

注意

您無法EMRWAL為已在執行的叢集啟用 Amazon，也無法使用相同 S3 根目錄啟動兩個叢集。如需詳細資訊，請參閱Amazon 的注意事項和區域 EMR WAL。

  1. 在建立EMRWAL啟用 Amazon 的叢集之前，您必須先將必要的許可新增至計劃與叢集搭配使用的執行個體設定檔。如需詳細資訊，請參閱Amazon 所需的許可 EMR WAL。

  2. 從建立叢集 AWS CLI。 使用此--configurations選項可提供指定hbase.emr.wal.enabled屬性的JSON組態物件，如下列範例所示。

    • 在 Amazon S3 中指定儲存模式和根目錄位置。您指定的 Amazon S3 位置應與EMR叢集位於相同的區域，但一次只能有一個作用中叢集使用 S3 中的相同HBase根目錄。

    • 使用執行個體群組組態建立叢集。您不能將 Amazon EMR WAL 與執行個體叢集組態搭配使用。如需使用執行個體群組建立叢集的詳細資訊，請參閱 Amazon EMR 管理指南中的設定統一執行個體群組。

    • create-cluster如需建立叢集的主控台步驟，以及使用 AWS CLI，請參閱使用建立叢集HBase。

  3. 若要WAL為新叢集啟用，請將內hbase.emr.wal.enabled容設定為true。下面的命令包含一個帶有示例配置對象的JSON代碼片段。

    aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
--applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
$cat hbase.json
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]

當HBase在新創建的集群上在線時，HBase將自動將WAL數據寫入 Amazon EMR WAL 並將 Amazon 用EMRWAL於恢復目的。

範例 1：建立使用 Amazon 的EMR叢集 EMR WAL
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]
範例 2：使用自訂WAL工作區建立EMR叢集
[
    {
        "Classification": "hbase-site",
        "Properties": {
            "hbase.rootdir": "s3://MyBucket/MyHBaseStore",
            "emr.wal.workspace": "customWorkspaceName"
        }
    },
    {
        "Classification": "hbase",
        "Properties": {
            "hbase.emr.storageMode": "s3",
            "hbase.emr.wal.enabled": "true"
        }
    }
]