啟動 Spark 歷史記錄伺服器

選擇下表中的其中一個 Launch Stack (啟動堆疊) 按鈕。這會在 AWS CloudFormation 主控台上啟動堆疊。

區域	啟動
美國東部 (俄亥俄)
美國東部 (維吉尼亞北部)
美國西部 (加利佛尼亞北部)
美國西部 (奧勒岡)
非洲 (開普敦)
亞太區域 (香港)
亞太區域 (孟買)
亞太區域 (大阪)
亞太區域 (首爾)
亞太區域 (新加坡)
亞太區域 (雪梨)
亞太區域 (東京)
加拿大 (中部)
歐洲 (法蘭克福)
歐洲 (愛爾蘭)
歐洲 (倫敦)
Europe (Milan)
歐洲 (巴黎)
歐洲 (斯德哥爾摩)
中東 (巴林)
南美洲 (聖保羅)

在 Specify template (指定範本) 頁面上，選擇 Next (下一步)。

在 Specify stack details (指定堆疊詳細資訊) 頁面上，輸入 Stack name (堆疊名稱)。在 Parameters (參數) 下輸入其他資訊。

1. Spark UI 組態

   請提供下列資訊：

   • IP address range (IP 地址範圍) - 可用於檢視 Spark UI 的 IP 地址範圍。如果您想要限制來自特定 IP 地址範圍的存取，您應該使用自訂值。

   • History server port (歷史記錄伺服器連接埠) - Spark UI 的連接埠。您可以使用預設值。

   • Event log directory (事件日誌目錄) - 選擇從 AWS Glue 任務或開發端點存放 Spark 事件日誌的位置。您必須使用 s3a:// 做為事件日誌路徑配置。

   • Spark package location (Spark 套件位置) - 您可以使用預設值。

   • Keystore path (金鑰存放區路徑) - HTTPS 的 SSL/TLS 金鑰存放區路徑。如果您要使用自訂金鑰存放區檔案，可以在此指定 S3 路徑 s3://path_to_your_keystore_file。如果您將此參數保留空白，將會產生並使用以自我簽署憑證為基礎的金鑰存放區。

   • Keystore password (金鑰存放區密碼) – 輸入 HTTPS 的 SSL/TLS 金鑰存放區密碼。

2. EC2 執行個體組態

   請提供下列資訊：

   • Instance type (執行個體類型) - 託管 Spark 歷史記錄伺服器的 Amazon EC2 執行個體類型。由於此範本啟動您帳戶中的 Amazon EC2 執行個體，因此會另外向您的帳戶收取 Amazon EC2 費用。

   • Latest AMI ID (最新的 AMI ID) - Spark 歷史記錄伺服器執行個體之 Amazon Linux 2 的 AMI ID。您可以使用預設值。

   • VPC ID - Spark 歷史記錄伺服器執行個體的 Virtual Private Cloud (VPC) ID。您可以使用您帳戶中可用的任何 VPC，不建議使用預設 VPC 搭配預設網路 ACL。如需詳細資訊，請參閱 Amazon VPC 使用者指南中的預設 VPC 和預設子網路以及建立 VPC。

   • Subnet ID (子網路 ID) - Spark 歷史記錄伺服器執行個體的 ID。您可以使用 VPC 中的任何子網路。您必須能夠從用戶端連線到網路以連接至子網路。如果您要透過網際網路存取，必須使用在路由表中具有網際網路閘道的公有子網路。

3. 選擇 Next (下一步)。

在 Configure stack options (設定堆疊選項) 頁面上，若要使用目前使用者憑證來決定 CloudFormation 如何在堆疊中建立、修改或刪除資源，請選擇 Next (下一步)。您也可以在許可區段指定一個角色，而非使用目前使用者的許可，然後選擇下一步。

在 Review (檢閱) 頁面上檢閱範本。

選擇 I acknowledge that AWS CloudFormation might create IAM resources (我知道 AWS CloudFormation 可能會建立 IAM 資源)，然後選擇 Create stack (建立堆疊)。

等待堆疊建立。

開啟 Outputs (輸出) 標籤。

1. 如果您使用公有子網路，請複製 SparkUiPublicUrl 的 URL。

2. 如果您使用私有子網路 , 請複製 SparkUiPrivateUrl 的 URL。

開啟 Web 瀏覽器，然後貼入該 URL。這可讓您使用 HTTPS 在指定連接埠上存取伺服器。您的瀏覽器可能會無法辨識伺服器的憑證，在此情況下，您必須覆寫其保護並繼續。

從 GitHub 下載檔案。

從 AWS Glue 程式碼範例下載 Dockerfile 和 pom.xml。

決定是否要使用您的使用者憑證或聯合身分使用者憑證來存取 AWS。

判斷您的事件日誌目錄的位置，以在 docker run 命令中使用。

使用本機目錄中的檔案建置 Docker 映像檔，對其使用名稱 glue/sparkui 以及標籤 latest。

$ docker build -t glue/sparkui:latest . 

建立並啟動 Docker 容器。

在下列命令中，使用先前在步驟 2 與 3 中取得的值。

1. 若要使用您的使用者憑證建立 Docker 容器，請使用類似如下的命令。

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

2. 要使用暫時憑證建立 Docker 容器，請使用 org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider 做為提供者，並提供在步驟 2 中取得的憑證值。如需詳細資訊，請參閱 Hadoop：與 Amazon Web Services 整合文件中的將工作階段憑證與 TemporaryAWSCredentialsProvider 搭配使用。

   docker run -itd -e SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=s3a://path_to_eventlog
    -Dspark.hadoop.fs.s3a.access.key=AWS_ACCESS_KEY_ID -Dspark.hadoop.fs.s3a.secret.key=AWS_SECRET_ACCESS_KEY
    -Dspark.hadoop.fs.s3a.session.token=AWS_SESSION_TOKEN
    -Dspark.hadoop.fs.s3a.aws.credentials.provider=org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider"
    -p 18080:18080 glue/sparkui:latest "/opt/spark/bin/spark-class org.apache.spark.deploy.history.HistoryServer"

在瀏覽器中開啟 http://localhost:18080 以在本機檢視 Spark UI。