本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR 5.30.0 版
5.30.0 應用程式版本
此版本包含下列應用程式:Flink
下表列出此 Amazon EMR 版本中提供的應用程式版本,以及前三個 Amazon EMR 版本 (如果適用) 中的應用程式版本。
如需完整了解各 Amazon EMR 版之應用程式版本的完整歷史記錄,請參閱以下主題:
emr-5.30.0 | emr-5.29.0 | emr-5.28.1 | emr-5.28.0 | |
---|---|---|---|---|
AWS 適用於 Java 的 SDK | 1.11.759 | 1.11.682 | 1.11.659 | 1.11.659 |
Python | 2.7、3.7 | 2.7、3.6 | 2.7、3.6 | 2.7、3.6 |
Scala | 2.11.12 | 2.11.12 | 2.11.12 | 2.11.12 |
AmazonCloudWatchAgent | - | - | - | - |
Delta | - | - | - | - |
Flink | 1.10.0 | 1.9.1 | 1.9.0 | 1.9.0 |
Ganglia | 3.7.2 | 3.7.2 | 3.7.2 | 3.7.2 |
HBase | 1.4.13 | 1.4.10 | 1.4.10 | 1.4.10 |
HCatalog | 2.3.6 | 2.3.6 | 2.3.6 | 2.3.6 |
Hadoop | 2.8.5 | 2.8.5 | 2.8.5 | 2.8.5 |
Hive | 2.3.6 | 2.3.6 | 2.3.6 | 2.3.6 |
Hudi | 0.5.2-incubating | 0.5.0-incubating | 0.5.0-incubating | 0.5.0-incubating |
Hue | 4.6.0 | 4.4.0 | 4.4.0 | 4.4.0 |
Iceberg | - | - | - | - |
JupyterEnterpriseGateway | - | - | - | - |
JupyterHub | 1.1.0 | 1.0.0 | 1.0.0 | 1.0.0 |
Livy | 0.7.0 | 0.6.0 | 0.6.0 | 0.6.0 |
MXNet | 1.5.1 | 1.5.1 | 1.5.1 | 1.5.1 |
Mahout | 0.13.0 | 0.13.0 | 0.13.0 | 0.13.0 |
Oozie | 5.2.0 | 5.1.0 | 5.1.0 | 5.1.0 |
Phoenix | 4.14.3 | 4.14.3 | 4.14.3 | 4.14.3 |
Pig | 0.17.0 | 0.17.0 | 0.17.0 | 0.17.0 |
Presto | 0.232 | 0.227 | 0.227 | 0.227 |
Spark | 2.4.5 | 2.4.4 | 2.4.4 | 2.4.4 |
Sqoop | 1.4.7 | 1.4.7 | 1.4.7 | 1.4.7 |
TensorFlow | 1.14.0 | 1.14.0 | 1.14.0 | 1.14.0 |
Tez | 0.9.2 | 0.9.2 | 0.9.2 | 0.9.2 |
Trino (PrestoSQL) | - | - | - | - |
Zeppelin | 0.8.2 | 0.8.2 | 0.8.2 | 0.8.2 |
ZooKeeper | 3.4.14 | 3.4.14 | 3.4.14 | 3.4.14 |
5.30.0 版本備註
以下版本備註包含 Amazon EMR 5.30.0 版的資訊。變更是相對於 5.29.0 版而言。
初始版本日期:2020 年 5 月 13 日
上次更新日期:2020 年 6 月 25 日
升級
AWS SDK for Java 已升級至 1.11.759 版
升級 Amazon SageMaker Spark 軟體開發套件至 1.3.0 版
升級 EMR 記錄伺服器至 1.6.0 版
升級 Flink 至 1.10.0 版
升級 Ganglia 至 3.7.2 版
升級 HBase 至 1.4.13 版
升級 Hudi 至 0.5.2-incubating 版
升級 Hue 至 4.6.0 版
升級 JupyterHub 至 1.1.0 版
升級 Livy 至 0.7.0-incubating 版
升級 Oozie 至 5.2.0 版
升級 Presto 至 0.232 版
升級 Spark 至 2.4.5 版
升級連接器與驅動程式:Amazon Glue 連接器 1.12.0;Amazon Kinesis 連接器 3.5.0;EMR DynamoDB 連接器 4.14.0
新功能
EMR Notebooks – 搭配使用 5.30.0 建立的 EMR 叢集時,EMR 筆記本核心會在叢集上執行。如此可改善筆記型電腦的效能,並可讓您安裝和自訂核心。您也可以在叢集主節點上安裝 Python 程式庫。如需詳細資訊,請參閱《EMR 管理指南》中的安裝和使用核心和程式庫。
受管擴展 – 借助 Amazon EMR 版本 5.30.0 及更高版本,您可以啟用 EMR 受管擴展,根據工作負載自動增減叢集中執行個體或單位的數量。Amazon EMR 會持續評估叢集指標以制定擴展決策,針對成本與速度將叢集優化。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的擴展叢集資源。
加密存放在 Amazon S3 中的日誌檔案 – 使用 Amazon EMR 5.30.0 版及更新版本,您可以使用 AWS KMS 客戶受管金鑰加密存放在 Amazon S3 中的日誌檔案。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的加密儲存於 Amazon S3 中的日誌檔案。
Amazon Linux 2 支援 – 在 EMR 版本 5.30.0 及更高版本中,EMR 使用 Amazon Linux 2 作業系統。新的自訂 AMI (Amazon Machine Image) 必須以 Amazon Linux 2 AMI 為基礎。如需詳細資訊,請參閱使用自訂 AMI。
Presto 逐漸自動擴展 – 使用 5.30.0 的 EMR 叢集能夠以自動擴展逾時期間進行設定,讓 Presto 任務有時間完成執行,再對其節點進行除役操作。如需詳細資訊,請參閱使用 Presto 自動擴展搭配逐漸除役。
採用新分配策略選項建立機群執行個體 – EMR 版本 5.12.1 及更高版本中提供新的分配策略選項。它提供更快的叢集佈建、更準確的 Spot 分配,並減少 Spot 執行個體中斷。需更新非預設 EMR 服務角色。請參閱設定執行個體機群。
sudo systemctl stop 和 sudo systemctl start 命令 – 在使用 Amazon Linux 2 作業系統的 EMR 版本 5.30.0 及更高版本中,EMR 使用
sudo systemctl stop
和sudo systemctl start
命令來重新啟動服務。如需詳細資訊,請參閱如何重新啟動 Amazon EMR 中的服務?。
變更、強化功能和已解決的問題
EMR 5.30.0 版預設不會安裝 Ganglia。建立叢集時,您可明確選擇 Ganglia 來安裝。
Spark 效能最佳化。
Presto 效能最佳化。
Amazon EMR 版本 5.30.0 及更高版本預設使用 Python 3。
私有子網路中用來存取服務的預設受管安全群組,已經以新的規則更新。若您使用自訂安全群組來存取服務,就必須納入與預設受管安全群組相同的規則。如需詳細資訊,請參閱用來存取服務 (私有子網路) 的 Amazon EMR 受管安全群組。若您使用 Amazon EMR 的自訂服務角色,則必須將許可授予
ec2:describeSecurityGroups
,讓 EMR 能夠驗證是否已正確建立安全群組。若您使用EMR_DefaultRole
,則預設受管政策已納入此許可。
已知問題
-
較舊 AL2 上的「最大開放檔案」限制過低 [在新版本中修正]。Amazon EMR 版本:emr-5.30.x、emr-5.31.0、emr-5.32.0、emr-6.0.0、emr-6.1.0 和 emr-6.2.0 以較舊版本 Amazon Linux 2 (AL2) 為基礎;當使用預設 AMI 建立 Amazon EMR 叢集時,後者的「最大開放檔案」ulimit 設定過低。Amazon EMR 5.30.1、5.30.2、5.31.1、5.32.1、6.0.1、6.1.1、6.2.1、5.33.0、6.3.0 版及更高版本包含使用更高「最大開放檔案」設定的永久修正。提交 Spark 作業時,開放檔限制較低的版本會導致「開放檔案過多」錯誤。在受影響版本中,Amazon EMR 預設 AMI 對「最大開放檔案」有 4096 的預設 ulimit 設定,此設定低於最新 Amazon Linux 2 AMI 中的 65536 檔案限制。當 Spark 驅動程式和執行器嘗試開啟超過 4096 個檔案時,「最大開放檔案」的 ulimit 設定過低會導致 Spark 作業失敗。為了修正該問題,Amazon EMR 提供引導操作 (BA) 指令碼,以便在建立叢集時調整 ulimit 設定。
若您使用未永久修正此問題的較舊 Amazon EMR 版本,以下解決辦法可讓您將執行個體-控制器 ulimit 明確設定為最大 65536 個檔案。
從命令列明確設定 ulimit
編輯
/etc/systemd/system/instance-controller.service
以新增下列參數至「服務」區段。LimitNOFILE=65536
LimitNPROC=65536
重新啟動 InstanceController
$ sudo systemctl daemon-reload
$ sudo systemctl restart instance-controller
使用引導操作 (BA) 設定 ulimit
您還可以使用引導操作 (BA) 指令碼,在建立叢集時將執行個體-控制器 ulimit 設定為 65536 個檔案。
#!/bin/bash for user in hadoop spark hive; do sudo tee /etc/security/limits.d/$user.conf << EOF $user - nofile 65536 $user - nproc 65536 EOF done for proc in instancecontroller logpusher; do sudo mkdir -p /etc/systemd/system/$proc.service.d/ sudo tee /etc/systemd/system/$proc.service.d/override.conf << EOF [Service] LimitNOFILE=65536 LimitNPROC=65536 EOF pid=$(pgrep -f aws157.$proc.Main) sudo prlimit --pid $pid --nofile=65535:65535 --nproc=65535:65535 done sudo systemctl daemon-reload
-
受管擴展
在未安裝 Presto 的情況下,5.30.0 和 5.30.1 叢集上的受管擴展操作可能會導致應用程式失敗,或致使統一執行個體群組或執行個體機群停留在
ARRESTED
狀態,尤其當縮減規模操作緊隨縱向擴展操作之後時。解決辦法是,在使用 Amazon EMR 版本 5.30.0 和 5.30.1 建立叢集時,選擇 Presto 作為要安裝的應用程式,即使您的作業不需要用到 Presto。
-
使用多個主節點和 Kerberos 身分驗證的叢集中存在的已知問題
如果在 Amazon EMR 5.20.0 版及更高版本中使用多個主節點和 Kerberos 身分驗證執行叢集,當叢集執行一段時間後,您可能遇到某些叢集操作 (例如縮減規模或步驟提交) 失敗的問題。時段取決於您定義的 Kerberos 票證有效期。規模調減問題會同時影響自動縮減規模和您提交的明確縮減規模請求。其他叢集操作也可能受影響。
解決方法:
-
以
hadoop
使用者身分透過 SSH 連線至具有多個主節點的 EMR 叢集首要主節點。 -
執行以下命令,以更新
hadoop
使用者的 Kerberos 票證。kinit -kt <keytab_file> <principal>
一般而言,Keytab 檔案位於
/etc/hadoop.keytab
,而主體則採用hadoop/<hostname>@<REALM>
的形式。
注意
此解決辦法的有效期間和 Kerberos 票證的有效期間相同。此持續時間預設為 10 個小時,但可以透過您的 Kerberos 設定進行變更。若 Kerberos 票證過期,您必須重新執行上述命令。
-
Hue 4.6.0 的預設資料庫引擎是 SQLite,它會在您嘗試搭配使用 Hue 和外部資料庫時導致發生問題。若要修正此問題,請將
hue-ini
組態分類中的engine
設定為mysql
。此問題已在 Amazon EMR 版本 5.30.1 中修正。當您使用具有 Hive 分割區位置格式設定的 Spark 讀取 Amazon S3 中的資料,而您在 Amazon EMR 版本 5.30.0 至 5.36.0、6.2.0 至 6.9.0 上執行 Spark 時,您可能遇到叢集無法正確讀取資料的問題。如果您的分割區具有以下所有特性,便會發生此種情形:
-
兩個或更多分割區從同一資料表掃描而來。
-
至少有一個分割區目錄路徑是其他一或多個分割區目錄路徑的字首,例如,
s3://bucket/table/p=a
是s3://bucket/table/p=a b
的字首。 -
在另一個分割區目錄中,字首後的第一個字元有小於
/
字元 (U+002F) 的 UTF-8 值。例如,s3://bucket/table/p=a b
中 a 和 b 之間有空白字元 (U+0020) 即屬於此類別。請注意還有 14 個其他非控制字元:!"#$%&‘()*+,-
。如需詳細資訊,請參閱 UTF-8 編碼表和 Unicode 字元。
若要避免發生此問題,請在
spark-defaults
分類中將spark.sql.sources.fastS3PartitionDiscovery.enabled
組態設定為false
。-
5.30.0 元件版本
Amazon EMR 在此版本安裝的元件列出如下。其中有一些屬於大數據應用程式套件。其他的則為 Amazon EMR 獨有,並安裝為系統程序和功能。這些通常會以 emr
或 aws
開頭。在最新 Amazon EMR 版本中的大數據應用程式套件,通常也是社群中可找到的最新版本。我們致力盡快提供 Amazon EMR 的社群版本。
Amazon EMR 中的某些元件與社群版本不同。這些元件具有版本標籤,格式為
。CommunityVersion
-amzn-EmrVersion
從 0 開始。例如,假設有一個名為 EmrVersion
myapp-component
的開放原始碼社群元件 2.2 版為了包含在不同 Amazon EMR 發行版本中而修改過三次,則其發行版本會列為 2.2-amzn-2
。
元件 | 版本 | 描述 |
---|---|---|
aws-sagemaker-spark-sdk | 1.3.0 | Amazon SageMaker Spark SDK |
emr-ddb | 4.14.0 | 適用於 Hadoop 生態系統應用程式的 Amazon DynamoDB 連接器。 |
emr-goodies | 2.13.0 | 適用 Hadoop 生態系統的超便利程式庫。 |
emr-kinesis | 3.5.0 | 適用於 Hadoop 生態系統應用程式的 Amazon Kinesis 連接器。 |
emr-notebook-env | 1.0.0 | 適用於 emr 筆記本的 Conda env |
emr-s3-dist-cp | 2.14.0 | 針對 Amazon S3 最佳化的分散式複製應用程式。 |
emr-s3-select | 1.5.0 | EMR S3Select Connector |
emrfs | 2.40.0 | 適用於 Hadoop 生態系統應用程式的 Amazon S3 連接器。 |
flink-client | 1.10.0 | Apache Flink 命令列用戶端指令碼和應用程式。 |
ganglia-monitor | 3.7.2 | Hadoop 生態系統應用程式內嵌 Ganglia 代理程式以及 Ganglia 監控代理程式。 |
ganglia-metadata-collector | 3.7.2 | Ganglia 監控代理程式的彙總指標 Ganglia 中繼資料收集器。 |
ganglia-web | 3.7.1 | 由 Ganglia 中繼資料收集器收集,以檢視指標的 Web 應用程式。 |
hadoop-client | 2.8.5-amzn-6 | Hadoop 命令列用戶端,例如「hdfs」、「Hadoop」或「yarn」。 |
hadoop-hdfs-datanode | 2.8.5-amzn-6 | 用於存放區塊的 HDFS 節點層級服務。 |
hadoop-hdfs-library | 2.8.5-amzn-6 | HDFS 命令列用戶端和程式庫 |
hadoop-hdfs-namenode | 2.8.5-amzn-6 | 用於追蹤檔案名稱和區塊位置的 HDFS 服務。 |
hadoop-hdfs-journalnode | 2.8.5-amzn-6 | HDFS 檔案系統中的 Hadoop 服務,用於管理在 HA 叢集。 |
hadoop-httpfs-server | 2.8.5-amzn-6 | HDFS 操作的 HTTP 端點。 |
hadoop-kms-server | 2.8.5-amzn-6 | 以 Hadoop 金鑰供應商 API 為基礎的加密金鑰管理伺服器。 |
hadoop-mapred | 2.8.5-amzn-6 | 執行 MapReduce 應用程式的 MapReduce 執行引擎程式庫。 |
hadoop-yarn-nodemanager | 2.8.5-amzn-6 | 在個別節點用於管理容器的 YARN 服務。 |
hadoop-yarn-resourcemanager | 2.8.5-amzn-6 | 用於分配和管理叢集資源,以及分散式應用程式的 YARN 服務。 |
hadoop-yarn-timeline-server | 2.8.5-amzn-6 | 為 YARN 應用程式擷取目前和歷史資訊的服務。 |
hbase-hmaster | 1.4.13 | 負責區域協調和執行管理命令的 HBase 叢集服務。 |
hbase-region-server | 1.4.13 | 提供一或多個 HBase 區域的服務。 |
hbase-client | 1.4.13 | HBase 命令列用戶端。 |
hbase-rest-server | 1.4.13 | 為 HBase 提供 RESTful HTTP 端點的服務。 |
hbase-thrift-server | 1.4.13 | 提供 Thrift 端點到 HBase 的服務。 |
hcatalog-client | 2.3.6-amzn-2 | 操作 hcatalog-server 的「hcat」命令列用戶端。 |
hcatalog-server | 2.3.6-amzn-2 | 服務為分散式應用程式提供 HCatalog、表格和儲存管理層。 |
hcatalog-webhcat-server | 2.3.6-amzn-2 | HTTP 端點提供了 REST 介面至 HCatalog。 |
hive-client | 2.3.6-amzn-2 | Hive 命令列用戶端。 |
hive-hbase | 2.3.6-amzn-2 | Hive-hbase 用戶端。 |
hive-metastore-server | 2.3.6-amzn-2 | 為 Hadoop 操作的 SQL 提供存取 Hive 中繼儲存、存放中繼資料語意儲存庫的服務。 |
hive-server2 | 2.3.6-amzn-2 | 依 Web 請求接受 Hive 查詢的服務。 |
hudi | 0.5.2-incubating | 增量處理架構,以低延遲和高效率強化資料管道。 |
hudi-presto | 0.5.2-incubating | 用於使用 Hudi 執行 Presto 的套件程式庫。 |
hue-server | 4.6.0 | 使用 Hadoop 生態系統應用程式分析資料的 Web 應用程式 |
jupyterhub | 1.1.0 | 適用於 Jupyter 筆記本的多使用者伺服器 |
livy-server | 0.7.0-incubating | 與 Apache Spark 互動的 REST 介面 |
nginx | 1.12.1 | nginx [engine x] 是 HTTP 和反向代理伺服器 |
mahout-client | 0.13.0 | 機器學習程式庫。 |
mxnet | 1.5.1 | 靈活有效率的程式庫,具可擴展性,適用於深度學習。 |
mariadb-server | 5.5.64 | MySQL 資料庫伺服器。 |
nvidia-cuda | 9.2.88 | Nvidia 驅動程式和 Cuda 工具組 |
oozie-client | 5.2.0 | Oozie 命令列用戶端。 |
oozie-server | 5.2.0 | 接受 Oozie 工作流程要求的服務。 |
opencv | 3.4.0 | 開放原始碼電腦 Vision 程式庫。 |
phoenix-library | 4.14.3-HBase-1.4 | 適用於伺服器和用戶端的 phoenix 程式庫 |
phoenix-query-server | 4.14.3-HBase-1.4 | 此為一輕量伺服器,可提供對 Avatica API 的 JDBC 存取以及通訊協定緩衝區和 JSON 格式存取 |
presto-coordinator | 0.232 | 在 presto-workers 之間接受查詢和執行管理查詢的服務。 |
presto-worker | 0.232 | 執行查詢各部分的服務。 |
presto-client | 0.232 | 安裝於 HA 叢集的待命主節點的 Presto 命令列用戶端,該主節點上的 Presto 伺服器未啟動。 |
pig-client | 0.17.0 | Pig 命令列用戶端。 |
r | 3.4.3 | 統計運算 R 專案 |
ranger-kms-server | 1.2.0 | Apache Ranger Key Management System |
spark-client | 2.4.5-amzn-0 | Spark 命令列用戶端。 |
spark-history-server | 2.4.5-amzn-0 | 用於檢視完整 Spark 應用程式生命週期記錄事件的 Web 使用者介面。 |
spark-on-yarn | 2.4.5-amzn-0 | 適用於 YARN 的記憶體內執行引擎。 |
spark-yarn-slave | 2.4.5-amzn-0 | YARN 從屬所需的 Apache Spark 程式庫。 |
sqoop-client | 1.4.7 | Apache Sqoop 命令列用戶端。 |
tensorflow | 1.14.0 | 適用於高效能數值運算的 TensorFlow 開放原始碼軟體程式庫。 |
tez-on-yarn | 0.9.2 | tez YARN 應用程式和程式庫。 |
webserver | 2.4.25+ | Apache HTTP 伺服器。 |
zeppelin-server | 0.8.2 | 能進行互動式資料分析,以 Web 為基礎的筆記型電腦。 |
zookeeper-server | 3.4.14 | 用於維護組態資訊、命名、提供分散式同步,並提供群組服務的集中化服務。 |
zookeeper-client | 3.4.14 | ZooKeeper 命令列用戶端。 |
5.30.0 組態類別
組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案,例如 hive-site.xml
。如需詳細資訊,請參閱設定應用程式。
分類 | 描述 |
---|---|
capacity-scheduler | 變更 Hadoop 中 capacity-scheduler.xml 檔案的值。 |
container-log4j | 變更 Hadoop YARN 的 container-log4j.properties 檔案中的值。 |
core-site | 變更 Hadoop 中 core-site.xml 檔案的值。 |
emrfs-site | 變更 EMRFS 設定。 |
flink-conf | 變更 flink-conf.yaml 設定。 |
flink-log4j | 變更 Flink log4j.properties 設定。 |
flink-log4j-yarn-session | 變更 Flink log4j-yarn-session.properties 設定。 |
flink-log4j-cli | 變更 Flink log4j-cli.properties 設定。 |
hadoop-env | 在 Hadoop 環境中變更所有 Hadoop 元件的值。 |
hadoop-log4j | 變更 Hadoop 中 log4j.properties 檔案的值。 |
hadoop-ssl-server | 變更 hadoop ssl 伺服器組態 |
hadoop-ssl-client | 變更 hadoop ssl 用戶端組態 |
hbase | Apache HBase 的 Amazon EMR 彙整設定。 |
hbase-env | 變更 HBase 環境中的值。 |
hbase-log4j | 變更 HBase 的 hbase-log4j.properties 檔案中的值。 |
hbase-metrics | 變更 HBase 的 hadoop-metrics2-hbase.properties 檔案中的值。 |
hbase-policy | 變更 HBase 的 hbase-policy.xml 檔案中的值。 |
hbase-site | 變更 HBase 的 hbase-site.xml 檔案中的值。 |
hdfs-encryption-zones | 設定 HDFS 加密區域。 |
hdfs-site | 變更 HDFS 的 hdfs-site.xml 中的值。 |
hcatalog-env | 變更 HCatalog 環境中的值。 |
hcatalog-server-jndi | 變更 HCatalog 的 jndi.properties 中的值。 |
hcatalog-server-proto-hive-site | 變更 HCatalog 的 proto-hive-site.xml 中的值。 |
hcatalog-webhcat-env | 變更 HCatalog WebHCat 環境中的值。 |
hcatalog-webhcat-log4j2 | 變更 HCatalog WebHCat 的 log4j2.properties 中的值。 |
hcatalog-webhcat-site | 變更 HCatalog WebHCat 的 webhcat-site.xml 檔案中的值。 |
hive-beeline-log4j2 | 變更 Hive 的 beeline-log4j2.properties 檔案中的值。 |
hive-parquet-logging | 變更 Hive 的 parquet-logging.properties 檔案中的值。 |
hive-env | 變更 Hive 環境中的值。 |
hive-exec-log4j2 | 變更 Hive 的 hive-exec-log4j2.properties 檔案中的值。 |
hive-llap-daemon-log4j2 | 變更 Hive 的 llap-daemon-log4j2.properties 檔案中的值。 |
hive-log4j2 | 變更 Hive 的 hive-log4j2.properties 檔案中的值。 |
hive-site | 變更 Hive 的 hive-site.xml 檔案中的值 |
hiveserver2-site | 變更 Hive Server2 的 hiveserver2-site.xml 檔案中的值 |
hue-ini | 變更 Hue 的 ini 檔案中的值 |
httpfs-env | 變更 HTTPFS 環境中的值。 |
httpfs-site | 變更 Hadoop 中 httpfs-site.xml 檔案的值。 |
hadoop-kms-acls | 變更 Hadoop 中 kms-acls.xml 檔案的值。 |
hadoop-kms-env | 變更 Hadoop KMS 環境中的值。 |
hadoop-kms-log4j | 變更 Hadoop 的 kms-log4j.properties 檔案中的值。 |
hadoop-kms-site | 變更 Hadoop 中 kms-site.xml 檔案的值。 |
hudi-env | 變更 Hudi 環境中的值。 |
jupyter-notebook-conf | 變更 Jupyter 筆記本中 jupyter_notebook_config.py 檔案的值。 |
jupyter-hub-conf | 變更 JupyterHubs 中 jupyterhub_config.py 檔案的值。 |
jupyter-s3-conf | 設定 Jupyter 筆記本 S3 持久性。 |
jupyter-sparkmagic-conf | 變更 Sparkmagic 中 config.json 檔案的值。 |
livy-conf | 變更 Livy 的 livy.conf 檔案中的值。 |
livy-env | 變更 Livy 環境中的值。 |
livy-log4j | 變更 Livy log4j.properties 設定。 |
mapred-env | 變更 MapReduce 應用程式環境中的值。 |
mapred-site | 變更 MapReduce 應用程式 mapred-site.xml 檔案中的值。 |
oozie-env | 變更 Oozie 環境中的值。 |
oozie-log4j | 變更 Oozie 的 oozie-log4j.properties 檔案中的值。 |
oozie-site | 變更 Oozie 的 oozie-site.xml 檔案中的值。 |
phoenix-hbase-metrics | 變更 Phoenix 的 hadoop-metrics2-hbase.properties 檔案中的值。 |
phoenix-hbase-site | 變更 Phoenix 的 hbase-site.xml 檔案中的值。 |
phoenix-log4j | 變更 Phoenix 中 log4j.properties 檔案的值。 |
phoenix-metrics | 變更 Phoenix 的 hadoop-metrics2-phoenix.properties 檔案中的值。 |
pig-env | 在 Pig 環境中變更值。 |
pig-properties | 變更 Pig 的 pig.properties 檔案中的值。 |
pig-log4j | 變更 Pig 的 log4j.properties 檔案中的值。 |
presto-log | 變更 Presto 的 log.properties 檔案中的值。 |
presto-config | 變更 Presto 的 config.properties 檔案中的值。 |
presto-password-authenticator | 變更 Presto 的 password-authenticator.properties 檔案中的值。 |
presto-env | 變更 Presto 的 presto-env.sh 檔案中的值。 |
presto-node | 變更 Presto 的 node.properties 檔案中的值。 |
presto-connector-blackhole | 變更 Presto 的 blackhole.properties 檔案中的值。 |
presto-connector-cassandra | 變更 Presto 的 cassandra.properties 檔案中的值。 |
presto-connector-hive | 變更 Presto 的 hive.properties 檔案中的值。 |
presto-connector-jmx | 變更 Presto 的 jmx.properties 檔案中的值。 |
presto-connector-kafka | 變更 Presto 的 kafka.properties 檔案中的值。 |
presto-connector-localfile | 變更 Presto 的 localfile.properties 檔案中的值。 |
presto-connector-memory | 變更 Presto 的 memory.properties 檔案中的值。 |
presto-connector-mongodb | 變更 Presto 的 mongodb.properties 檔案中的值。 |
presto-connector-mysql | 變更 Presto 的 mysql.properties 檔案中的值。 |
presto-connector-postgresql | 變更 Presto 的 postgresql.properties 檔案中的值。 |
presto-connector-raptor | 變更 Presto 的 raptor.properties 檔案中的值。 |
presto-connector-redis | 變更 Presto 的 redis.properties 檔案中的值。 |
presto-connector-redshift | 變更 Presto 的 redshift.properties 檔案中的值。 |
presto-connector-tpch | 變更 Presto 的 tpch.properties 檔案中的值。 |
presto-connector-tpcds | 變更 Presto 的 tpcds.properties 檔案中的值。 |
ranger-kms-dbks-site | 變更 Ranger KMS 之 dbks-site.xml 檔案中的值。 |
ranger-kms-site | 變更 Ranger KMS 之 ranger-kms-site.xml 檔案中的值。 |
ranger-kms-env | 變更 Ranger KMS 環境中的值。 |
ranger-kms-log4j | 變更 Ranger KMS 之 kms-log4j.properties 檔案中的值。 |
ranger-kms-db-ca | 變更 S3 上 CA 檔案的值,以使用 Ranger KMS 進行 MySQL SSL 連線。 |
recordserver-env | 變更 EMR RecordServer 環境中的值。 |
recordserver-conf | 變更 EMR RecordServer 的 erver.properties 檔案中的值。 |
recordserver-log4j | 變更 EMR RecordServer 的 log4j.properties 檔案中的值。 |
spark | Apache Spark 的 Amazon EMR 彙整設定。 |
spark-defaults | 變更 Spark 的 spark-defaults.conf 檔案中的值。 |
spark-env | 變更 Spark 環境中的值。 |
spark-hive-site | 變更 Spark 的 hive-site.xml 檔案中的值 |
spark-log4j | 變更 Spark 中 log4j.properties 檔案的值。 |
spark-metrics | 變更 Spark 中 metrics.properties 檔案的值。 |
sqoop-env | 變更 Sqoop 環境中的值。 |
sqoop-oraoop-site | 變更 Sqoop OraOop 的 oraoop-site.xml 檔案中的值。 |
sqoop-site | 變更 Sqoop 的 sqoop-site.xml 檔案中的值。 |
tez-site | 變更 Tez 的 tez-site.xml 檔案中的值。 |
yarn-env | 變更 YARN 環境中的值。 |
yarn-site | 變更 YARN 的 yarn-site.xml 檔案中的值。 |
zeppelin-env | 變更 Zeppelin 環境中的值。 |
zookeeper-config | 變更 ZooKeeper 的 zoo.cfg 檔案中的值。 |
zookeeper-log4j | 變更 ZooKeeper 中 log4j.properties 檔案的值。 |