Amazon 的加密選項 EMR - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon 的加密選項 EMR

使用 Amazon 4.8.0 版及更新EMR版本,您可以使用安全組態來指定加密靜態資料、傳輸中資料或兩者的設定。當您啟用靜態資料加密時,您可以選擇加密 Amazon S3 中的EMRFS資料、本機磁碟中的資料,或兩者。您建立的每個安全組態都儲存在 Amazon 中,EMR而不是叢集組態中,因此您每次建立叢集時都可以輕鬆重複使用組態來指定資料加密設定。如需詳細資訊,請參閱使用 Amazon EMR主控台或使用 建立安全組態 AWS CLI

下圖顯示安全組態提供的不同資料加密選項。

Amazon 提供數種傳輸中和靜態加密選項EMR。

以下加密選項也可供使用,且未使用安全組態來設定:

注意

從 Amazon 5.24.0 EMR版開始,當您指定 AWS KMS 做為金鑰提供者時,您可以使用安全組態選項來加密EBS根裝置和儲存磁碟區。如需詳細資訊,請參閱本機磁碟加密

資料加密需要金鑰和憑證。安全組態可讓您靈活地從多個選項中進行選擇,包括 管理的金鑰 AWS Key Management Service、Amazon S3 管理的金鑰,以及來自您提供的自訂提供者的金鑰和憑證。使用 AWS KMS 作為金鑰提供者時,儲存和使用加密金鑰會收取費用。如需詳細資訊,請參閱 AWS KMS 定價

指定加密選項前,請決定您想使用的金鑰和憑證管理系統,才能先建立金鑰和憑證或您指定為加密設定一部分的自訂提供者。

Amazon S3 中EMRFS資料靜態加密

Amazon S3 加密適用於從 Amazon S3 讀取和寫入的 Amazon EMR File System (EMRFS) 物件。當您啟用靜態加密時,您可以將 Amazon S3 伺服器端加密 (SSE) 或用戶端加密 (CSE) 指定為預設加密模式。或者,您可以使用 Per bucket encryption overrides (每個儲存貯體加密覆寫) 為個別儲存貯體指定不同的加密方法。無論是否啟用 Amazon S3 加密,Transport Layer Security (TLS) 都會加密EMR叢集節點與 Amazon S3 之間傳輸中的EMRFS物件。如需 Amazon S3 加密的詳細資訊,請參閱Amazon Simple Storage Service 使用者指南中的使用加密保護資料

注意

當您使用 時 AWS KMS,儲存和使用加密金鑰會收取費用。如需詳細資訊,請參閱 AWS KMS 定價

Amazon S3 伺服器端加密

當您設定 Amazon S3 伺服器端加密時,Amazon S3 會在將資料寫入磁碟時在物件層級加密資料,並在存取時解密資料。如需 的詳細資訊SSE,請參閱 Amazon Simple Storage Service 使用者指南 中的使用伺服器端加密保護資料

當您SSE在 Amazon 中指定 時,您可以在兩個不同的金鑰管理系統之間進行選擇EMR:

  • SSE-S3 – Amazon S3 會為您管理金鑰。

  • SSE-KMS – 您可以使用 AWS KMS key 來設定適用於 Amazon 的政策EMR。如需 Amazon 金鑰需求的詳細資訊EMR,請參閱使用 AWS KMS keys 進行加密。

SSE 搭配客戶提供的金鑰 (SSE-C) 無法與 Amazon 搭配使用EMR。

Amazon S3 用戶端加密

透過 Amazon S3 用戶端加密,Amazon S3 加密和解密會在叢集的EMRFS用戶端中進行。物件在上傳至 Amazon S3 之前會先加密,並在下載後解密。您指定的提供者會提供用戶端使用的加密金鑰。用戶端可以使用 AWS KMS (CSE-KMS) 提供的金鑰,或提供用戶端根金鑰 (CSE-C) 的自訂 Java 類別。- 和 CSE-KMSCSEC 的加密詳情略有不同,具體取決於指定的提供者和要解密或加密的物件中繼資料。如需有關這些差異的詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的使用用戶端加密保護資料

注意

Amazon S3 CSE只確保與 Amazon S3 交換EMRFS的資料已加密;並非叢集執行個體磁碟區上的所有資料都會加密。此外,由於 Hue 不使用 EMRFS,Hue S3 File Browser 寫入 Amazon S3 的物件不會加密。

Amazon 中資料靜態加密 EMR WAL

當您為預先寫入記錄 (SSE) 設定伺服器端加密 (WAL) 時,Amazon 會EMR加密靜態資料。當您在 Amazon SSE中指定 時,您可以從兩個不同的金鑰管理系統中選擇EMR:

SSE-EMR-WAL

Amazon 會為您EMR管理金鑰。依預設,Amazon 會使用 EMR加密存放在 Amazon 中的資料 EMR WAL SSE-EMR-WAL.

SSE-KMS-WAL

您可以使用 AWS KMS 金鑰來設定適用於 Amazon EMR 的政策WAL。如需 Amazon 金鑰需求的詳細資訊EMR,請參閱 使用 AWS KMS keys 進行加密

當您透過 Amazon 啟用 SSE時,您無法將自己的金鑰與 WAL搭配使用EMR。如需詳細資訊,請參閱 Amazon 的預先寫入日誌 (WAL)EMR

本機磁碟加密

當您使用 Amazon EMR安全組態啟用本機磁碟加密時,下列機制會共同加密本機磁碟。

開放原始碼HDFS加密

HDFS 在分散式處理期間在叢集執行個體之間交換資料。它也會從執行個體存放區磁碟區和連接至執行個體的磁碟EBS區讀取和寫入資料。您啟用本機磁碟加密時,會啟動以下的開放原始碼 Hadoop 加密選項:

注意

您可以透過啟用傳輸中加密,啟動額外的 Apache Hadoop 加密。如需詳細資訊,請參閱傳輸中加密。這些加密設定不會啟用HDFS透明加密,您可以手動設定。如需詳細資訊,請參閱 Amazon 版本指南 中的 Amazon HDFS上的透明加密EMR EMR

執行個體儲存體加密

對於使用 NVMe型SSDs作為EC2執行個體存放區磁碟區的執行個體類型,無論 Amazon NVMe加密設定為何,都會使用EMR加密。如需詳細資訊,請參閱 Amazon EC2使用者指南 中的NVMeSSD磁碟區。對於其他執行個體存放區磁碟區,Amazon 會在啟用本機磁碟加密時EMRLUKS用來加密執行個體存放區磁碟區,無論磁碟EBS區是使用加密還是 EBS加密LUKS。

EBS 磁碟區加密

如果您在預設為您的帳戶啟用 Amazon EBS磁碟區EC2加密的區域建立叢集,即使未啟用本機磁碟加密,EBS磁碟區也會加密。如需詳細資訊,請參閱 Amazon EC2使用者指南 中的預設加密。在安全組態中啟用本機磁碟加密時,Amazon EMR設定優先於叢集EC2執行個體的 Amazon EC2 encryption-by-default設定。

下列選項可用於使用安全組態加密EBS磁碟區:

  • EBS 加密:從 Amazon 5.24.0 EMR版開始,您可以選擇啟用EBS加密。EBS 加密選項會加密EBS根裝置磁碟區和連接的儲存磁碟區。只有在您指定 AWS Key Management Service 作為金鑰提供者時,才能使用EBS加密選項。我們建議您使用EBS加密。

  • LUKS 加密 – 如果您選擇對 Amazon EBS磁碟區使用LUKS加密,LUKS加密僅適用於連接的儲存磁碟區,不適用於根裝置磁碟區。如需LUKS加密的詳細資訊,請參閱LUKS磁碟上規格

    對於金鑰提供者,您可以使用適用於 Amazon AWS KMS key 的政策EMR,或提供加密成品的自訂 Java 類別來設定 。當您使用 時 AWS KMS,儲存和使用加密金鑰會收取費用。如需詳細資訊,請參閱 AWS KMS 定價

注意

若要檢查叢集是否已啟用EBS加密,建議您使用 DescribeVolumes API 呼叫。如需詳細資訊,請參閱 DescribeVolumes。在叢集lsblk上執行 只會檢查LUKS加密的狀態,而不是EBS加密。

傳輸中加密

數種加密機制在使用傳輸中加密時啟用。這些是開放原始碼功能,依應用程式而有所不同,可能因 Amazon EMR版本而異。使用 Apache 應用程式組態可啟用下列應用程式專屬加密功能。如需詳細資訊,請參閱設定應用程式

Hadoop
HBase
Hive
  • JDBC/ODBC 用戶端與 HiveServer2 (HS2) 的通訊會使用 Amazon 6.9.0 及更新EMR版本中的SSL組態加密。

  • 如需詳細資訊,請參閱 Apache Hive 文件的SSL加密區段。

Spark
  • Spark 元件之間的內部RPC通訊,例如區塊傳輸服務和外部隨機傳輸服務,會使用 Amazon 5.9.0 版及更新EMR版本的 AES-256 密碼進行加密。在舊版中,內部RPC通訊會使用 SASL 搭配 DIGEST-MD5 作為密碼進行加密。

  • HTTP 使用 Spark 的SSL組態加密與 Spark History Server 和HTTPS啟用 之檔案伺服器等使用者介面的通訊協定通訊。如需詳細資訊,請參閱 Spark 文件中的SSL組態

  • 如需詳細資訊,請參閱 Apache Spark 文件的 Spark 安全設定一節。

Tez
Presto
  • Presto 節點之間的內部通訊使用 SSL/TLS (僅限 Amazon 5.6.0 版及更新EMR版本)。

您可透過下列兩種方法之一指定用於傳輸中加密的加密成品:提供您上傳到 Amazon S3 的憑證壓縮檔案,或參考提供加密成品的自訂 Java 類別。如需詳細資訊,請參閱提供使用 Amazon 加密來EMR加密傳輸中資料的憑證