Amazon Redshift 佈建叢集 - Amazon Redshift

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Redshift 佈建叢集

Amazon Redshift 資料倉儲是稱為節點的運算資源的集合,組織成稱為叢集的群組。每個叢集皆執行 Amazon Redshift 引擎並包含一或多個資料庫。

注意

目前,可用的是 Amazon Redshift 1.0 版引擎。但是,等引擎更新後,會有多個 Amazon Redshift 引擎版本可供選擇。

Amazon Redshift 中的叢集和節點

Amazon Redshift 叢集由節點組成。每個叢集會擁有一個領導節點和一或多個運算節點。領導節點接收來自用戶端應用程式的查詢,剖析查詢,並制定查詢執行計畫。領導節點會協調在運算節點上平行執行這些計畫,並彙總這些節點傳回的中間結果,最後將結果傳回用戶端應用程式。

運算節點會執行查詢執行計畫,並在它們之間傳輸資料以服務這些查詢。中繼結果在傳回用戶端應用程式之前,會傳給領導節點進行彙總。如需領導節點和運算節點的相關資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的資料倉儲系統架構

注意

當您在 Amazon Redshift 主控台 (https://console.aws.amazon.com/redshiftv2/) 上建立叢集時,您可以根據資料大小和查詢特性,取得叢集組態的建議。若要使用此大小計算器,請在支援RA3節點類型的 AWS 區域中,尋找 主控台上的協助我選擇 。如需詳細資訊,請參閱建立叢集

啟動叢集時,其中一個要指定的選項為節點類型。節點類型會決定每個節點的 、、CPURAM儲存容量和儲存磁碟機類型。

Amazon Redshift 提供不同的節點類型來容納您的工作負載,建議您DC2根據所需的效能、資料大小和預期的資料成長來選擇 RA3或 。

RA3 具有受管儲存的節點可讓您透過獨立擴展和支付運算和受管儲存來最佳化資料倉儲。使用 RA3時,您可以根據您的效能需求選擇節點數量,並且只需支付您使用的受管儲存。根據您每天處理的資料量來調整RA3叢集的大小。您可以在虛擬私有雲端 () 中啟動使用RA3節點類型的叢集VPC。您無法在 EC2-Classic 中啟動RA3叢集。如需詳細資訊,請參閱在 中建立 Redshift 佈建叢集或 Amazon Redshift Serverless 工作群組 VPC

Amazon Redshift 受管儲存在每個RA3節點SSDs中使用大型、高效能,以實現快速的本機儲存,Amazon S3 則用於更長期的持久儲存。如果節點中的資料增長超過大型本機 的大小SSDs,Amazon Redshift 受管儲存會自動將該資料卸載至 Amazon S3。無論資料位於高效能SSDs或 Amazon S3 中,您都需為 Amazon Redshift 受管儲存體支付相同的低費率。對於需要不斷增加儲存的工作負載,受管儲存可讓您將資料倉儲儲存容量與運算節點分開自動擴展。

DC2 節點可讓您擁有包含本機SSD儲存的運算密集型資料倉儲。您可以根據資料大小和效能需求來選擇所需的節點數目。DC2 節點會在本機存放資料以獲得高效能,而且隨著資料大小的增加,您可以新增更多運算節點來增加叢集的儲存容量。對於低於 1 TB (壓縮) 的資料集,我們建議DC2節點類型以最低價格獲得最佳效能。如果您預期資料會成長,建議您使用RA3節點,以便您可以獨立調整運算和儲存體的大小,以改善價格和效能。您可以在虛擬私有雲端 () 中啟動使用DC2節點類型的叢集VPC。您無法在 EC2-Classic 中啟動DC2叢集。如需詳細資訊,請參閱在 中建立 Redshift 佈建叢集或 Amazon Redshift Serverless 工作群組 VPC

節點類型具備不同的大小。節點大小和節點數量決定了叢集的總儲存量。如需詳細資訊,請參閱節點類型詳細資訊

部分節點類型允許一個節點 (單節點) 或兩個以上的節點 (多節點)。某些節點類型叢集節點的 數量下限是兩個節點。在單節點叢集上,節點由領導者和運算功能共享。不建議執行生產工作負載時使用單一節點叢集。在多節點叢集上,領導節點與運算節點各自獨立。領導節點與運算節點的節點類型相同。您只需支付運算節點的費用。

Amazon Redshift 會將配額套用至每個 AWS 區域中每個 AWS 帳戶的資源。配額會限制您的帳戶可以為 AWS 區域中的指定資源類型建立的資源數目,例如節點或快照。如需適用於 Amazon Redshift 資源的預設配額的詳細資訊,請參閱 Amazon Redshift 中的配額和限制

叢集的成本取決於 AWS 區域、節點類型、節點數量,以及節點是否事先預留。如需節點成本的相關資訊,請參閱 Amazon Redshift 定價頁面。

節點類型詳細資訊

下表摘要說明各節點類型和大小的節點規格。表格中的標頭具有下列意義:

  • vCPU 是每個節點CPUs的虛擬數量。

  • RAM 是每個節點的記憶體量,以 GB (GiB為單位。

  • 「每個節點的配量數」是在建立叢集或使用傳統調整大小進行大小調整時,運算節點分割成的配量數。

    如果叢集使用彈性調整來調整大小,則每一節點的配量數目可能會改變。不過,在彈性調整大小之後,叢集中所有運算節點上的切片總數仍然相同。

    當您使用來自快照操作的還原建立叢集時,如果您變更了節點類型,結果叢集的配量數可能會與原始叢集不同。

  • 儲存為各節點的儲存容量與類型。

  • 節點範圍是 Amazon Redshift 針對節點類型和大小所支援的最小和最大節點數量。

    注意

    根據套用至所選 AWS 區域中 AWS 帳戶的配額,您可能會被限制為較少節點。如需適用於 Amazon Redshift 資源的預設配額的詳細資訊,請參閱 Amazon Redshift 中的配額和限制

  • 總容量是叢集的總儲存容量,假如您部署了節點範圍中所指定的節點最大數量。

下表說明RA3節點的規格。

節點類型 vCPU RAM (GiB ) 每個節點的預設配量 每個節點的受管儲存限制 1 具有建立叢集的節點範圍 受管儲存總容量 2
ra3.large (單節點) 2 16 2 1 TB 1 1 TB3
ra3.large (多節點) 2 16 2 8 TB 2-16 128 TB
ra3.xlplus (單節點) 4 32 2 4 TB 1 4 TB3
ra3.xlplus (多節點) 4 32 2 32 TB 2–164 1024 TB4
ra3.4xlarge 12 96 4 128 TB 2–325 8192 TB5
ra3.16xlarge 48 384 16 128 TB 2–128 16,384 TB

1 Amazon Redshift 受管儲存的儲存限制。此為硬性限制。

2 受管儲存總限制是節點數目上限乘以每個節點的受管儲存限制。

3 若要將單節點叢集的大小調整為多節點,則只支援傳統調整大小。

4 您可以使用具有多達 16 個節點的 ra3.xlplus (多節點) 節點類型來建立叢集。至於多節點叢集,則可以使用彈性調整大小來將大小調整為最多 32 個節點。

5 您可以使用具有多達 32 個節點的 ra3.4xlarge 節點類型來建立叢集。您可以使用彈性調整大小將其大小調整為最多 64 個節點。

下表說明密集運算節點的規格。

節點類型 vCPU RAM (GiB ) 每個節點的預設配量 每個節點的儲存體 節點範圍 總容量
dc2.large 2 15 2 160 GB NVMe-SSD 1–32 5.12 TB
dc2.8xlarge 32 244 16 2.56 TB NVMe-SSD 2–128 326 TB
注意

密集儲存 (DS2) 節點類型不再可用。

先前的節點類型名稱

在先前的 Amazon Redshift 版本中,特定節點類型具有不同的名稱。您可以在 Amazon Redshift API和 中使用先前的名稱 AWS CLI。但我們建議您升級任何參考這些名稱的指令碼,使用最新的名稱。目前名稱和先前名稱如下所示。

目前名稱 先前名稱
ds2.xlarge ds1.xlarge、dw.hs1.xlarge、dw1.xlarge
ds2.8xlarge ds1.8xlarge、dw.hs1.8xlarge、dw1.8xlarge
dc1.large dw2.large
dc1.8xlarge dw2.8xlarge

決定節點數目

Amazon Redshift 會將查詢平行分配到所有叢集的運算節點上執行,因此只要在叢集中新增節點,即可提高查詢效能。執行包含至少兩個運算節點的叢集時,每個節點上的資料會鏡射至另一節點的磁碟上,如此可降低資料遺失的風險。

您可以在 Amazon Redshift 主控台和 Amazon CloudWatch 指標中監控查詢效能。您也可以視需要新增或移除節點,在價格與效能間為您的叢集取得平衡。要求增加節點時,Amazon Redshift 會處理關於部署、負載平衡和資料維護的所有詳細資訊。如需叢集效能的相關資訊,請參閱 監控 Amazon Redshift 叢集效能

預留節點適合穩定狀態的生產工作負載,且提供較隨需節點更多的折扣。您可以在執行實驗後購買預留節點,並 proof-of-concepts驗證生產組態。如需詳細資訊,請參閱預留節點

暫停叢集時,可讓您在叢集暫停期間暫停隨需帳單。在此暫停期間,您只需支付備份儲存的費用。這樣就不必在需求出現之前預先規劃和購買資料倉儲容量,並讓您能在開發或測試時,以經濟實惠的方式管理環境。

如需隨需節點和預留節點的定價相關資訊,請參閱 Amazon Redshift 定價

建立叢集時使用 EC2-VPC

Amazon Redshift 叢集會在針對您選取的 Amazon Redshift 節點類型和大小設定的 Amazon EC2執行個體中執行。使用 EC2- 建立叢集VPC。如果您仍在使用 EC2-Classic,我們建議您使用 EC2-VPC 來改善效能和安全性。如需這些聯網平台的詳細資訊,請參閱 Amazon EC2使用者指南 中的支援平台。 AWS 您的帳戶設定會決定您是否可以使用 EC2-VPC 或 EC2-Classic。

注意

為了防止SQL用戶端工具與 Amazon Redshift 資料庫之間的連線問題,建議您執行下列其中一項操作。設定傳入規則,允許主機協調封包大小。或者,您也可以在 Amazon EC2執行個體的網路介面 (MTU) 上將最大傳輸單位 () 設定為 1500,以停用 TCP/IP NIC巨型訊框。如需這些方法的相關資訊,請參閱 查詢似乎沒有回應且有時無法觸達叢集

EC2-VPC

使用 EC2- 時VPC,您的叢集會在虛擬私有雲端 (VPC) 中執行,該雲端在邏輯上與 AWS 您的帳戶隔離。如果您在 EC2- 中佈建叢集VPC,您可以透過將一或多個VPC安全群組與叢集建立關聯來控制對叢集的存取。如需詳細資訊,請參閱 Amazon VPC使用者指南 中的 安全群組VPC

若要在 中建立叢集VPC,您必須先提供 的子網路資訊來建立 Amazon Redshift 叢集子網路群組VPC,然後在啟動叢集時提供子網路群組。如需詳細資訊,請參閱Redshift 資源的子網路

如需 Amazon Virtual Private Cloud (Amazon VPC) 的詳細資訊,請參閱 Amazon VPC產品詳細資訊頁面。

預設磁碟空間警示

建立 Amazon Redshift 叢集時,您可以選擇設定 Amazon CloudWatch 警示,以監控叢集中所有節點使用的平均磁碟空間百分比。我們將此警示稱為預設磁碟空間警示

預設磁碟空間警示的作用是幫助您監控叢集的儲存容量。您可依據資料倉儲需求設定此警示。例如,您可用警告做為需要調整叢集大小的指示。您可調整叢集大小為不同的節點類型,或新增節點,或是購買預留節點以供日後擴充。

當磁碟使用量達到或超過指定百分比經過一定的次數和指定持續期間,便會觸發預設磁碟空間警示。根據預設,此警示會在達到指定百分比時觸發,並保持在該百分比之上超過五分鐘。您可在啟動叢集後編輯預設值。

當 CloudWatch 警示觸發時,Amazon Simple Notification Service (Amazon SNS) 會傳送通知給指定的收件人,提醒他們已達到百分比閾值。Amazon SNS使用主題來指定通知中傳送的收件人和訊息。您可以使用現有的 Amazon SNS主題;否則,會根據啟動叢集時指定的設定建立主題。您可在啟動叢集後編輯此警示的主題。如需建立 Amazon SNS主題的詳細資訊,請參閱開始使用 Amazon Simple Notification Service。

啟動叢集後,您可以從叢集的狀態視窗檢視和編輯警示 CloudWatch 。名稱為 percentage-disk-space-used-default-<string。 您可以開啟警示以檢視其關聯的 Amazon SNS主題,並編輯警示設定。如果您未選取要使用的現有 Amazon SNS主題,則為您建立的主題名為 clustername>-default-alarms (<recipient>);例如 examplecluster-default-alarms (notify@example.com)

如需設定及編輯預設磁碟空間警示的相關資訊,請參閱 建立叢集建立磁碟空間警示

注意

如果刪除叢集,與叢集相關聯的警示將不會刪除,但也不會觸發。如果您不再需要警示,可以從 CloudWatch 主控台刪除警示。

叢集狀態

叢集狀態顯示叢集的目前狀態。下表提供各叢集狀態的說明。

狀態 描述
available 叢集正在執行且可使用。
available, prep-for-resize 叢集正在準備進行彈性調整大小。叢集在執行中且可用於讀取和寫入查詢,但無法使用某些叢集操作,例如建立快照。
available, resize-cleanup 彈性調整大小操作正在完成將資料傳輸到新叢集節點。叢集在執行中且可用於讀取和寫入查詢,但無法使用某些叢集操作,例如建立快照。
cancelling-resize 調整大小的作業正在取消。
creating Amazon Redshift 正在建立叢集。如需詳細資訊,請參閱建立叢集
deleting Amazon Redshift 正在刪除叢集。如需詳細資訊,請參閱關閉和刪除叢集
final-snapshot Amazon Redshift 正在刪除叢集之前為其建立最後快照。如需詳細資訊,請參閱關閉和刪除叢集
hardware-failure

叢集發生硬體故障。

如果您有一個單一節點的叢集,該節點將無法替換。若要恢復叢集,請還原快照。如需詳細資訊,請參閱Amazon Redshift 快照和備份

incompatible-hsm Amazon Redshift 無法連線至硬體安全模組 (HSM)。檢查叢集與 之間的HSM組態HSM。如需詳細資訊,請參閱使用硬體安全模組加密
incompatible-network 基本網路組態發生問題。請確定VPC您啟動叢集的 存在,且其設定正確。如需詳細資訊,請參閱中的 Redshift 資源 VPC
incompatible-parameters 相關聯參數群組中有一或多個參數值發生問題,且無法套用參數值或數值。請修改參數群組並更新任何無效的值。如需詳細資訊,請參閱Amazon Redshift 參數群組
incompatible-restore 從快照還原叢集時發生問題。請再次嘗試從其他快照還原叢集。如需詳細資訊,請參閱Amazon Redshift 快照和備份
modifying Amazon Redshift 正在套用變更至叢集。如需詳細資訊,請參閱修改叢集
paused 叢集已暫停。如需詳細資訊,請參閱暫停和繼續叢集
rebooting Amazon Redshift 正在重新啟動叢集。如需詳細資訊,請參閱重新啟動叢集
renaming Amazon Redshift 正在套用新名稱至叢集。如需詳細資訊,請參閱重新命名叢集
resizing Amazon Redshift 正在調整叢集的大小。如需詳細資訊,請參閱調整叢集大小
rotating-keys Amazon Redshift 正在輪換叢集的加密金鑰。如需詳細資訊,請參閱加密金鑰輪換
storage-full 叢集已達到其儲存容量。請調整叢集的大小,以新增節點或選擇不同的節點大小。如需詳細資訊,請參閱調整叢集大小
updating-hsm Amazon Redshift 正在更新HSM組態。