判斷容量需求 - Amazon Athena

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

判斷容量需求

建立容量保留之前,您可以估計所需的容量,以便為其指派正確的 數量DPUs。而且,在使用保留後,您可能需要檢查保留的容量是不足還是過多。本主題描述了可用於進行這些估算的技術,也描述了評估用量和成本的一些 AWS 工具。

估計所需容量

預估容量需求時,考慮兩個觀點非常有用:特定查詢可能需要多少容量,以及一般需要多少容量。

預估每次查詢容量需求

若要判斷查詢可能需要DPUs的數目,您可以使用下列準則:

  • DDL 查詢耗用 4 DPUs。

  • DML 查詢會耗用 4 到 124 之間的 DPUs。

Athena 決定提交DML查詢時查詢DPUs所需的數量。數目會根據資料大小、儲存格式、查詢建構和其他因素而異。一般而言,Athena 會嘗試選取最低、最有效率的DPU數字。如果 Athena 判斷要成功完成查詢需要更多運算能力,則會增加DPUs指派給查詢的 數目。

估計工作負載特定容量需求

若要判斷同時執行多個查詢時可能需要多少容量,請考慮下列資料表中的一般指導方針:

並行查詢 DPUs 必要
10 40 或以上
20 96 或以上
30 或以上 240 或以上

請注意,DPUs您需要的實際數量取決於您的目標和分析模式。例如,如果您希望查詢立即開始而不排入佇列,請判斷您的尖峰並行查詢需求,然後DPUs相應地佈建 的數目。

您可以佈建DPUs少於尖峰需求,但尖峰需求發生時可能會導致佇列。進行佇列時,Athena 會將您的查詢保存在佇列中,並在容量可用時執行查詢。

如果您的目標是在固定預算內執行查詢,您可以使用AWS 定價計算器來判斷DPUs符合您預算的 數量。

最後,請記住資料大小、儲存格式,以及查詢的寫入方式如何影響DPUs查詢所需的 。若要提高查詢效能,您可以壓縮或分割資料,或將其轉換為單欄式格式。如需詳細資訊,請參閱優化 Athena 效能

需要更多容量的跡象

容量不足錯誤訊息和查詢佇列是指派容量不足的兩個指示。

如果您的查詢失敗,但出現容量不足錯誤訊息,您的容量保留DPU計數會對您的查詢過低。例如,如果您的保留為 24,DPUs並執行需要超過 24 的查詢DPUs,則查詢將會失敗。若要監控此查詢錯誤,您可以使用 Athena EventBridge 的事件 。請嘗試新增更多 DPUs並重新執行查詢。

如果有許多查詢排入佇列,則表示您的容量已被其他查詢充分利用。若要減少佇列,請執行下列任意一項:

  • DPUs 新增至您的保留,以增加查詢並行。

  • 從保留中移除工作群組,以釋放容量供其他查詢使用。

若要檢查查詢佇列是否過多,請使用容量保留中工作群組的 Athena 查詢佇列時間CloudWatch指標。如果 值高於您偏好的閾值,您可以DPUs新增至容量保留。

檢查閒置容量

若要檢查閒置容量,您可以減少保留DPUs中的 數量或增加工作負載,然後觀察結果。

若要檢查閒置容量
  1. 執行以下任意一項:

    • 減少預訂DPUs中的 數量 (減少可用的資源)

    • 將工作群組新增至您的保留 (增加工作負載)

  2. 使用 CloudWatch 測量查詢佇列時間。

  3. 如果佇列時間增加超過理想水平,請執行下列任意一項

    • 移除工作群組

    • DPUs 新增至您的容量保留

  4. 每次變更之後,請檢查效能和查詢佇列時間。

  5. 繼續調整工作負載和/或DPU計數,以達到所需的餘額。

如果您不想將容量維持在偏好期間以外,您可以取消保留並稍後建立另一個保留。但是,即使您最近取消了其他保留的容量,也無法保證請求新容量,而且建立新的保留需要一些時間。

您可以使用 中的下列服務和功能 AWS 來測量 Athena 用量和成本。

CloudWatch 指標

您可以設定 Athena 在工作群組層級 CloudWatch 將查詢相關指標發佈至 Amazon。為工作群組啟用指標後,工作群組查詢的指標會顯示在工作群組詳細資訊頁面的 Athena 主控台中。

如需有關發佈至 的 Athena 指標 CloudWatch 及其維度的資訊,請參閱 使用 監控 Athena 查詢指標 CloudWatch

CloudWatch 用量指標

您可以使用 CloudWatch 用量指標,透過在 CloudWatch 圖形和儀表板上顯示目前的服務用量,來提供您的帳戶如何使用 資源的可見性。對於 Athena,用量可用性指標對應 Athena AWS 的服務配額。您可以設定警示,在您的用量接近服務配額時發出警示。

如需詳細資訊,請參閱使用 監控 Athena 用量指標 CloudWatch

Amazon EventBridge 事件

您可以使用 Amazon Athena 搭配 Amazon EventBridge 接收有關查詢狀態的即時通知。當您提交的查詢變更狀態時,Athena 會將事件發佈至 EventBridge ,其中包含查詢狀態轉換的相關資訊。您可以針對感興趣的事件撰寫簡單的規則,並在事件符合規則時採取自動化動作。

如需詳細資訊,請參閱下列資源。

標籤

在 Athena 中,容量保留支援標籤。一個標籤均包含一个索引鍵和一個值。若要在 Athena 中追蹤您的成本,您可以使用 AWS產生的成本分配標籤。 AWS 會使用成本分配標籤來整理成本和用量報告 上的資源成本。這可讓您更輕鬆地分類和追蹤 AWS 成本。若要啟用 Athena 的成本分配標籤,請使用 AWS Billing and Cost Management 主控台

如需詳細資訊,請參閱下列資源。