在 Neptune ML 中自訂模型超參數組態

第 1 層超參數具有最高優先順序。如果您將 maxHPONumberOfTrainingJobs 設定為小於 10 的值，則只會調校第 1 層超參數，其餘的則採取預設值。

第 2 層超參數的優先順序較低，因此，如果對於調校工作，您有總數超過 10 個，但少於 50 個的訓練工作，則會同時調校第 1 層和第 2 層超參數。

僅在您有總數超過 50 個的訓練工作時，第 3 層超參數才會與第 1 層和第 2 層一起進行調校。

最後，固定的超參數完全不會進行調校，並且始終採取其預設值。

model – (字串) 要訓練的模型類型 (請勿修改)。有效值為：

規則是不要直接修改 model 值，因為不同的模型類型通常具有截然不同的適用超參數，這可能會在訓練工作開始之後導致剖析錯誤。

若要變更模型類型，請使用 modelTraining API 中的 modelName 參數，而不是在 model-HPO-configuration.json 檔案中變更它。

變更模型類型並進行精細超參數變更的方法是，為您要使用的模型複製預設模型組態範本，然後將其貼入 model-HPO-configuration.json 檔案中。如果推斷的任務類型支援多個模型，則在與 model-HPO-configuration.json 檔案相同的 Amazon S3 位置中會有一個名為 hpo-configuration-templates 的資料夾。此資料夾包含適用於任務之其他模型的所有預設超參數組態。

例如，如果您想要將 KGE 連結預測任務的模型和超參數組態從預設 transe 模型變更為 distmult 模型，只需將 hpo-configuration-templates/distmult.json 檔案內容貼入 model-HPO-configuration.json 檔案中，然後視需要編輯超參數即可。

task_type   –   (字串) 由資料處理工作推斷或直接傳遞至資料處理工作的機器學習任務類型 (請勿修改)。有效值為：

資料處理工作會推斷任務類型，方法是檢查匯出的資料集和資料集屬性所產生的訓練工作組態檔案，以取得資料集的屬性。

此值不得變更。如果您想要訓練不同的任務，則需要執行新的資料處理工作。如果 task_type 值不是您預期的值，您應該檢查資料處理工作的輸入，以確定它們是正確的。這包括 modelTraining API 的參數，以及資料匯出程序所產生的訓練工作組態檔案中的參數。

eval_metric – (字串) 評估指標應用於評估模型效能，以及用於跨 HPO 執行選取效能最佳的模型。有效值為：

例如，若要將指標變更為 F1，請變更 eval_metric 值，如下所示：

"  eval_metric": {
    "metric": "F1",
  },

或者，若要將指標變更為 topk 正確性分數，您將變更 eval_metric，如下所示：

  "eval_metric": {
    "metric": "acc_topk",
    "topk": 2
  },

eval_frequency – (物件) 指定在訓練期間應檢查驗證集上模型效能的頻率。根據驗證效能，可以接著啟動提前停止，並儲存最佳模型。

eval_frequency 物件包含兩個元素，即 "type" 和 "value"。例如：

  "eval_frequency": {
    "type":  "evaluate_every_pct",
    "value":  0.1
  },

有效的 type 值如下：

eval_frequency 的預設設定如下：

  "eval_frequency": {
    "type":  "evaluate_every_epoch",
    "value":  1
  },

1-tier-param – (必要) 第 1 層超參數的陣列。

如果您不想要調校任何超參數，則可以將此設定為空陣列。這不會影響 SageMaker 超參數調校工作啟動的訓練工作總數。其只是意味著所有的訓練作業 (如果超過 1 個，但少於 10 個) 將搭配相同的一組超參數執行。

另一方面，如果您想要以同等重要的方式處理所有可調校的超參數，則可以將所有的超參數放在這個陣列中。

2-tier-param – (必要) 第 2 層超參數的陣列。

僅在 maxHPONumberOfTrainingJobs 具有大於 10 的值時，才會調校這些參數。否則，它們會固定為預設值。

如果您的訓練預算最多為 10 個訓練工作，或者因為任何其他原因而不想要第 2 層超參數，但是您想要調校所有可調校的超參數，則可以將此設定為空陣列。

3-tier-param – (必要) 第 3 層超參數的陣列。

僅在 maxHPONumberOfTrainingJobs 具有大於 50 的值時，才會調校這些參數。否則，它們會固定為預設值。

如果您不想要第 3 層超參數，則可以將此設定為空陣列。

fixed-param – (必要) 固定超參數的陣列，這些超參數僅採取其預設值，且在不同的訓練工作中不會有所變動。

如果想要改變所有超參數，您可以將其設定為空陣列，然後將 maxHPONumberOfTrainingJobs 的值設定為足以改變所有層的大小，或使所有超參數成為第 1 層。

param – (字串) 超參數的名稱 (請勿變更)。

請參閱 Neptune ML 中有效的超參數名稱清單。

type – (字串) 超參數類型 (請勿變更)。

有效類型為：bool、int 和 float。

default – (字串) 超參數的預設值。

您可以設定新的預設值。

range – (陣列) 連續可調校超參數的範圍。

這應該是具有兩個值的陣列，即範圍的最小值和最大值 ([min, max])。

options – (陣列) 類別可調校超參數的選項。

這個陣列應該包含所有要考慮的選項：

  "options" : [value1, value2, ... valuen]

inc_strategy – (字串) 連續可調校超參數範圍的增量變更類型 (請勿變更)。

有效值為 log、linear 和 power2。這僅在設定了範圍索引鍵時才適用。

修改此選項可能會導致未使用完整範圍的超參數進行調校。

inc_val – (浮動) 連續增量對連續可調校超參數的差異量 (請勿變更)。

這僅在設定了範圍索引鍵時才適用。

修改此選項可能會導致未使用完整範圍的超參數進行調校。

node_strategy – (字串) 表示此超參數的有效範圍應根據圖形中的節點數目而變更 (請勿變更)。

有效值為 "perM" (每百萬)、"per10M" (每千萬) 和 "per100M" (每億)。

不是變更此值，而是變更 range。

edge_strategy – (字串) 表示此超參數的有效範圍應根據圖形中的邊緣數目而變更 (請勿變更)。

有效值為 "perM" (每百萬)、"per10M" (每千萬) 和 "per100M" (每億)。

不是變更此值，而是變更 range。

batch-size – 在一個正向傳遞中使用之目標節點的批次大小。類型：int。

將此值設定為更大的值可能會導致 GPU 執行個體訓練時出現記憶體問題。

concat-node-embed – 指示是否透過串連節點處理的特徵與可學習的初始節點嵌入來取得節點的初始表示法，以便增加模型的表達能力。類型：bool。

dropout – 套用至退出層的退出機率。類型：float。

edge-num-hidden – 邊緣特徵模組的隱藏層大小或單位數量。僅在 use-edge-features 設為 True 時才使用。類型：浮動。

enable-early-stop – 切換是否使用提前停止功能。類型：bool。預設︰true。

使用此布林參數來關閉提前停止功能。

fanout – 鄰近取樣期間要為目標節點取樣的鄰近節點數。類型：int。

此值與 num-layers 緊密結合，並且應始終位於相同的超參數層中。這是因為您可以為每個潛在的 GNN 層指定扇出。

因為這個超參數可能會造成模型效能發生很大變化，所以其應該固定或設定為第 2 層或第 3 層超參數。將其設定為更大的值可能會導致 GPU 執行個體訓練時出現記憶體問題。

gamma – 分數函數中的邊距值。類型：float。

這僅適用於 KGE 連結預測模型。

l2norm – 最佳化工具中使用的權重衰減值，該值會對權重施加 L2 標準化懲罰。類型：bool。

layer-norm – 指示是否要對 rgcn 模型使用層標準化。類型：bool。

low-mem – 指示是否以犧牲速度為代價，使用關聯訊息傳遞函數的低記憶體實作。類型：bool。

lr – 學習率。類型：float。

這應該設為第 1 層超參數。

neg-share – 在連結預測中，指示正取樣邊緣是否可以共用負邊緣取樣。類型：bool。

num-bases – rgcn 模型中基礎分解的基數。使用小於圖形中邊緣類型數目的 num-bases 值，做為 rgcn 模型的正規化器。類型：int。

num-epochs – 要執行之訓練的 epoch 數量。類型：int。

一個 epoch 是通過圖形的完整訓練。

num-hidden – 隱藏層大小或單位數量。類型：int。

這也會設定無特徵節點的初始嵌入大小。

在沒有減少 batch-size 的情況下將此值設定為更大的值可能會導致 GPU 執行個體訓練時出現記憶體用光問題。

num-layer – 模型中 GNN 層的數量。類型：int。

此值與扇出參數緊密結合，並且應該在同一超參數層中設定扇出之後出現。

因為此值可能會造成模型效能發生很大變化，所以其應該固定或設定為第 2 層或第 3 層超參數。

num-negs – 在連結預測中，每個正樣本的負樣本數量。類型：int。

per-feat-name-embed – 指示是否在組合特徵之前透過獨立轉換來嵌入每個特徵。類型：bool。

當設定為 true 時，在串連節點的所有轉換特徵並進一步轉換為 num_hidden 維度之前，將每個節點的每個特徵獨立轉換為固定維度大小。

當設定為 false 時，會串連特徵，而不會進行任何特徵特定的轉換。

regularization-coef – 在連結預測中，正規化損失的係數。類型：float。

rel-part – 指示是否使用關聯分割區進行 KGE 連結預測。類型：bool。

sparse-lr – 可學習節點嵌入的學習率。類型：float。

可學習的初始節點嵌入用於沒有特徵或設定 concat-node-embed 時的節點。稀疏可學習節點嵌入層的參數會使用個別的最佳化工具進行訓練，該最佳化工具可以具有個別的學習率。

use-class-weight – 指示是否針對不平衡的分類任務套用類別權重。如果設定為 true，則會使用標籤計數來設定每個類別標籤的權重。類型：bool。

use-edge-features – 指示是否要在訊息傳遞期間使用邊緣特徵。如果設定為 true，則對於具有特徵的邊緣類型，會將自訂邊緣特徵模組新增至 RGCN 層。類型：bool。

use-self-loop – 指示是否要在訓練 rgcn 模型時包含自我迴圈。類型：bool。

window-for-early-stop – 控制要平均的最新驗證分數，以決定是否要提前停止。預設值為 3。type=int。另請參閱 提前停止 Neptune ML 中的模型訓練程序。類型：int。預設︰3。

請參閱「」。

編輯 range 超參數的最小值和/或最大值。

將超參數設定為固定值，方法是將該超參數移至 fixed-param 區段，並將其預設值設定為您想要其採取的固定值。

變更超參數的優先順序，方法是將該超參數置於特定層中、編輯其範圍，並確定已適當地設定其預設值。