Personalización de las configuraciones de hiperparámetros de modelos en Neptune ML

Los hiperparámetros de nivel 1 tienen la prioridad más alta. Si se establece maxHPONumberOfTrainingJobs en un valor inferior a 10, solo se ajustan los hiperparámetros de nivel 1 y el resto toma sus valores predeterminados.

Los hiperparámetros de nivel 2 tienen una prioridad inferior, por lo que si tiene más de 10 pero menos de 50 trabajos de entrenamiento en total para un trabajo de ajuste, se ajustarán los hiperparámetros de nivel 1 y 2.

Los hiperparámetros de nivel 3 se ajustan junto con los de nivel 1 y 2 solo si tiene más de 50 trabajos de formación en total.

Por último, los hiperparámetros fijos no se ajustan en absoluto y siempre toman sus valores predeterminados.

model: (cadena) el tipo de modelo que se va a entrenar (no lo modifique). Los valores válidos son:

Por regla general, no modifique directamente el valor de model, ya que los diferentes tipos de modelos suelen tener hiperparámetros aplicables bastante diferentes, lo que puede provocar un error de análisis una vez iniciado el trabajo de entrenamiento.

Para cambiar el tipo de modelo, utilice el parámetro modelName de la API de modelTraining en lugar de cambiarlo en el archivo model-HPO-configuration.json.

Una forma de cambiar el tipo de modelo y realizar cambios detallados en los hiperparámetros consiste en copiar la plantilla predeterminada de configuración del modelo para el modelo que desee usar y pegarla en el archivo model-HPO-configuration.json. Hay una carpeta con el nombre hpo-configuration-templates en la misma ubicación de Amazon S3 que el archivo model-HPO-configuration.json si el tipo de tarea inferido admite varios modelos. Esta carpeta incluye todas las configuraciones predeterminadas de hiperparámetros para los demás modelos que se aplican a la tarea.

Por ejemplo, si desea cambiar las configuraciones del modelo y de los hiperparámetros de una tarea de predicción de enlaces de KGE del modelo predeterminadotranse a un modelo distmult, simplemente pegue el contenido del archivo hpo-configuration-templates/distmult.json en el archivo model-HPO-configuration.json y, a continuación, edite los hiperparámetros según sea necesario.

task_type: (cadena) el tipo de tarea de machine learning inferido o transferido directamente al trabajo de procesamiento de datos (no lo modifique). Los valores válidos son:

El trabajo de procesamiento de datos infiere el tipo de tarea examinando las propiedades del conjunto de datos exportado y el archivo de configuración del trabajo de entrenamiento generado.

Este valor no debe modificarse. Si desea entrenar otra tarea, debe ejecutar un nuevo trabajo de procesamiento de datos. Si el valor task_type no es el que esperaba, debe comprobar las entradas del trabajo de procesamiento de datos para asegurarse de que sean correctas. Esto incluye los parámetros de la API de modelTraining y del archivo de configuración del trabajo de entrenamiento generado por el proceso de exportación de datos.

eval_metric: (cadena) la métrica de evaluación debe usarse para evaluar el rendimiento del modelo y seleccionar el modelo con mejor rendimiento en todas las ejecuciones de HPO. Los valores válidos son:

Por ejemplo, para cambiar la métrica a F1, cambie el valor eval_metric de la siguiente manera:

"  eval_metric": {
    "metric": "F1",
  },

O bien, si desea cambiar la métrica a una puntuación de precisión topk, debería cambiar el valor eval_metric de la siguiente manera:

  "eval_metric": {
    "metric": "acc_topk",
    "topk": 2
  },

eval_frequency: (objeto) especifica con qué frecuencia se debe comprobar el rendimiento del modelo en el conjunto de validación durante el entrenamiento. En función del rendimiento de la validación, se puede iniciar una detención temprana y guardar el mejor modelo.

El objeto eval_frequency incluye dos elementos: "type" y "value". Por ejemplo:

  "eval_frequency": {
    "type":  "evaluate_every_pct",
    "value":  0.1
  },

Los valores válidos de type son:

El ajuste predeterminado de eval_frequency es:

  "eval_frequency": {
    "type":  "evaluate_every_epoch",
    "value":  1
  },

1-tier-param: (obligatorio) una matriz de hiperparámetros de nivel 1.

Si no desea ajustar ningún hiperparámetro, puede hacerlo en una matriz vacía. Esto no afecta al número total de trabajos de formación iniciados por el trabajo de ajuste de hiperparámetros de la SageMaker IA. Tan solo significa que todos los trabajos de entrenamiento, si hay más de 1 pero menos de 10, se ejecutarán con el mismo conjunto de hiperparámetros.

Por otro lado, si desea tratar todos los hiperparámetros ajustables con la misma importancia, puede colocar todos los hiperparámetros en esta matriz.

2-tier-param: (obligatorio) una matriz de hiperparámetros de nivel 2.

Estos parámetros solo se ajustan si la opción maxHPONumberOfTrainingJobs tiene un valor superior a 10. De lo contrario, se fijan a los valores predeterminados.

Si tiene un presupuesto de entrenamiento de un máximo de 10 trabajos de entrenamiento o no quiere hiperparámetros de nivel 2 por algún otro motivo, pero desea ajustar todos los hiperparámetros ajustables, puede hacerlo en una matriz vacía.

3-tier-param: (obligatorio) una matriz de hiperparámetros de nivel 3.

Estos parámetros solo se ajustan si la opción maxHPONumberOfTrainingJobs tiene un valor superior a 50. De lo contrario, se fijan a los valores predeterminados.

Si no desea ajustar los hiperparámetros de nivel 3, puede hacerlo en una matriz vacía.

fixed-param: (obligatorio) una matriz de hiperparámetros fijos que solo toman sus valores predeterminados y no varían en los distintos trabajos de entrenamiento.

Si desea modificar todos los hiperparámetros, puede hacerlo en una matriz vacía y establecer el valor para maxHPONumberOfTrainingJobs lo suficientemente grande como para modificar todos los niveles o hacer que todos los hiperparámetros sean de nivel 1.

param: (cadena) el nombre del hiperparámetro (no lo modifique).

Consulte la lista de nombres de hiperparámetros válidos en Neptune ML.

type: (cadena) el tipo del hiperparámetro (no lo modifique).

Los tipos válidos son bool, int yfloat.

default: (cadena) El valor predeterminado del hiperparámetro.

Puede establecer un nuevo valor predeterminado.

range: (matriz) el rango de un hiperparámetro ajustable continuo.

Debe ser una matriz con dos valores, es decir, el mínimo y el máximo del rango ([min, max]).

options: (matriz) las opciones de un hiperparámetro ajustable categórico.

Esta matriz debe incluir todas las opciones que se deben tener en cuenta:

  "options" : [value1, value2, ... valuen]

inc_strategy: (cadena) el tipo de cambio incremental para rangos de hiperparámetros ajustables continuos (no lo modifique).

Los valores válidos son log, linear y power2. Esto solo se aplica cuando se establece la clave de rango.

Si se modifica, es posible que no se utilice todo el rango del hiperparámetro para el ajuste.

inc_val: (flotante) la diferencia entre los incrementos sucesivos de los hiperparámetros ajustables continuo (no lo modifique).

Esto solo se aplica cuando se establece la clave de rango.

Si se modifica, es posible que no se utilice todo el rango del hiperparámetro para el ajuste.

node_strategy: (cadena) indica que el rango efectivo de este hiperparámetro debe cambiar en función del número de nodos del gráfico (no lo modifique).

Los valores válidos son "perM" (por millón), "per10M" (por 10 millones) y "per100M" (por 100 millones).

En lugar de cambiar este valor, cambie la opción range.

edge_strategy: (cadena) indica que el rango efectivo de este hiperparámetro debe cambiar en función del número de bordes del gráfico (no lo modifique).

Los valores válidos son "perM" (por millón), "per10M" (por 10 millones) y "per100M" (por 100 millones).

En lugar de cambiar este valor, cambie la opción range.

batch-size: el tamaño del lote de nodos de destino que se utilizan en un pase hacia adelante. Tipo: int.

Si se establece en un valor mucho mayor, se pueden producir problemas de memoria durante el entrenamiento en instancias de GPU.

concat-node-embed: indica si se debe obtener la representación inicial de un nodo concatenando sus características procesadas con incrustaciones de nodos iniciales que se puedan aprender con el fin de aumentar la expresividad del modelo. Tipo: bool.

dropout: la probabilidad de abandono aplicada a las capas de abandono. Tipo: float.

edge-num-hidden: el tamaño de la capa oculta o el número de unidades del módulo de características de borde. Solo se usa cuando el valor use-edge-features está establecido en True. Tipo: flotante.

enable-early-stop: cambia si se utiliza o no la característica de detención temprana. Tipo: bool. Valor predeterminado: true.

Utilice este parámetro booleano para desactivar la característica de detención temprana.

fanout: el número de vecinos que se deben muestrear para un nodo de destino durante el muestreo de vecinos. Tipo: int.

Este valor está estrechamente relacionado con el mismo nivel de hiperparámetros num-layers y siempre debe estar en el mismo. Esto se debe a que puede especificar una distribución ramificada para cada posible capa de GNN.

Como este hiperparámetro puede hacer que el rendimiento del modelo varíe considerablemente, debe ser fijo o establecerse como un hiperparámetro de nivel 2 o 3. Si se establece en un valor grande se pueden producir problemas de memoria durante el entrenamiento en instancias de GPU.

gamma: el valor del margen de la función de puntuación. Tipo: float.

Esto se aplica únicamente a los modelos de predicción de enlaces de KGE.

l2norm: el valor de decadencia de ponderación utilizado en el optimizador, que impone una penalización de normalización L2 a las ponderaciones. Tipo: bool.

layer-norm: indica si se debe utilizar la normalización de capas para los modelos rgcn. Tipo: bool.

low-mem: indica si se debe utilizar una implementación con poca memoria de la función de transferencias de mensajes de relación en detrimento de la velocidad. Tipo: bool.

lr: la tasa de aprendizaje. Tipo: float.

Debe configurarse como un hiperparámetro de nivel 1.

neg-share: en la predicción de enlaces, indica si los bordes muestreados positivos pueden compartir ejemplos de bordes negativos. Tipo: bool.

num-bases: el número de bases para la descomposición de bases en un modelo rgcn. El uso de un valor de num-bases que sea inferior al número de tipos de bordes del gráfico actúa como regularizador del modelo rgcn. Tipo: int.

num-epochs: el número de épocas del entrenamiento que se va a ejecutar. Tipo: int.

Una época es un recorrido completo de entrenamiento por el gráfico.

num-hidden: el tamaño de la capa oculta o el número de unidades. Tipo: int.

Esto también establece el tamaño de incrustación inicial para los nodos sin características.

Si se establece en un valor mucho mayor sin reducirlo, batch-size se pueden producir out-of-memory problemas al entrenar en una instancia de GPU.

num-layer: el número de capas GNN en el modelo. Tipo: int.

Este valor está estrechamente relacionado con el parámetro de distribución ramificada y debe aparecer después de que la distribución ramificada se establezca en la misma capa de hiperparámetro.

Dado que esto puede hacer que el rendimiento del modelo varíe considerablemente, debe ser fijo o establecerse como un hiperparámetro de nivel 2 o 3.

num-negs: en la predicción de enlaces, el número de muestras negativas por muestra positiva. Tipo: int.

per-feat-name-embed: indica si se debe incrustar cada característica transformándola de forma independiente antes de combinar características. Tipo: bool.

Si se establece en true, cada característica por nodo se transforma de forma independiente en un tamaño de dimensión fijo antes de que todas las características transformadas del nodo se concatenen y se transformen posteriormente en la dimensión num_hidden.

Cuando se establece en false, las características se concatenan sin ninguna transformación específica de la característica.

regularization-coef: en la predicción de enlaces, el coeficiente de pérdida de regularización. Tipo: float.

rel-part: indica si se debe utilizar la partición de relaciones para la predicción de enlaces de KGE. Tipo: bool.

sparse-lr: la tasa de aprendizaje de las incrustaciones de nodos que se pueden aprender. Tipo: float.

Las incrustaciones de nodos iniciales que se pueden aprender se utilizan para los nodos sin características o cuando esté establecida la opción concat-node-embed. Los parámetros de la capa de incrustación de nodos dispersos que se pueden aprender se entrenan mediante un optimizador independiente que puede tener una tasa de aprendizaje diferente.

use-class-weight: indica si se deben aplicar ponderaciones de clase a las tareas de clasificación desequilibradas. Si se establece en true, los recuentos de etiquetas se utilizan para establecer una ponderación para cada etiqueta de clase. Tipo: bool.

use-edge-features: indica si se deben utilizar las características de borde al transferir los mensajes. Si se establece en true, se añade un módulo de características de borde personalizado a la capa RGCN para los tipos de bordes que tienen características. Tipo: bool.

use-self-loop: indica si se deben incluir bucles automáticos en el entrenamiento de un modelo rgcn. Tipo: bool.

window-for-early-stop: controla el número de puntuaciones de validación más recientes para obtener una media con el fin de decidir si se debe detener antes de tiempo. El valor predeterminado es 3. type=int. Véase también Detención temprana del proceso de entrenamiento de modelos en Neptune ML. Tipo: int. Valor predeterminado: 3.

Consulte .

Edite los valores mínimo o máximo para de los hiperparámetros range.

Para establecer un hiperparámetro en un valor fijo, muévalo a la sección fixed-param y establezca su valor predeterminado en el valor fijo que desee que adquiera.

Para cambiar la prioridad de un hiperparámetro, colóquelo en un determinado nivel, edite su rango y asegúrese de que su valor predeterminado esté establecido de forma adecuada.