Factorization Machine 모델 튜닝
하이퍼파라미터 튜닝이라고도 하는 자동 모델 튜닝은 데이터세트에 대한 광범위한 하이퍼파라미터를 테스트하는 여러 작업을 실행하여 최적의 모델 버전을 찾습니다. 튜닝 가능한 하이퍼파라미터, 각 하이퍼파라미터에 대한 값 범위 및 목표 지표를 선택합니다. 알고리즘에서 계산하는 지표 중에서 목표 지표를 선택합니다. 자동 모델 튜닝은 선택한 하이퍼파라미터를 검색하여 목표 지표를 최적화하는 모델을 만드는 값 조합을 찾습니다.
모델 튜닝에 대한 추가 정보는 SageMaker로 자동 모델 튜닝 섹션을 참조하세요.
Factorization Machine 알고리즘으로 계산되는 지표
Factorization Machine 알고리즘에는 바이너리 분류 및 회귀 예측기 유형이 둘 다 있습니다. 예측기 유형은 자동 모델 튜닝에 사용할 수 있는 지표를 결정합니다. 알고리즘은 test:rmse 회귀 지표를 보고하며, 이러한 지표는 훈련 중 계산됩니다. 회귀 작업을 위한 모델을 튜닝하는 경우 이 지표를 목표 지표로 선택합니다.
| 지표 이름 | 설명 | 최적화 방향 |
|---|---|---|
test:rmse |
평균 제곱근 오차 |
최소화 |
Factorization Machine 알고리즘은 3가지 바이너리 분류 지표를 보고하며, 이러한 지표는 훈련 중 계산됩니다. 바이너리 분류 작업을 위한 모델을 튜닝하는 경우 이러한 지표 중 하나를 목표 지표로 선택합니다.
| 지표 이름 | 설명 | 최적화 방향 |
|---|---|---|
test:binary_classification_accuracy |
정확도 |
최대화 |
test:binary_classification_cross_entropy |
교차 엔트로피 |
최소화 |
test:binary_f_beta |
베타 |
최대화 |
튜닝 가능한 Factorization Machine 하이퍼파라미터
Factorization Machine 알고리즘에 대한 다음 하이퍼파라미터를 튜닝할 수 있습니다. 편향항, 선형 및 인수분해가 포함된 초기화 파라미터는 초기화 메서드에 따라 달라집니다. uniform, normal 및 constant, 이렇게 3가지 초기화 메서드가 있습니다. 이러한 초기화 메서드 자체는 튜닝이 불가능합니다. 튜닝 가능한 파라미터는 선택한 초기화 메서드에 따라 달라집니다. 예를 들어, 초기화 메서드가 uniform이면 scale 파라미터만 튜닝할 수 있습니다. 특히, 초기화 메서드가 bias_init_method==uniform인 경우에는 bias_init_scale, linear_init_scale 및 factors_init_scale을 튜닝할 수 있습니다. 마찬가지로, 초기화 메서드가 normal이면 sigma 파라미터만 튜닝할 수 있습니다. 초기화 메서드가 constant이면 value 파라미터만 튜닝할 수 있습니다. 다음 표에는 이러한 종속성이 나열되어 있습니다.
| 파라미터 이름 | 파라미터 유형 | 권장 범위 | 종속성 |
|---|---|---|---|
bias_init_scale |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==uniform |
bias_init_sigma |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==normal |
bias_init_value |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==constant |
bias_lr |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
None |
bias_wd |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
None |
epoch |
IntegerParameterRange |
MinValue: 1, MaxValue: 1000 |
None |
factors_init_scale |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==uniform |
factors_init_sigma |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==normal |
factors_init_value |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==constant |
factors_lr |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
None |
factors_wd |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512] |
None |
linear_init_scale |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==uniform |
linear_init_sigma |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==normal |
linear_init_value |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
bias_init_method==constant |
linear_lr |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
None |
linear_wd |
ContinuousParameterRange |
MinValue: 1e-8, MaxValue: 512 |
None |
mini_batch_size |
IntegerParameterRange |
MinValue: 100, MaxValue: 10000 |
None |
