메트릭 참조

InferenceLatency — 모델 예측을 요청하여 모델이 배포되는 실시간 엔드포인트에서 모델 예측을 수신하기까지 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에만 사용할 수 있습니다.

MAE— 평균 절대 오차. 평균적으로 대상 열에 대한 예측은 실제 값을 기준으로 +/- {MAE} 입니다.

모든 값에 대한 평균을 구했을 때 예측값과 실제 값의 차이를 측정합니다. MAE일반적으로 수치 예측에서 모델 예측 오류를 이해하는 데 사용됩니다. 예측이 선형인 경우 예측선에서 실제 값까지의 평균 거리를 MAE 나타냅니다. MAE절대 오차의 합계를 관측치 수로 나눈 값으로 정의됩니다. 값 범위는 0에서 무한대까지이며, 숫자가 작을수록 모델이 데이터에 피팅이 더 좋다는 것을 나타냅니다.

MAPE— 평균 절대 백분율 오차. 평균적으로 대상 열에 대한 예측은 실제 값으로부터 +/- {MAPE} %입니다.

MAPE실제 값과 예측 또는 추정 값 간의 절대 차이의 평균을 실제 값으로 나눈 다음 백분율로 표현한 값입니다. 값이 낮을수록 예측 또는 추정 값이 실제 값에 더 가깝기 때문에 성과가 더 MAPE 좋음을 나타냅니다.

MSE— 평균 제곱 오차 또는 예측값과 실제 값 간의 차이 제곱의 평균.

MSE값은 항상 양수입니다. 모형이 실제 값을 더 잘 예측할수록 값은 작아집니다. MSE

R2 - 입력 열로 설명할 수 있는 대상 열의 차이의 백분율입니다.

모델이 종속 변수의 분산을 설명할 수 있는 정도를 정량화합니다. 값의 범위는 1에서 -1까지입니다. 숫자가 높을수록 설명된 변동성의 비율이 더 높음을 나타냅니다. 값이 0에 가까우면 모형으로 설명할 수 있는 종속 변수가 거의 없음을 나타냅니다. 음수 값은 적합도가 낮고 모형이 상수 함수 (또는 수평선) 보다 성능이 우수하다는 것을 나타냅니다.

RMSE— 평균 제곱 오차 또는 오차의 표준 편차입니다.

예측값과 실제값 간의 차이 제곱근을 측정하고 모든 값에 대해 평균을 구합니다. 이는 모델 예측 오차를 이해하는 데 사용되며, 모델 오차가 크고 이상치가 있는지를 나타내는 중요한 지표입니다. 값 범위는 0에서 무한대까지이며 숫자가 작을수록 모델이 데이터에 더 적합함을 나타냅니다. RMSE규모에 따라 달라지므로 다양한 유형의 데이터셋을 비교하는 데 사용해서는 안 됩니다.

정확도 - 정확한 예측의 백분율입니다.

또는 총 예측 수에 대한 정확하게 예측된 항목 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고 0은 완전한 부정확성을 나타냅니다.

AUC— 모델이 데이터셋의 범주를 얼마나 잘 구분할 수 있는지를 나타내는 0에서 1 사이의 값입니다. 값이 1이면 범주를 완벽하게 구분할 수 있었음을 나타냅니다.

BalancedAccuracy — 모든 예측에 대한 정확한 예측의 비율을 측정합니다.

이 비율은 양성(P) 값와 음성(N) 값의 갯수의 합계로 True positive(TP) 및 True negative(TN)를 정규화한 후 계산됩니다. 값은 다음과 0.5*((TP/P)+(TN/N)) 같이 정의되며 값은 0에서 1까지입니다. 균형 정확도 지표는 이메일의 1% 만이 스팸인 경우와 같이 불균형 데이터 집합에서 긍정적 또는 부정적 요소의 수가 서로 크게 다를 때 정확도를 더 잘 측정할 수 있습니다.

F1 - 클래스 균형을 고려한 균형 잡힌 정확도 척도입니다.

정밀도 및 재현율 점수의 조화 평균으로, 다음과 같이 정의됩니다. F1 = 2 * (precision * recall) / (precision + recall) F1 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

InferenceLatency — 모델 예측을 요청한 후 모델이 배포된 실시간 엔드포인트에서 수신하기까지 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에만 사용할 수 있습니다.

LogLoss — 교차 엔트로피 손실이라고도 하는 로그 손실은 출력 자체가 아닌 확률 출력의 품질을 평가하는 데 사용되는 지표입니다. 로그 손실은 모델이 높은 확률로 잘못된 예측을 하는 경우를 나타내는 중요한 지표입니다. 일반적 값은 0~무한대입니다. 값이 0이면 데이터를 완벽하게 예측하는 모델을 나타냅니다.

정밀도 — {카테고리 x} 를 예측한 모든 횟수 중에서 정확한 예측은 {precision} %였습니다.

정밀도는 알고리즘이 식별한 모든 양성 중에서 True positive(TP)을 얼마나 잘 예측하는지를 측정합니다. 값은 다음과 Precision = TP/(TP+FP) 같이 정의됩니다. 값은 0에서 1까지입니다. 정확도는 False Positive의 비용이 높을 때 중요한 지표입니다. 예를 들어, 비행기 안전 시스템이 비행하기에 안전하다고 잘못 간주되는 경우 False Positive로 인한 비용은 매우 높습니다. False Positive(FP)는 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영합니다.

리콜 — {target_column} 이 실제로 {카테고리 x} 였을 때 모델은 {리콜} %를 {카테고리 x} 로 정확하게 예측했습니다.

재현율은 알고리즘이 데이터 세트의 모든 True positive(TP)를 얼마나 정확하게 예측하는지 측정합니다. True positive는 양성 예측이며 데이터에서 실제 양수이기도 합니다. 리콜은 다음과 Recall = TP/(TP+FN) 같이 정의되며 값은 0에서 1까지입니다. 점수가 높을수록 모델이 데이터의 True positive(TP)를 더 잘 예측할 수 있음을 나타냅니다. 참고로 모든 출력값을 참양수로 예측하면 완벽한 재현율 점수를 얻을 수 있기 때문에 회상만 측정하는 것으로는 충분하지 않은 경우가 많습니다.

정확도 - 정확한 예측의 백분율입니다.

또는 총 예측 수에 대한 정확하게 예측된 항목 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고 0은 완전한 부정확성을 나타냅니다.

BalancedAccuracy — 모든 예측에 대한 정확한 예측의 비율을 측정합니다.

이 비율은 양성(P) 값와 음성(N) 값의 갯수의 합계로 True positive(TP) 및 True negative(TN)를 정규화한 후 계산됩니다. 값은 다음과 0.5*((TP/P)+(TN/N)) 같이 정의되며 값은 0에서 1까지입니다. 균형 정확도 지표는 이메일의 1% 만이 스팸인 경우와 같이 불균형 데이터 집합에서 긍정적 또는 부정적 요소의 수가 서로 크게 다를 때 정확도를 더 잘 측정할 수 있습니다.

F1Macro — F1Macro 점수는 정밀도와 재현율을 계산한 다음 고조파 평균을 사용하여 각 클래스의 F1 점수를 계산하는 방식으로 F1 점수를 적용합니다. 그런 다음 F1 매크로가 개별 점수의 평균을 구하여 F1 매크로 점수를 구합니다. F1 매크로 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

InferenceLatency — 모델 예측을 요청한 후 모델이 배포되는 실시간 엔드포인트에서 모델 예측을 수신하는 데 걸리는 대략적인 시간입니다. 이 지표는 초 단위로 측정되며 앙상블링 모드로 빌드된 모델에만 사용할 수 있습니다.

LogLoss — 교차 엔트로피 손실이라고도 하는 로그 손실은 출력 자체가 아닌 확률 출력의 품질을 평가하는 데 사용되는 지표입니다. 로그 손실은 모델이 높은 확률로 잘못된 예측을 하는 경우를 나타내는 중요한 지표입니다. 일반적 값은 0~무한대입니다. 값이 0이면 데이터를 완벽하게 예측하는 모델을 나타냅니다.

PrecisionMacro — 각 클래스의 정밀도를 계산하고 점수를 평균하여 여러 클래스의 정밀도를 구함으로써 정밀도를 측정합니다. 점수 범위는 0에서 1까지입니다. 점수가 높을수록 모델이 식별한 모든 양성 중에서 True positive(TP)를 예측하는 능력을 나타내며, 여러 클래스에 걸쳐 평균을 냅니다.

RecallMacro — 각 클래스의 회상을 계산하고 점수를 평균하여 여러 클래스에 대한 회상을 구함으로써 회상을 측정합니다. 점수 범위는 0에서 1까지입니다. 점수가 높을수록 데이터 세트의 True positive(TP)를 예측하는 모델의 능력을 나타내며, True positive는 데이터가 실제 양성이기도 한 양성 예측을 반영합니다. 모든 출력값을 True positive로 예측하면 완벽한 재현율 점수를 얻을 수 있기 때문에 재현율만 측정하는 것으로는 충분하지 않습니다.

정확도 - 정확한 예측의 백분율입니다.

또는 총 예측 수에 대한 정확하게 예측된 항목 수의 비율입니다. 정확도는 예측된 클래스 값이 실제 값에 얼마나 가까운지를 측정합니다. 정확도 지표의 값은 0에서 1 사이입니다. 값 1은 완벽한 정확도를 나타내고 0은 완전한 부정확성을 나타냅니다.

F1 - 클래스 균형을 고려한 균형 잡힌 정확도 척도입니다.

정밀도 및 재현율 점수의 조화 평균으로, 다음과 같이 정의됩니다. F1 = 2 * (precision * recall) / (precision + recall) F1 점수는 0과 1 사이입니다. 1점은 가능한 최고의 성과를 나타내고, 0점은 최악을 나타냅니다.

정밀도 — {카테고리 x} 를 예측한 모든 횟수 중에서 {precision} %의 경우 예측이 정확했습니다.

정밀도는 알고리즘이 식별한 모든 양성 중에서 True positive(TP)을 얼마나 잘 예측하는지를 측정합니다. 값은 다음과 Precision = TP/(TP+FP) 같이 정의됩니다. 값은 0에서 1까지입니다. 정확도는 False Positive의 비용이 높을 때 중요한 지표입니다. 예를 들어, 비행기 안전 시스템이 비행하기에 안전하다고 잘못 간주되는 경우 False Positive로 인한 비용은 매우 높습니다. False Positive(FP)는 데이터에서 실제로는 음성인데 양성으로 예측하는 것을 반영합니다.

리콜 — {target_column} 이 실제로 {카테고리 x} 였을 때 모델은 {리콜} %를 {카테고리 x} 로 정확하게 예측했습니다.

재현율은 알고리즘이 데이터 세트의 모든 True positive(TP)를 얼마나 정확하게 예측하는지 측정합니다. True positive는 양성 예측이며 데이터에서 실제 양수이기도 합니다. 리콜은 다음과 Recall = TP/(TP+FN) 같이 정의되며 값은 0에서 1까지입니다. 점수가 높을수록 모델이 데이터의 True positive(TP)를 더 잘 예측할 수 있음을 나타냅니다. 참고로 모든 출력값을 참양수로 예측하면 완벽한 재현율 점수를 얻을 수 있기 때문에 회상만 측정하는 것으로는 충분하지 않은 경우가 많습니다.

평균 가중 분위수 손실(WQL) - P10, P50 및 P90 분위수의 정확도를 평균하여 예측을 평가합니다. 값이 낮을수록 모델이 더 정확하다는 의미입니다.

가중 절대 오차 비율 (WAPE) — 절대 오차의 합계로 정규화된 절대 오차의 합계로, 예측값과 관측값의 전체 편차를 측정합니다. 값이 낮을수록 모형이 더 정확하다는 것을 의미하며, 여기서 WAPE = 0은 오차가 없는 모형입니다.

평균 제곱근 오차 (RMSE) — 평균 제곱 오차의 제곱근입니다. 낮을수록 모형이 더 정확하다는 것을 RMSE 나타내며, 0은 오차가 없는 모형입니다. RMSE

평균 절대 백분율 오차 (MAPE) — 모든 시점의 평균을 낸 백분율 오차 (평균 예측값과 실제 값의 백분율 차이) 입니다. 값이 낮을수록 모형의 정확도가 더 높음을 의미하며, 여기서 MAPE 0은 오차가 없는 모형입니다.

평균 절대 척도 오차 (MASE) — 단순한 기준 예측 방법의 평균 절대 오차로 정규화된 예측의 평균 절대 오차입니다. 값이 낮을수록 모형이 더 정확하다는 것을 의미하며, 1 MASE 미만이면 기준선보다 나은 것으로 추정되고 MASE 1 미만이면 기준선보다 나쁜 것으로 추정됩니다.