6단계: 모델 평가

모델을 평가하려면

1. 다음 함수를 설정하여 테스트 집합의 각 라인을 예측하세요. 다음 예제 코드에서 rows 인수는 한 번에 예측할 줄 수를 지정하는 것입니다. 사용자는 인스턴스의 하드웨어 리소스를 완전히 활용하는 배치 추론을 수행하도록 값을 변경할 수 있습니다.

   import numpy as np
   def predict(data, rows=1000):
       split_array = np.array_split(data, int(data.shape[0] / float(rows) + 1))
       predictions = ''
       for array in split_array:
           predictions = ','.join([predictions, xgb_predictor.predict(array).decode('utf-8')])
       return np.fromstring(predictions[1:], sep=',')

2. 다음 코드를 실행하여 테스트 데이터 세트를 예측하고 히스토그램을 플로팅합니다. 실제 값인 0번째 열을 제외하고 테스트 데이터 세트의 특성 열만 가져오면 됩니다.

   import matplotlib.pyplot as plt
   
   predictions=predict(test.to_numpy()[:,1:])
   plt.hist(predictions)
   plt.show()

   

3. 예측값은 부동 유형입니다. 부동 소수점 값을 기준으로 True또는 False를 결정하려면 컷오프 값을 설정해야 합니다. 다음 예제 코드와 같이 Scikit-learn 라이브러리를 사용하여 컷오프가 0.5인 출력 오차 지표 및 분류 보고서를 반환합니다.

   import sklearn
   
   cutoff=0.5
   print(sklearn.metrics.confusion_matrix(test.iloc[:, 0], np.where(predictions > cutoff, 1, 0)))
   print(sklearn.metrics.classification_report(test.iloc[:, 0], np.where(predictions > cutoff, 1, 0)))

   그러면 다음과 같은 오차 행렬이 반환됩니다.

   

4. 주어진 테스트 세트에서 최적의 컷오프를 찾으려면 로지스틱 회귀의 로그 손실 함수를 계산하세요. 로그 손실 함수는 실측 레이블에 대한 예측 확률을 반환하는 로지스틱 모델의 음수 로그 가능성으로 정의됩니다. 다음 예제 코드는 로그 손실 값(-(y*log(p)+(1-y)log(1-p))을 수치적이고 반복적으로 계산합니다.여기서 y는 실제 레이블이고 p는 해당 테스트 표본의 확률 추정값입니다. 이는 로그 손실 대 컷오프 그래프를 반환합니다.

   import matplotlib.pyplot as plt
   
   cutoffs = np.arange(0.01, 1, 0.01)
   log_loss = []
   for c in cutoffs:
       log_loss.append(
           sklearn.metrics.log_loss(test.iloc[:, 0], np.where(predictions > c, 1, 0))
       )
   
   plt.figure(figsize=(15,10))
   plt.plot(cutoffs, log_loss)
   plt.xlabel("Cutoff")
   plt.ylabel("Log loss")
   plt.show()

   그러면 다음과 같은 로그 손실 곡선이 반환됩니다.

   

5. NumPyargmin및 min 함수를 사용하여 오차 곡선의 최소점을 구합니다.

   print(
       'Log loss is minimized at a cutoff of ', cutoffs[np.argmin(log_loss)], 
       ', and the log loss value at the minimum is ', np.min(log_loss)
   )

   그러면 Log loss is minimized at a cutoff of 0.53, and the log loss value at the minimum is 4.348539186773897이 반환되어야 합니다.

   로그 손실 함수를 계산하고 최소화하는 대신 대안으로 비용 함수를 추정할 수 있습니다. 예를 들어 고객 이탈 예측 문제와 같은 비즈니스 문제에 대해 바이너리 분류를 수행하도록 모델을 훈련시키려는 경우, 오차 행렬의 요소에 가중치를 설정하고 그에 따라 비용 함수를 계산할 수 있습니다.