[혼공머신]05-2 교차 검증과 그리드 서치

현재까지 진행된 훈련방법 및 모델 평가의 문제점

테스트 모델의 평가 점수를 보고 실전의 성능을 기대하기 때문에 세트스 세트로 성능을 확인할수록 점점 테스트 세트에 맞추게 됨

따라서 일반화 성능을 올바르게 예측하려면 모델을 만들고 마지막에 딱 한번만 테스트 세트를 사용해야 한다.

 

그렇다면 max_depth 매개변수를 사용한 하이퍼파라미터 튜닝은 어떻게 하는 걸까?

 

 

검증 세트

기존 훈련세트로 할당한 데이터를 또 나눠 검증세트에 할당하는 방법을 사용하면 된다.

이때 나눈 데이터가 검증 세트이다.

 

* 훈련에 따라 다르지만 보통 20~30%정도를 테스트 세트와, 검증 세트에 할당한다. 다만 훈련 데이터가 아주 많다면 조금만 할당해도 괜찮다.

 

그래서 순서는 다음과 같이 진행됟ㄴ다.

 

훈련 세트에서 모델 훈련 → 검증 세트로 모델 평가 →