[인공지능/AI] Hyperparameter Tuning (Optimization) 하이퍼파라미터 튜닝 (최적화)

Hyperparameter? 하이퍼파라미터는 머신러닝 모델의 성능을 향상하기 위한 것이다. 기존 변수가 아니라 자동 설정되는 변수다. 최적화하여 모델의 에러를 줄이는 등 머신러닝 학습 성능을 향상시킨다. 종류들로는 두 가지 관점에서 볼 수 있는데 model related와 optimization related의 관점이 있다. Model Related Number of hidden layer MLP에는 ~10개 층(2,3개 넘어가면 효율이 굳이 더 좋아지는 것 같진 않다.) 최근 CNN에는 ~152, ~1000 개 층까지 학습이 된다. Number of hidden unit ~1024 정도 층까지 시도해볼 수 있다. Activation Function sigmoid와 tanh는 gradient vanish..