Pytorch Hyperparameter Tuning

Hyperparameter Tuning

 

- 모델 스스로 학습하지 않는 값은 사람이 지정 -> Hyperparameter

- Hyperparameter에 의해서 값이 크게 좌우 될 때도 있었지만..

- 마지막 0.01을 쥐어짤 때 도전해볼만!

 

가장 기본적인 방법 - grid,random

grid -> 일정하게 하나하나 찾아봄

random -> 말그대로 random

최근에는 베이지안 기반 기법들이 주도한다.

 

Ray

- multi-node multi processing 지원 모듈

- ML/DL 병렬 처리를 위해 개발된 모듈

- 기본적으로 분산병령 ML/DL 모듈의 표준

- Hyperparameter Search를 위한 다양한 모듈 제공

(파이썬의 일반 병령처리도 맡긴다)