[모델 최적화] 2. 좋은 모델과 파라미터 찾기:AutoML 이론

Overview

Data Engineering 이란.

사람이 직접 해야한다는게 문제 -> 이걸 자동으로 하자! AutoML

 

DL model Configuration (Architecture, Hyperparameter)의 특징

1. 주요 타입 구분

    A. Categorical : optimizer, module

    B. Continuous : learning rate, regularization param

    C. integer : batch_size

2. Conditional 한 configuration 에 따라 search space가 달라질 수 있음

    A. Optimizer의 sample에 따라서 parameter의 종류, search space도 달라짐.

    B. Module의 sample에 따라 module의 parameter의 종류가 달라진다.

 

주어진 모델을 경량화 vs 새로운 경량 모델 찾기

- 기존 모델 경량화 : Pruning, Tensor Decomposition

- Search를 통해 새로운 경량 모델 찾는 기법 : NAS

 

AutoML

일반적인 AutoML Pipeline

Blackbox optimization 에서 보통 두가지 과정을 거치는데

Update Surrogate Function(람다 찾기) -> Update Acquisition Function (다음 어디 configuration을 찾을까?)

Bayesian Optimization

acquision function으로 찾을 위치를 찾고 그거 기반으로 학습 후 Surrogate function update 후 그걸 기반으로 acquisition function update -> 이 과정 반복

 

Surrogate Model

Object f(𝝀)를 예측하는 모델

관측한 point들 사이에는 어떻게 생겼을까?

Acquisition Function: 다음은 어디를 trial하면 좋을까?

알고있는곳과 가장 불확실한 지점간의 trade off를 계산해서 다음 시도해볼 𝝀 를 찾는것

trade off 를 계산한 식

 

Tree-structured Parzen Estimator (TPE)

- GP의 약점: high dim, Conditional cont/disc 파라미터 혼재시 적용이 힘들다.

 

 

한계점 및 연구 키워드

 

가장 큰 문제는 너무 오래걸린다.

 

활발한 연구분야

주요 키워드

- Hyperparameter Gradient Descent

- Meta-learning (Auto AutoML)

- Multi-fidelity optimization : Data subset만 사용, 적은 epoch, RL을 활용한 적은 trial, Image Downsampling 등등..

 

절충안: 그럼에도 불구하고

충분히 절충 가능(Where engineering comes in)

- 어느정도의 prior 개입, 적은 search space를 잡고 적고 대표성이 있는 subset data를 정하고 early terminate를 해준다.