크크루쿠쿠

Long Short-Term Memory (LSTM) 기존 Vanilla RNN 에서 가지는 문제를 해결하기 위해 나온 model 기존 RNN 식에서 Ct 라는 변수가 추가됨 -> cell state - i : input gate sigmoid를 거치고 나옴 - f : forget gate sigmoid를 거치고 나옴 element wise로 곱해줌으로써 얼만큼만 넘겨줄지 - o: output gate sigmoid를 거치고 나옴 hidden state 만들 때 사용 - g : gate gate tanh를 거치고 나옴 input gate와 gate gate를 곱해 Ct를 구해줌 Gated Recurrent Unit (GRU) What is GRU? cell state vector와 hidden state..