Sequence to Sequence with Attention

Seq2Seq Model

 

Many to many 구조에 해당함

lstm을 사용한 모습

hidden state를 넘겨줌으로써 decode 과정을 거침

Seq2Seq with Attention

- attention 으로 bottleneck problem을 해결해줌

- time step마다 decoder에서 단어를 생성해줌

최종

전 단계에서 예측을 잘못 했더라도 올바른 답(Ground Truth)을 넣어서 다음 단계로 가는 방법

-> Teacher Forcing

Teacher forcing을 안 썼을 경우가 실생활에 더 잘 맞음.

썼다 안썼다 잘 조합을 해야한다.

Score

dot

기본 내적

 

general

score 부분에도 학습가능한 행렬을 넣어 단순내적 사용 X

concat

 

W1=Wa, W2=Va