크크루쿠쿠

Attention os all you need, NeurlPS'17 - No more RNN or CNN modules RNN: Long-term dependency 정보를 계속 축적시켜가며 encoding 하게 된다. 길어질수록 앞의 단어의 정보가 손실,변질 위험이 크다. Bi-Directional RNNs 양방향에서 나오는 hidden state를 concat하여 사용한다. Transformer: Long-Term Dependency 근처 단어 정보를 전부 반영한다. 보통 자기자신과의 내적 시 큰 값이 나온다. -> 자기자신 정보만 너무 큰것이 아닌가? Queries -> 어느 벡터를 선별적으로 가져올지 정해주는 벡터 Keys -> 유사도를 구할 때 사용하는 재료 벡터 Values -> 나온 유사도에..

Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..