크크루쿠쿠

Multi-head Attention 동일한 V,K,Q에 대해서 여러 버전의 W 를 적용시켜 h개의 attention을 수행한다. 왜 필요한가? -> 특정한 쿼리에서 다양한 측면에서 정보를 뽑을 필요가 있다. Self-Attention -> 행렬의 계산을 한번에 하기 때문에 O(1) 로 가능 (GPU가 받쳐준다는 가정 하에) Recurrent -> 매 time step 마다 따로 계산해줘야 하기 때문에 O(n), 병렬화가 불가능하다. 하지만 메모리 관점에서는 Self-Attention이 더 많이 차지함. Transformer: Block based model Add & Norm 에서 Residual Connection이라 부르는 Add 와 Layer Noramlization을 거침 Add 과정을 통해 학..

Attention os all you need, NeurlPS'17 - No more RNN or CNN modules RNN: Long-term dependency 정보를 계속 축적시켜가며 encoding 하게 된다. 길어질수록 앞의 단어의 정보가 손실,변질 위험이 크다. Bi-Directional RNNs 양방향에서 나오는 hidden state를 concat하여 사용한다. Transformer: Long-Term Dependency 근처 단어 정보를 전부 반영한다. 보통 자기자신과의 내적 시 큰 값이 나온다. -> 자기자신 정보만 너무 큰것이 아닌가? Queries -> 어느 벡터를 선별적으로 가져올지 정해주는 벡터 Keys -> 유사도를 구할 때 사용하는 재료 벡터 Values -> 나온 유사도에..

Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..