[NLP]Word Embedding

Word Embedding

- word를 vector로 변환하는것.

- 'cat' 과 'kitty' 는 비슷한 단어 -> short distance

- 'hamburger' 와 'cat'은 유사X -> far distance

 

Word2Vec

- 같은문장 내에서 인접한 단어는 유사도가 높을것이다

ex) 'The cat purrs.','This cat hunts mice'

- "cat" 단어 주변 단어의 확률 분포를 갖게됨

 

How Word2Vec Algorithm Works

 

Sentence: "I study math.", Vocabulary: {"I","study","math"}, Input: "study" [0,1,0], Output: "math" [0,0,1]

 

word vector를 공간에 표현하면 word간의 관계를 볼 수 있음.

 

 

GloVe: Global Vectors for Word Representation

- 입출력 단어 쌍에 대해서 사전에 Window 내에서 얼마나 나타나는지 계산함

- 그 값에 가까워지도록 새로운 loss function을 사용함

- 빈번한 단어 쌍 자체를 loss 로 넣어 중복되는 계산 제거 -> Word2Vec과의 차이점

- Fast training

-

성별의 차이가 비슷한 vector로 나타남.