| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 |
- 프로그래머스
- deque
- 파이썬
- GPT
- LLM
- 코테
- dl
- Programmers
- prompt engineering
- machinelearning
- Deeplearning
- 기계학습
- 부스트캠프
- 일기
- Python
- BFS
- LeetCode
- 코딩테스트
- NLP
- Django
- ChatGPT
- gradient descent
- Linear Regression
- 머신러닝
- attention
- 알고리즘
- 프롬프트
- rnn
- transformer
- Linear Model
- Today
- Total
목록NLP (3)
크크루쿠쿠
[NLP]Recurrent Neural Network and Language Modeling
RNN - Basic structure (Vanilla RNN) 전 data 에서 나온 hidden state를 입력으로 들어간다. 왼쪽 -> rolled 오른쪽 -> unrolled - how to calculate the hidden state of RNNs ht-1: old hidden-state ht: new hidden-state fW: RNN function with parameters W Types of RNNs - One-to-one Standard Neural Network - One-to-many Image Captioning - many-to-one Sentiment Classification - Sequence-to-sequence Machine Translation -> 다 읽은 ..
NLP 01.Text Classification
Text Classification Input : natural language sentence/paragraphOutput: category → text가 어디에 속해있는가?ex) spam, gmail categorization, election 하지만 언어 자체는 arbitrary 함!→ 어떻게 하지 그럼? Tokentoken은 그냥 아무렇게나 sentence를 쪼개놓은것 단어들을 찾아서 indexing 해줌→ integer index로 바뀜 Table Lookup하지만 이것도 arbitrary 하다. 우리는 neural net 이 의미를 capture할 수 있도록 해야함→ 각 토큰마다 continuous 한 vector를 줌 one hot vector와 weight matrix를 곱해줌 이를 Tab..