| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- gradient descent
- attention
- 코딩테스트
- LLM
- machinelearning
- prompt engineering
- GPT
- 부스트캠프
- dl
- 알고리즘
- 머신러닝
- 코테
- transformer
- Deeplearning
- Programmers
- NLP
- 프롬프트
- rnn
- 일기
- 프로그래머스
- Linear Model
- Python
- 파이썬
- deque
- 기계학습
- Django
- LeetCode
- ChatGPT
- Linear Regression
- BFS
- Today
- Total
목록rnn (2)
크크루쿠쿠
[NLP]Recurrent Neural Network and Language Modeling
RNN - Basic structure (Vanilla RNN) 전 data 에서 나온 hidden state를 입력으로 들어간다. 왼쪽 -> rolled 오른쪽 -> unrolled - how to calculate the hidden state of RNNs ht-1: old hidden-state ht: new hidden-state fW: RNN function with parameters W Types of RNNs - One-to-one Standard Neural Network - One-to-many Image Captioning - many-to-one Sentiment Classification - Sequence-to-sequence Machine Translation -> 다 읽은 ..
Transformer: Attention is all you need
Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..