| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
- Deeplearning
- 코딩테스트
- Linear Regression
- 파이썬
- attention
- Python
- 코테
- 머신러닝
- LeetCode
- ChatGPT
- 기계학습
- LLM
- rnn
- 프롬프트
- deque
- dl
- Django
- BFS
- Linear Model
- NLP
- prompt engineering
- machinelearning
- Programmers
- 프로그래머스
- 알고리즘
- 부스트캠프
- GPT
- transformer
- 일기
- gradient descent
- Today
- Total
목록rnn (2)
크크루쿠쿠
[NLP]Recurrent Neural Network and Language Modeling
RNN - Basic structure (Vanilla RNN) 전 data 에서 나온 hidden state를 입력으로 들어간다. 왼쪽 -> rolled 오른쪽 -> unrolled - how to calculate the hidden state of RNNs ht-1: old hidden-state ht: new hidden-state fW: RNN function with parameters W Types of RNNs - One-to-one Standard Neural Network - One-to-many Image Captioning - many-to-one Sentiment Classification - Sequence-to-sequence Machine Translation -> 다 읽은 ..
Transformer: Attention is all you need
Transformer Sequential Model What makes sequential moedling a hard problem to handle? 이러한 다른 sequence 를 다루기 힘들어짐. Transformer Transformer is the first sequence transduction model based entirely on attention. -> recurrent한 구조X, attention 이라는 구조 활용 기계어 번역 뿐만 아니라 이미지 분류에도 활용될정도로 많은 활용가치가 있음. model 자체는 하나의 model이다. -> 몇개의 단어가 들어가든 한번에 처리함. - Encoder The Self-Attention in both encoder and decoder is ..