Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 파이썬
- machinelearning
- 기계학습
- deque
- Linear Model
- 프롬프트
- 프로그래머스
- 알고리즘
- ChatGPT
- prompt engineering
- Linear Regression
- Deeplearning
- 코테
- dl
- 머신러닝
- rnn
- Python
- NLP
- Django
- LLM
- 부스트캠프
- transformer
- Programmers
- GPT
- LeetCode
- 코딩테스트
- BFS
- 일기
- attention
- gradient descent
Archives
- Today
- Total
목록seq2seq (1)
크크루쿠쿠
Sequence to Sequence with Attention
Seq2Seq Model Many to many 구조에 해당함 hidden state를 넘겨줌으로써 decode 과정을 거침 Seq2Seq with Attention - attention 으로 bottleneck problem을 해결해줌 - time step마다 decoder에서 단어를 생성해줌 전 단계에서 예측을 잘못 했더라도 올바른 답(Ground Truth)을 넣어서 다음 단계로 가는 방법 -> Teacher Forcing Teacher forcing을 안 썼을 경우가 실생활에 더 잘 맞음. 썼다 안썼다 잘 조합을 해야한다. Score dot 기본 내적 general score 부분에도 학습가능한 행렬을 넣어 단순내적 사용 X concat
DeepLearning/부스트캠프 AI Tech
2021. 9. 13. 12:36