Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- rnn
- 프롬프트
- 일기
- 프로그래머스
- BFS
- machinelearning
- LLM
- 파이썬
- 코테
- Linear Model
- Django
- 부스트캠프
- NLP
- LeetCode
- Programmers
- prompt engineering
- ChatGPT
- dl
- 알고리즘
- 기계학습
- 머신러닝
- 코딩테스트
- Python
- GPT
- Linear Regression
- attention
- Deeplearning
- transformer
- gradient descent
- deque
Archives
- Today
- Total
목록seq2seq (1)
크크루쿠쿠
Sequence to Sequence with Attention
Seq2Seq Model Many to many 구조에 해당함 hidden state를 넘겨줌으로써 decode 과정을 거침 Seq2Seq with Attention - attention 으로 bottleneck problem을 해결해줌 - time step마다 decoder에서 단어를 생성해줌 전 단계에서 예측을 잘못 했더라도 올바른 답(Ground Truth)을 넣어서 다음 단계로 가는 방법 -> Teacher Forcing Teacher forcing을 안 썼을 경우가 실생활에 더 잘 맞음. 썼다 안썼다 잘 조합을 해야한다. Score dot 기본 내적 general score 부분에도 학습가능한 행렬을 넣어 단순내적 사용 X concat
DeepLearning/부스트캠프 AI Tech
2021. 9. 13. 12:36