Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- 알고리즘
- Programmers
- ChatGPT
- attention
- dl
- 파이썬
- deque
- prompt engineering
- 프로그래머스
- 코딩테스트
- LeetCode
- 프롬프트
- 부스트캠프
- 일기
- GPT
- BFS
- 머신러닝
- rnn
- Linear Regression
- Python
- LLM
- Linear Model
- NLP
- 기계학습
- 코테
- machinelearning
- gradient descent
- Deeplearning
- transformer
- Django
Archives
- Today
- Total
목록Bleu (1)
크크루쿠쿠
Beam Search and BLEU score
Beam Search Greedy decoding 근시안적으로 현재 time step에서 좋아보이는것을 decode -> 중간에 오류가 나면 어떻게함? Exhaustive search 확률값을 제일 크게 만드는 y를 찾아야함! 앞에서 가장 큰 값만을 찾는게 아니라 적절하게 뒤에 값들도 고려를 해줘야함. -> 계산값이 너무 많아져서 불가능함 Beam search 앞의 경우 두개의 경우를 조합한 idea 매 time step마다 k개의 가지수를 고려해준다. 마지막 까지 고려한 뒤에 가장 적절한 후보를 뽑아준다. k = beam size (5~10) globally optimal solution을 항상 찾아주는것은 아니지만 계산량이 효율적임. k^2 개 중에서 k개만큼 골라서 나아간다. T 라는 timeste..
DeepLearning/부스트캠프 AI Tech
2021. 9. 13. 13:03