일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 코딩테스트
- LeetCode
- Django
- 프로그래머스
- machinelearning
- LLM
- 머신러닝
- Programmers
- 파이썬
- 코테
- transformer
- Linear Model
- prompt engineering
- deque
- 부스트캠프
- rnn
- Python
- gradient descent
- dl
- 기계학습
- 프롬프트
- attention
- BFS
- NLP
- 알고리즘
- Linear Regression
- GPT
- 일기
- ChatGPT
- Deeplearning
- Today
- Total
목록Linear Model (2)
크크루쿠쿠
PyTorch forward/backward pass Forward pass. → 값을 대입함으로써 loss를 계산하는 과정 Backward pass ← 계산된 loss를 이용하여 뒷 방향으로 gradient값 chain rule이용해 넘겨줌 PyTorch Rhythm 1. model을 class와 Variables를 사용해서 디자인 해라 torch model에서 필요한 두가지 __ init __ forward init 함수는 말그대로 생성자 느낌. 여기 예시에서는 한개의 input 이 들어가 한개의 output이 나오므로 torch.nn.Linear(1,1)로 해줌 forward는 x라는 input을 model에 넣었을 때 예상값 2. loss함수와 optimizer 결정 전에 배웠던 MSE loss ..
What is the learning? loss(MSE)를 최소화하는 w를 찾는것! 그렇담 어떻게 찾아야할까? Gradient Descent algorithm 편미분을 사용한다! 편미분을 사용해서 w값을 점점더 loss의 minimum값으로 이동시켜줌 이때 편미분값을 이용하여 한번 이동시 얼만큼 이동하느냐? 에 사용되는 parameter인 알파 즉 learning rate가 사용된다. Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 # Training Data x_data = [1.0, 2.0, 3.0] y_data = [2.0, 4.0, 6..